检测文件之间的代码重复并进行半自动重构

Detecting code duplicate between files and making semiautomatic refactoring

解决方案是由框架、工具还是其他任何东西来表示都没有关系。这个问题很难解决我多年来一直在反对它。

我将举一个例子来更好地阐明我在说什么。

文件1

<head>
<title>Fotografia Elenco Completo Filtri Professionali</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<META name="Language" content="it">
<META http-equiv="Revisit-After" content="2 days">
<style>
<!--
 table.MsoNormalTable
    {mso-style-parent:"";
    font-size:10.0pt;
    font-family:"Times New Roman"}
-->
</style>
</head>

文件2

<head>
<title>Militari</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="keywords" content="militari, ....">
<meta name="robots" content="INDEX, FOLLOW">
<meta name="Language" content="it">
<meta http-equiv="Revisit-After" content="2 days">
<meta name="Rating" content="General">
<link rel="stylesheet" type="text/css" href="./file/stile.css">
<script language="JavaScript">

文件 3

<head>
<title>Cinema - Recensioni e Trame di Film</title>
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<meta name="keywords" content="recensioni film">
<meta name="description" content="Ottimo sito di recensioni di film, trame di film cinematografice, di Videogame e Romanzi. ">
<meta name="robots" content="INDEX, FOLLOW">
<meta name="Language" content="it">
<meta http-equiv="Revisit-After" content="2 days">
<meta name="Rating" content="General">
<link rel="stylesheet" type="text/css" href="file/stile.css">
<style type="text/css">
body {
    background-color:#F0F0F0;
    text-align: center;
}
</style>

对于人类来说,避免这种代码重复的任务是显而易见的。他可以识别“”、“”是分隔符。行的顺序无关紧要,哪些部分可以放入变量(或作为值存储在数据库中)以及哪些文件足够相似以进行重构。

整个过程似乎没有那么难以自动化。但是.. 直到现在我找不到任何解决方案。即使自动识别定界符也很困难..

我找到的最好的方法是玩正则表达式工具并变得疯狂 :D


重构后

file1

header -> PrintHeader();

file2

header -> PrintHeader();

file3

header -> PrintHeader();

全局文件

class header
{
 function PrintHeader
 {
  SELECT title, content-type, language, revisit-after, rating, robots, extra_text_unparsed
  into myArray
  FROM header_table
  WHERE filename = $filename

 foreach(v in myArray)
 {
  echo ....
 }
 }
}

有什么建议吗?

你想要的是克隆检测器。

参见 https://en.wikipedia.org/wiki/Duplicate_code。那里有一个克隆检测器列表。

关键问题是:

  • 克隆检测器支持什么语言?
  • 它如何检测克隆?
  • 如何删除此类克隆?
  • 该工具是否提供删除克隆的自动化功能?

Pure "string clone detection" 可以独立于语言,但通常 无法找到 可移动 克隆,因为它们不理解代码片段之间的边界。

我建AST-based clone detectors。这些检测基于目标语言结构的克隆,如 AST 所示。克隆人 以这种方式检测到的语言边界比其他检测器更自然。缺点:这些必然依赖于语言。每种语言都需要不同的检测器。回报是您可以在大量代码中检测到高质量的克隆。

自动删除 克隆很难;每种语言都提供了自己的代码抽象方法(例如,制作子程序、宏、包含文件……),并且该工具必须知道它们中的每一种。您为 HTML 发明了一个抽象,它超出了 HTML 可以编码的范围(将片段放入数据库:不在 HMTL 的词汇表中)。

实际上,基本上没有自动克隆删除程序。您几乎需要做的就是识别克隆(这就是克隆检测器很好的原因),然后手动删除它们,尤其是要获得像您展示的那样的自定义效果。

如果你想实现一个自动克隆删除工具,你需要 相当于 program transformation system。 (看我的简历,恰好也支持克隆检测)。