检测文件之间的代码重复并进行半自动重构

Question

解决方案是由框架、工具还是其他任何东西来表示都没有关系。这个问题很难解决我多年来一直在反对它。

我将举一个例子来更好地阐明我在说什么。

文件1

<head>
<title>Fotografia Elenco Completo Filtri Professionali</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<META name="Language" content="it">
<META http-equiv="Revisit-After" content="2 days">
<style>
<!--
 table.MsoNormalTable
    {mso-style-parent:"";
    font-size:10.0pt;
    font-family:"Times New Roman"}
-->
</style>
</head>

文件2

<head>
<title>Militari</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="keywords" content="militari, ....">
<meta name="robots" content="INDEX, FOLLOW">
<meta name="Language" content="it">
<meta http-equiv="Revisit-After" content="2 days">
<meta name="Rating" content="General">
<link rel="stylesheet" type="text/css" href="./file/stile.css">
<script language="JavaScript">

文件 3

<head>
<title>Cinema - Recensioni e Trame di Film</title>
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<meta name="keywords" content="recensioni film">
<meta name="description" content="Ottimo sito di recensioni di film, trame di film cinematografice, di Videogame e Romanzi. ">
<meta name="robots" content="INDEX, FOLLOW">
<meta name="Language" content="it">
<meta http-equiv="Revisit-After" content="2 days">
<meta name="Rating" content="General">
<link rel="stylesheet" type="text/css" href="file/stile.css">
<style type="text/css">
body {
    background-color:#F0F0F0;
    text-align: center;
}
</style>

对于人类来说，避免这种代码重复的任务是显而易见的。他可以识别“”、“”是分隔符。行的顺序无关紧要，哪些部分可以放入变量（或作为值存储在数据库中）以及哪些文件足够相似以进行重构。

整个过程似乎没有那么难以自动化。但是.. 直到现在我找不到任何解决方案。即使自动识别定界符也很困难..

我找到的最好的方法是玩正则表达式工具并变得疯狂 :D

重构后

file1

header -> PrintHeader();

file2

header -> PrintHeader();

file3

header -> PrintHeader();

全局文件

class header
{
 function PrintHeader
 {
  SELECT title, content-type, language, revisit-after, rating, robots, extra_text_unparsed
  into myArray
  FROM header_table
  WHERE filename = $filename

 foreach(v in myArray)
 {
  echo ....
 }
 }
}

有什么建议吗？

Answer 1

你想要的是克隆检测器。

参见 https://en.wikipedia.org/wiki/Duplicate_code。那里有一个克隆检测器列表。

关键问题是：

克隆检测器支持什么语言？
它如何检测克隆？
如何删除此类克隆？
该工具是否提供删除克隆的自动化功能？

Pure "string clone detection" 可以独立于语言，但通常无法找到 可移动 克隆，因为它们不理解代码片段之间的边界。

我建AST-based clone detectors。这些检测基于目标语言结构的克隆，如 AST 所示。克隆人以这种方式检测到的语言边界比其他检测器更自然。缺点：这些必然依赖于语言。每种语言都需要不同的检测器。回报是您可以在大量代码中检测到高质量的克隆。

自动删除 克隆很难；每种语言都提供了自己的代码抽象方法（例如，制作子程序、宏、包含文件……），并且该工具必须知道它们中的每一种。您为 HTML 发明了一个抽象，它超出了 HTML 可以编码的范围（将片段放入数据库：不在 HMTL 的词汇表中）。

实际上，基本上没有自动克隆删除程序。您几乎需要做的就是识别克隆（这就是克隆检测器很好的原因），然后手动删除它们，尤其是要获得像您展示的那样的自定义效果。

如果你想实现一个自动克隆删除工具，你需要相当于 program transformation system。（看我的简历，恰好也支持克隆检测）。

检测文件之间的代码重复并进行半自动重构

Detecting code duplicate between files and making semiautomatic refactoring

c#

php

regex

code-duplication