优化 EmEditor 宏以对单个列和提取计数进行元素排序、拆分和重复数据删除

Question

我目前有一个这种格式的分隔文件（3 列制表符“\t”分隔），以及“;”分隔列中的所有元素）。

    COL1\tCOL2\tCOL3
    abc\t123;1q\tapple\t
    dfg\t234;2w\tapple;apple\t
    hij\t345;3e\tbanana;apple;cherry;\t
    klm\t456;4r\tapple;banana;cherry;banana;cherry;\t
    nop\t567;5t\t;;apple;banana;cherry;banana;;cherry;;\t

我希望有任何关于优化宏（最好是 javascript）的想法来操作文件以输出此文件：第 3 列现在已排序（任何 extra/unrequired 分隔符也被删除）并删除了重复项。新的第 4 列是去重元素计数。

    abc\t123;1q\tapple\t1
    dfg\t234;2w\tapple\t1
    hij\t345;3e\tapple;banana;cherry\t3
    klm\t456;4r\tapple;banana;cherry\t3
    nop\t567;5t\tapple;banana;cherry\t3

我一直在尝试与下面类似的方法，但我认为这种方法可能会更快。

    for( iRow = 2; iRow <= totalLines; iRow++ ) { //traverse eash row, start at 2nd row
      str = document.GetCell(iRow, 2, eeCellIncludeQuotes);
      var count = (str.match(/;/g) || []).length;
      var numOfElements = count + 1;
      document.SetCell( iRow, 3, numOfElements, eeAutoQuote );
    }

因此用户应该 select 他们想要运行的列（本例中的第 3 列），宏将只运行在该列上，并输出数到右边的新列。

真正的源文件将有数百万行，所以如果 EmEditor 能以任何方式对其进行优化，那就太好了。

Answer 1

我通过创建一个函数来优化您的宏来计算字符串中的分号而不是使用正则表达式（第二版），并且还使用 GetColumn 和 SetColumn 方法来提高速度（第三版）。第三个版本将插入一列而不是覆盖现有列。

原始宏（针对正确性和时间进行了修改）

var start = new Date().getTime();

var totalLines = document.GetLines();
for( iRow = 2; iRow <= totalLines; iRow++ ) { //traverse eash row, start at 2nd row
    str = document.GetCell(iRow, 3, eeCellIncludeQuotes);
    var count = (str.match(/;/g) || []).length;
    var numOfElements = count + 1;
    document.SetCell( iRow, 4, numOfElements, eeAutoQuote );
}

var end = new Date().getTime();
var time = end - start;
alert( "Execution time: " + time + " ms" );

第二个版本

function CountSemiColon( str )
{
    var count = 0;
    for( var index = -1; ; ) {
        index = str.indexOf( ';', index + 1 );
        if( index == -1 ) {
            break;
        }
        ++count;
    }
    return count;
}

var start = new Date().getTime();

var totalLines = document.GetLines();
for( iRow = 2; iRow <= totalLines; iRow++ ) { //traverse eash row, start at 2nd row
    var str = document.GetCell(iRow, 3, eeCellIncludeQuotes);
    document.SetCell( iRow, 4, CountSemiColon( str ) + 1, eeAutoQuote );
}

var end = new Date().getTime();
var time = end - start;
alert( "Execution time: " + time + " ms" );

第三版

function CountSemiColon( str )
{
    var count = 0;
    for( var index = -1; ; ) {
        index = str.indexOf( ';', index + 1 );
        if( index == -1 ) {
            break;
        }
        ++count;
    }
    return count;
}

var start = new Date().getTime();

var totalLines = document.GetLines();
s1 = document.GetColumn( 3, "\n", eeCellIncludeQuotesAndDelimiter, 2, totalLines - 1 );
sLines = s1.split( "\n" );
s2 = "";
nTotal = sLines.length;
for( y = 0; y < nTotal; y++ ) {
    s2 += CountSemiColon( sLines[y] ) + 1 + "\n";
}
x = s2.length;
if( x > 0 ) s2 = s2.substr( 0, x - 1 );
document.InsertColumn( 4, s2, "\n", eeDontQuote, 2 );

var end = new Date().getTime();
var time = end - start;
alert( "Execution time: " + time + " ms" );

第四版（returns 0 为空单元格）

function CountElements( str )
{
    if( str.length == 0 || str == '\t' ) {   // if empty string or delimiter only, return 0
        return 0;
    }
    var count = 0;
    for( var index = -1; ; ) {
        index = str.indexOf( ';', index + 1 );
        if( index == -1 ) {
            break;
        }
        ++count;
    }
    return count + 1;   // add 1 to the Count
}

var start = new Date().getTime();

var totalLines = document.GetLines();
s1 = document.GetColumn( 3, "\n", eeCellIncludeQuotesAndDelimiter, 2, totalLines - 1 );
sLines = s1.split( "\n" );
s2 = "";
nTotal = sLines.length;
for( y = 0; y < nTotal; y++ ) {
    s2 += CountElements( sLines[y] ) + "\n";
}
x = s2.length;
if( x > 0 ) s2 = s2.substr( 0, x - 1 );
document.InsertColumn( 4, s2, "\n", eeDontQuote, 2 );

var end = new Date().getTime();
var time = end - start;
alert( "Execution time: " + time + " ms" );

测试结果：

10429 毫秒
8496 毫秒
1803 毫秒
1890 毫秒

100 万行，52 MB CSV 文件。

如果速度不够快，或者出现“Out of Memory”错误，我会考虑其他方法或进一步优化，请告诉我。

优化 EmEditor 宏以对单个列和提取计数进行元素排序、拆分和重复数据删除

Optimised EmEditor Macro to Element Sort, Split, and Dedupe a single Column and Extract Count

javascript

performance

emeditor