批处理文件：计算重复的 ID 并将它们写入 csv 列

Question

我目前正在尝试通过批处理文件自动执行 csv 文件的预处理过程。我有以下 table:

id;street;name;nrOfIds
4014001;T1;example1;0
4014002;B2;example2;0
4014003;B3;example3;0
4014004;L1;example4;0
4015001;M3;example5;0
4015002;B9;example6;0
4016001;T4;example7;0
4016002;L2;example8;0
4016003;L1;example9;0

第一行“id”包含由最后 3 位数字（例如 001、002、003 ...）构成的唯一条目的 ID。最后三位数字之前的数字不是唯一的。正如您在结果 table 中看到的那样，我想计算 ID 的第一部分（即最后三位数字之前的部分）在 table 中出现的频率，我想写下总和进入名为“nrOfIds”的第三列。结果 table 应该如下所示：

id;street;name;nrOfIds
4014001;T1;example1;4
4014002;B2;example2;4
4014003;B3;example3;4
4014004;L1;example4;4
4015001;M3;example5;2
4015002;B9;example6;2
4016001;T4;example7;3
4016002;L2;example8;3
4016003;L1;example9;3

比如第一行(4014)最后三位之前的部分在整个中正好存在4次table，所以我在“nrOfIds”一栏写4，以此类推。

用于此的代码如下所示：

@echo off
setlocal enabledelayedexpansion

for /F "tokens=1-3* delims=;" %%a in (%PREPROCESSING_INPUT_PATH%%INPUT_FILENAME%) do (
   (echo %%a;%%b;%%c)> "%PREPROCESSING_INPUT_PATH%%OUTPUT_FILENAME%" & goto :file
)
:file
(for /F "skip=1 tokens=1-3* delims=;" %%a in (%PREPROCESSING_INPUT_PATH%%INPUT_FILENAME%) do (
  REM count ids (like 4014, 4015, ... and write sum into "nrOfIds" column
  ) 
) >> %PREPROCESSING_OUTPUT_PATH%%OUTPUT_FILENAME%


pause

关于如何做到这一点有什么建议吗？非常感谢您！非常感谢您的帮助。

Answer 1

和我之前贴的回答很像，这里只是用find /C来判断ID后3位出现的次数：

@echo off
setlocal enabledelayedexpansion
set "infile=z:\folder31\testcsv.csv"
set "outfile=%PREPROCESSING_OUTPUT_PATH%testOutput.csv"
for /f "usebackq delims=" %%a in ("%infile%") do (
    (echo %%a)>"%outfile%" & goto :file
)
:file
(for /f "skip=1 usebackq tokens=1-4*delims=;" %%a in ("%infile%") do (
    set "match=%%a"
    for /f %%i in ('findstr /B "!match:~0,-3!" "%infile%" ^| find /C "!match:~0,-3!"') do (
    set /a _cnt=%%i
    echo %%a;%%b;%%c;!_cnt!
  )
 )
)>>"%outfile%"

调试版本：

@echo off
setlocal enabledelayedexpansion
set "infile=%PREPROCESSING_INPUT_PATH%%INPUT_FILENAME%"
set "outfile=%PREPROCESSING_OUTPUT_PATH%%OUTPUT_FILENAME%"
for /f "usebackq delims=" %%a in ("%infile%") do (
    (echo %%a) & goto :file
)
:file
(for /f "skip=1 usebackq tokens=1-4*delims=;" %%a in ("%infile%") do (
     set "match=%%a"
 for /f %%i in ('findstr /B "!match:~0,-3!" "%infile%" ^|find /C "!match:~0,-3!"') do (
     set /a _cnt=%%i
     echo %%a;%%b;%%c;!_cnt!
  )
 )
)
pause

Answer 2

此方法简单运行快速：

@echo off
setlocal enabledelayedexpansion

rem Count ids
for /F "skip=1 delims=;" %%a in (input.txt) do (
   set "id=%%a"
   set /A "count[!id:~0,-3!]+=1"
)

rem Update the file
set "header="
(for /F "tokens=1-4 delims=;" %%a in (input.txt) do (
   if not defined header (
      echo %%a;%%b;%%c;%%d
      set "header=1"
   ) else (
      set "id=%%a"
      for /F %%i in ("!id:~0,-3!") do echo %%a;%%b;%%c;!count[%%~i]!
   )
)) > output.txt

基于外部命令的方法，如 findstr 或 find，速度较慢...

批处理文件：计算重复的 ID 并将它们写入 csv 列

Batch file: count duplicate ids and write them in column of csv

csv

automation

preprocessor

loops

batch-file