zip 文件的内容写错了
contents of zip file getting written incorrectly
我正在读取一个 zip 文件的内容,当我找到 sample.xml 文件时,我编辑它的内容并写入输出 zip 文件
public class CopyEditZip {
static String fileSeparator = System.getProperty("file.separator");
public static void main(String[] args) {
System.getProperty("file.separator");
ZipFile zipFile;
try {
zipFile = new ZipFile("c:/temp/source.zip");
ZipOutputStream zos = new ZipOutputStream(new
FileOutputStream(
c:/temp/target.zip));
for (Enumeration e = zipFile.entries();
e.hasMoreElements();)
{
ZipEntry entryIn = (ZipEntry) e.nextElement();
if (entryIn.getName().contains("sample.xml")) {
zos.putNextEntry(new ZipEntry("sample.xml"));
InputStream is = zipFile.getInputStream(entryIn);
byte[] buf = new byte[1024];
int len;
while ((len = (is.read(buf))) > 0) {
String x = new String(buf);
if (x.contains("Input")) {
System.out.println("edit count");
x = x.replace("Input", "output");
}
buf = x.getBytes();
zos.write(buf, 0, (len < buf.length) ? len
: buf.length);
}
is.close();
zos.closeEntry();
}
zos.close();
zipFile.close();
} catch (Exception ex) {
}
}
}
现在输出中的 sample.xml 不正确。有些数据被截断了,有些数据丢失了。这是否与缓冲区未正确写入有关?还有其他替代方法来编辑文件并将其写出吗?
编辑:我看到 xml 是在 xml 的更多数据之后写入的。
mt结束标签叫做broker,后面跟着几行数据。不确定它是如何在结束标记后写入更多数据的。
编辑:
我逐行放置了一个计数器和 sysout,以查看 while 循环的每次迭代期间出现了什么。
这是最后两行
18
put.fileFtpDirectory"/><ConfigurableProperty uri="CDTSFileInput#File
Input.fileFtpServer"/><ConfigurableProperty uri="CDTSFileInput#File
Input.fileFtpUser"/><ConfigurableProperty uri="CDTSFileInput#File
Input.longRetryInterval"/><ConfigurableProperty uri="CDTSFileInput#File
Input.messageCodedCharSetIdProperty"/><ConfigurableProperty
uri="CDTSFileInput#File Input.messageEncodingProperty"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.remoteTransferType"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.retryThreshold"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.shortRetryInterval"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.validateMaster"/>
<ConfigurableProperty override="30" uri="CDTSFileInput#File
Input.waitInterval"/><ConfigurableProperty override="no"
uri="CDTSFileInput#FileInput.connectDatasourceBeforeFlowStarts"/>
<ConfigurableProperty uri="CDTSFileInput#FileInput.validateMaster"/>
<ConfigurableProperty override="/apps/cdts/trace/ExceptionTrace-
CDTSFileInput-CDT.REF_EXT.Q01.txt" uri="CDTSFileInp
19
ut#FilePath_ExceptionTrace"/><ConfigurableProperty
override="/apps/cdts/trace/SnapTrace-CDTSFileInput-CDT.REF_EXT.Q01.txt"
uri="CDTSFileInput#FilePath_SnapTraceENV"/><ConfigurableProperty
override="/apps/cdts/trace/SnapTrace-CDTSFileInput-CDT.REF_EXT.Q01.txt"
uri="CDTSFileInput#FilePath_SnapTraceNOENV"/><ConfigurableProperty
override="EXTERNAL" uri="CDTSFileInput#INPUTORIGIN"/>
<ConfigurableProperty
override="/apps/cdts/data_in/data_in_fileinput_gtr1"
uri="CDTSFileInput#InputDirectory"/><ConfigurableProperty override="GTR"
uri="CDTSFileInput#SUBMITTERID"/><ConfigurableProperty
override="FILEINPT" uri="CDTSFileInput#SUBMITTERTYPE"/>
<ConfigurableProperty override="" uri="CDTSFileInput#excludePattern"/>
<ConfigurableProperty override="*" uri="CDTSFileInput#filenamePattern"/>
<ConfigurableProperty override="no"
uri="CDTSFileInput#recursiveDirectories"/></CompiledMessageFlow>
</Broker>ileInput#FileInput.validateMaster"/><ConfigurableProperty
override="/apps/cdts/trace/ExceptionTrace-CDTSFileInput-
CDT.REF_EXT.Q01.txt" uri="CDTSFileInp
xml 结束于但最后一行的一部分再次被追加。
读写文本
如果文件是文本文件,则不应将其作为字节读取。您应该用 reader 包裹输入流,读取行,然后将它们写回包裹在输出流周围的写入器。
其中一个原因是文件可能采用非单字节编码,例如 UTF-8。这意味着一个字符可以在一个缓冲区和下一个缓冲区之间拆分。
另一个问题是单词 Input
可能会在缓冲区之间拆分。所以你可能只是在一个中得到 Inp
而在下一个中得到 ut
,你将无法正确匹配它。阅读台词是确保您不会停在单词中间的好方法。
但是,使用 ZipOutputStream
编写文本有点不那么简单,因为您不会为每个条目获得单独的输出流。因此,您需要从读取的行中提取字节,并将其写入 zip 文件 - 就像您所做的那样。
读写字节
即使文件恰好是 ASCII 格式,您在 read/write 循环中也会遇到一些问题。第一个,次要的是你的循环条件应该是:
((len = (is.read(buf)) >= 0)
你真的应该只在得到 -1
时终止循环。理论上,如果缓冲区大小为零,您可能会在循环中间读取根本不读取任何字节的数据,但这并不意味着流已结束。所以 >=
,而不是 >
.
但更糟糕的问题是您读取了 len
字节,但您将 整个缓冲区 转换为字符串。所以如果你有一个 1024 字节的缓冲区,而 len
只有 50,那么缓冲区中只有 50 个字节是最近读取的内容,其余的将来自之前的读取,或者是零。
因此,如果您阅读的是 len
字节,请始终准确使用。你应该使用
String x = new String(buf,0,len);
而不是
String x = new String(buf);
此外,您应该注意:
buf = x.getBytes();
您的缓冲区不再是 1024 字节长。如果最初有 1024 个字节,并且您的字符串中有 10 Input
次出现,缓冲区现在将是 1034 个字节长(假设一个字节编码)。 len
不再相关 - 它将小于数字。所以这就是您丢失字符的另一个原因。
编码
通常,XML 文件是 UTF-8。当您将字节转换为字符串(反之亦然)以及创建 reader 和编写器时,显式声明编码很重要。否则,字符可能会被读取不当。
总结
- 首选文本文件的基于行的读取循环。
- 如果您读取字节而不是行:如果您读取
len
字节,请使用 len
字节,而不是整个缓冲区。
- 如果更改数据,请不要使用旧的 len。
- 使用编码。
所以新循环的草图是:
for (Enumeration<? extends ZipEntry> e = zipFile.entries(); e.hasMoreElements();) {
ZipEntry entryIn = e.nextElement();
if (entryIn.getName().contains("sample.xml")) {
zos.putNextEntry(new ZipEntry("sample.xml"));
try (BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(zipFile.getInputStream(entryIn),
StandardCharsets.UTF_8))) {
String line;
while ((line = bufferedReader.readLine()) != null) {
if (line.contains("Input")) {
System.out.println("edit count");
line = line.replace("Input", "output")
}
line += System.lineSeparator(); // Add newline back.
byte[] buf = line.getBytes(StandardCharsets.UTF_8);
zos.write(buf);
}
}
zos.closeEntry();
}
}
注:
- Try-with-resources 用于打开缓冲 reader。它将自动关闭(及其底层 reader 和输入蒸汽)。
- 不要使用原始类型
Enumeration
。使用适当的通配符,您将能够避免显式转换。
- 由于您从整行创建了一个缓冲区,并且只有那一行,所以您可以写入该完整缓冲区并且不需要偏移量和长度。
我正在读取一个 zip 文件的内容,当我找到 sample.xml 文件时,我编辑它的内容并写入输出 zip 文件
public class CopyEditZip {
static String fileSeparator = System.getProperty("file.separator");
public static void main(String[] args) {
System.getProperty("file.separator");
ZipFile zipFile;
try {
zipFile = new ZipFile("c:/temp/source.zip");
ZipOutputStream zos = new ZipOutputStream(new
FileOutputStream(
c:/temp/target.zip));
for (Enumeration e = zipFile.entries();
e.hasMoreElements();)
{
ZipEntry entryIn = (ZipEntry) e.nextElement();
if (entryIn.getName().contains("sample.xml")) {
zos.putNextEntry(new ZipEntry("sample.xml"));
InputStream is = zipFile.getInputStream(entryIn);
byte[] buf = new byte[1024];
int len;
while ((len = (is.read(buf))) > 0) {
String x = new String(buf);
if (x.contains("Input")) {
System.out.println("edit count");
x = x.replace("Input", "output");
}
buf = x.getBytes();
zos.write(buf, 0, (len < buf.length) ? len
: buf.length);
}
is.close();
zos.closeEntry();
}
zos.close();
zipFile.close();
} catch (Exception ex) {
}
}
}
现在输出中的 sample.xml 不正确。有些数据被截断了,有些数据丢失了。这是否与缓冲区未正确写入有关?还有其他替代方法来编辑文件并将其写出吗?
编辑:我看到 xml 是在 xml 的更多数据之后写入的。 mt结束标签叫做broker,后面跟着几行数据。不确定它是如何在结束标记后写入更多数据的。
编辑:
我逐行放置了一个计数器和 sysout,以查看 while 循环的每次迭代期间出现了什么。
这是最后两行
18
put.fileFtpDirectory"/><ConfigurableProperty uri="CDTSFileInput#File
Input.fileFtpServer"/><ConfigurableProperty uri="CDTSFileInput#File
Input.fileFtpUser"/><ConfigurableProperty uri="CDTSFileInput#File
Input.longRetryInterval"/><ConfigurableProperty uri="CDTSFileInput#File
Input.messageCodedCharSetIdProperty"/><ConfigurableProperty
uri="CDTSFileInput#File Input.messageEncodingProperty"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.remoteTransferType"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.retryThreshold"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.shortRetryInterval"/>
<ConfigurableProperty uri="CDTSFileInput#File Input.validateMaster"/>
<ConfigurableProperty override="30" uri="CDTSFileInput#File
Input.waitInterval"/><ConfigurableProperty override="no"
uri="CDTSFileInput#FileInput.connectDatasourceBeforeFlowStarts"/>
<ConfigurableProperty uri="CDTSFileInput#FileInput.validateMaster"/>
<ConfigurableProperty override="/apps/cdts/trace/ExceptionTrace-
CDTSFileInput-CDT.REF_EXT.Q01.txt" uri="CDTSFileInp
19
ut#FilePath_ExceptionTrace"/><ConfigurableProperty
override="/apps/cdts/trace/SnapTrace-CDTSFileInput-CDT.REF_EXT.Q01.txt"
uri="CDTSFileInput#FilePath_SnapTraceENV"/><ConfigurableProperty
override="/apps/cdts/trace/SnapTrace-CDTSFileInput-CDT.REF_EXT.Q01.txt"
uri="CDTSFileInput#FilePath_SnapTraceNOENV"/><ConfigurableProperty
override="EXTERNAL" uri="CDTSFileInput#INPUTORIGIN"/>
<ConfigurableProperty
override="/apps/cdts/data_in/data_in_fileinput_gtr1"
uri="CDTSFileInput#InputDirectory"/><ConfigurableProperty override="GTR"
uri="CDTSFileInput#SUBMITTERID"/><ConfigurableProperty
override="FILEINPT" uri="CDTSFileInput#SUBMITTERTYPE"/>
<ConfigurableProperty override="" uri="CDTSFileInput#excludePattern"/>
<ConfigurableProperty override="*" uri="CDTSFileInput#filenamePattern"/>
<ConfigurableProperty override="no"
uri="CDTSFileInput#recursiveDirectories"/></CompiledMessageFlow>
</Broker>ileInput#FileInput.validateMaster"/><ConfigurableProperty
override="/apps/cdts/trace/ExceptionTrace-CDTSFileInput-
CDT.REF_EXT.Q01.txt" uri="CDTSFileInp
xml 结束于但最后一行的一部分再次被追加。
读写文本
如果文件是文本文件,则不应将其作为字节读取。您应该用 reader 包裹输入流,读取行,然后将它们写回包裹在输出流周围的写入器。
其中一个原因是文件可能采用非单字节编码,例如 UTF-8。这意味着一个字符可以在一个缓冲区和下一个缓冲区之间拆分。
另一个问题是单词 Input
可能会在缓冲区之间拆分。所以你可能只是在一个中得到 Inp
而在下一个中得到 ut
,你将无法正确匹配它。阅读台词是确保您不会停在单词中间的好方法。
但是,使用 ZipOutputStream
编写文本有点不那么简单,因为您不会为每个条目获得单独的输出流。因此,您需要从读取的行中提取字节,并将其写入 zip 文件 - 就像您所做的那样。
读写字节
即使文件恰好是 ASCII 格式,您在 read/write 循环中也会遇到一些问题。第一个,次要的是你的循环条件应该是:
((len = (is.read(buf)) >= 0)
你真的应该只在得到 -1
时终止循环。理论上,如果缓冲区大小为零,您可能会在循环中间读取根本不读取任何字节的数据,但这并不意味着流已结束。所以 >=
,而不是 >
.
但更糟糕的问题是您读取了 len
字节,但您将 整个缓冲区 转换为字符串。所以如果你有一个 1024 字节的缓冲区,而 len
只有 50,那么缓冲区中只有 50 个字节是最近读取的内容,其余的将来自之前的读取,或者是零。
因此,如果您阅读的是 len
字节,请始终准确使用。你应该使用
String x = new String(buf,0,len);
而不是
String x = new String(buf);
此外,您应该注意:
buf = x.getBytes();
您的缓冲区不再是 1024 字节长。如果最初有 1024 个字节,并且您的字符串中有 10 Input
次出现,缓冲区现在将是 1034 个字节长(假设一个字节编码)。 len
不再相关 - 它将小于数字。所以这就是您丢失字符的另一个原因。
编码
通常,XML 文件是 UTF-8。当您将字节转换为字符串(反之亦然)以及创建 reader 和编写器时,显式声明编码很重要。否则,字符可能会被读取不当。
总结
- 首选文本文件的基于行的读取循环。
- 如果您读取字节而不是行:如果您读取
len
字节,请使用len
字节,而不是整个缓冲区。 - 如果更改数据,请不要使用旧的 len。
- 使用编码。
所以新循环的草图是:
for (Enumeration<? extends ZipEntry> e = zipFile.entries(); e.hasMoreElements();) {
ZipEntry entryIn = e.nextElement();
if (entryIn.getName().contains("sample.xml")) {
zos.putNextEntry(new ZipEntry("sample.xml"));
try (BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(zipFile.getInputStream(entryIn),
StandardCharsets.UTF_8))) {
String line;
while ((line = bufferedReader.readLine()) != null) {
if (line.contains("Input")) {
System.out.println("edit count");
line = line.replace("Input", "output")
}
line += System.lineSeparator(); // Add newline back.
byte[] buf = line.getBytes(StandardCharsets.UTF_8);
zos.write(buf);
}
}
zos.closeEntry();
}
}
注:
- Try-with-resources 用于打开缓冲 reader。它将自动关闭(及其底层 reader 和输入蒸汽)。
- 不要使用原始类型
Enumeration
。使用适当的通配符,您将能够避免显式转换。 - 由于您从整行创建了一个缓冲区,并且只有那一行,所以您可以写入该完整缓冲区并且不需要偏移量和长度。