RandomAccessFile 首次访问时速度慢
RandomAccessFile is slow on first access
我目前正在使用 RandomAccessFile,遇到一个奇怪的现象。
我正在访问一个 1.1TB 大的文件,并且只包含等于 00000000 的字节。
我通过以下方式实现了 RandomAccessFile:
RandomAccessFile raf = new RandomAccessFile(new File("./db.bin"),"rw");
所以我的程序正在生成代表 BIT 位置的 Long 值的大列表,一旦达到 1000 个条目,它就会将数据刷新到文件中:
public void flush() {
for( long l : lLongs ) {
lseek = Long.divideUnsigned(l, 8L);
raf.seek( lseek );
byte b = raf.readByte();
raf.seek( lseek );
raf.writeByte( editByte(b,(int)l % 8) );
}
raf.close();
}
public byte editByte( byte b, int iBit ) {
if( !isSet(b,iBit) ) {
b = (byte)(b + Math.pow( 2, iBit));
}
return b;
}
boolean isSet(byte value, int bit){
return (value >> bit & 1) == 1;
}
现在我想知道为什么要花这么长时间?对于 1000 个条目,平均需要 15 秒。
但是如果我取消我的程序并重新启动它,我将只需要 5ms 进行 1000 次输入(多头持仓保持不变)
这是为什么?有人可以帮我解决这个问题吗?
合乎逻辑的解释是,第一次启动需要实际读取文件,另一次启动从内存缓存中获取文件,所以速度要快得多。
也是第2次,我没看错就不用写数据了
如果你想得到更好的东西,你可以尝试使用连续的东西,比如:
private static final int CHUNK_SIZE=512*8*1024; // 4Mb chunk
private RandomAccessFile raf;
private long currentChunk=-1;
private byte[] chunk=new byte[CHUNK_SIZE];
public void flush() throws Exception{
raf = new RandomAccessFile(new File("./db.bin"),"rw");
List<Long> c=something();
c.stream().sorted().forEach(this::process);
saveChunk();
}
public void process(long l) {
try {
if (l/8/CHUNCK_SIZE!=currentChunk) {
saveChunk();
loadNextChunk();
}
long posInMem=(l/8) - (CHUNK_SIZE*currentChunk);
byte b=chunk[(int)posInMem];
chunk[(int)posInMem]=editByte(b,(int)l % 8);
}catch(Exception e) {
e.printStackTrace();
}
}
private void loadNextChunk()throws Exception {
currentChunk++;
raf.seek(currentChunk*CHUNK_SIZE);
raf.readFully(chunk, 0, CHUNK_SIZE);
}
private void saveChunk() throws Exception {
if (currentChunk<0)return;
raf.seek(currentChunk*CHUNK_SIZE);
raf.write(chunk, 0, CHUNK_SIZE);
}
我目前正在使用 RandomAccessFile,遇到一个奇怪的现象。 我正在访问一个 1.1TB 大的文件,并且只包含等于 00000000 的字节。
我通过以下方式实现了 RandomAccessFile:
RandomAccessFile raf = new RandomAccessFile(new File("./db.bin"),"rw");
所以我的程序正在生成代表 BIT 位置的 Long 值的大列表,一旦达到 1000 个条目,它就会将数据刷新到文件中:
public void flush() {
for( long l : lLongs ) {
lseek = Long.divideUnsigned(l, 8L);
raf.seek( lseek );
byte b = raf.readByte();
raf.seek( lseek );
raf.writeByte( editByte(b,(int)l % 8) );
}
raf.close();
}
public byte editByte( byte b, int iBit ) {
if( !isSet(b,iBit) ) {
b = (byte)(b + Math.pow( 2, iBit));
}
return b;
}
boolean isSet(byte value, int bit){
return (value >> bit & 1) == 1;
}
现在我想知道为什么要花这么长时间?对于 1000 个条目,平均需要 15 秒。 但是如果我取消我的程序并重新启动它,我将只需要 5ms 进行 1000 次输入(多头持仓保持不变)
这是为什么?有人可以帮我解决这个问题吗?
合乎逻辑的解释是,第一次启动需要实际读取文件,另一次启动从内存缓存中获取文件,所以速度要快得多。
也是第2次,我没看错就不用写数据了
如果你想得到更好的东西,你可以尝试使用连续的东西,比如:
private static final int CHUNK_SIZE=512*8*1024; // 4Mb chunk
private RandomAccessFile raf;
private long currentChunk=-1;
private byte[] chunk=new byte[CHUNK_SIZE];
public void flush() throws Exception{
raf = new RandomAccessFile(new File("./db.bin"),"rw");
List<Long> c=something();
c.stream().sorted().forEach(this::process);
saveChunk();
}
public void process(long l) {
try {
if (l/8/CHUNCK_SIZE!=currentChunk) {
saveChunk();
loadNextChunk();
}
long posInMem=(l/8) - (CHUNK_SIZE*currentChunk);
byte b=chunk[(int)posInMem];
chunk[(int)posInMem]=editByte(b,(int)l % 8);
}catch(Exception e) {
e.printStackTrace();
}
}
private void loadNextChunk()throws Exception {
currentChunk++;
raf.seek(currentChunk*CHUNK_SIZE);
raf.readFully(chunk, 0, CHUNK_SIZE);
}
private void saveChunk() throws Exception {
if (currentChunk<0)return;
raf.seek(currentChunk*CHUNK_SIZE);
raf.write(chunk, 0, CHUNK_SIZE);
}