使用阻塞 IO 的多线程损坏 Java 中的文件

Question

目标 :- 在 Java 中使用阻塞 IO 构建多线程应用程序以下载文件。 请不要建议我使用非阻塞 IO，我被告知要使用这个。

问题：- 我的代码在下载托管在服务器上的文件的客户端机器上运行良好。但是，问题是我的服务器使用多个线程为文件播种。在所有情况下，收到的文件都是准确长度的，但文件似乎已损坏。比如，当我下载一个 PDF 文件时，文件页面被写到最后（意味着所有页面都充满了原始的部分内容）。当我下载一首歌曲时，它一直在播放，并伴随着那些噪音一直播放到最后。

问题1:-我应该如何保持完美流畅的下载，使文件plays/opens/reads正常？我应该在这里解决什么技术问题，例如多线程问题？

我的代码：-

服务器多线程代码:::

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
public class FileServer extends UnicastRemoteObject implements FileServerInitialise{

private String file="";
public FileServer() throws RemoteException{
    super();
}

public void setFile(String f){
    file=f;
    //System.out.println("Length in setFile = "+f);
}

@Override
public boolean login(FileClientInitialise fci) throws RemoteException {
    try {
        InputStream is = new BufferedInputStream(new FileInputStream(file));
        long len = new File(file).length();
        System.out.println("Length of File = "+len);
        WorkerThread wt1=new WorkerThread(0,len/2,fci,is,file);
        wt1.setName("Worker Thread 1");
        WorkerThread wt2=new WorkerThread(len/2+1,2*len/2,fci,is,file);
        wt2.setName("Worker Thread 2");
        //WorkerThread wt3=new WorkerThread(2*len/4+1,3*len/4,fci,is,file);
        //wt3.setName("Worker Thread 3");
        //WorkerThread wt4=new WorkerThread(3*len/4+1,len,fci,is,file);
        //wt4.setName("Worker Thread 4");
        wt1.start();
        wt2.start();
        //wt3.start();
        //wt4.start();
        wt1.join();
        wt2.join();
        //wt3.join();
        //wt4.join();
        return true;
    }
        catch (InterruptedException iex) {          
        iex.getMessage();
        return false;
        }

客户端下载代码:::

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.RandomAccessFile;

public class FileClient implements FileClientInitialise {
public static int count = 1;
public static File f;
public static FileOutputStream fos;
public static RandomAccessFile raf;
public static long pointer;

public FileClient (String filename) throws RemoteException, IOException {
super();
FileClient.f= new File(filename);
FileClient.fos = new FileOutputStream(f, true);
//FileClient.raf= new RandomAccessFile(f,"rwd");
FileClient.pointer=0;
}

@Override
public boolean sendData(String filename, byte[] data, int len, String threadName) throws RemoteException{
try{

FileClient.fos.write(data,0,len);
FileClient.fos.flush();
//FileClient.raf.seek(FileClient.pointer);
//FileClient.raf.write(data,0, len);
//FileClient.pointer=raf.getFilePointer();
System.out.println("Done writing data...");
//fos.close();
return true;

}catch(Exception e){
e.getMessage();
return false;
}
}
}

问题 2 :- 另外，我应该使用 RandomAccessFile 来达到同样的目的吗？会更好吗？我检查了它，它工作起来非常慢（慢了将近 10 倍）。而且，如果我要使用 RandomAccessFile，我是否应该为每个线程创建一个单独的对象？如果在这种情况下有建议，我应该如何使用它？

如果无法提供代码，请给我一个技术说明，答案中不必提及代码。

Answer 1

正如其他人在评论中已经提到的那样，这种允许输入流被多个线程共享并允许并发写入的糟糕方法会导致文件损坏。

我在我的多线程分布式文件服务器项目中执行的一种方法是我允许文件服务器的多线程执行，但只允许顺序线程执行。

我以这种方式编码以确保线程以同步方式访问输入流，只能一个接一个地访问。这也没有在客户端损坏文件。而且，这性能效率太惊人了。

注意，在对此答案采取任何行动之前：-

我当时对代码进行了基准测试，以确保我在这个答案中所说的内容确实是 visitors/seekers 的最佳选择。我认为这也是最佳情况，因为我有 4 个逻辑处理器 (cores/CPU)，这减少了多个线程的开销（尽管它们一次都工作 1 个）。

人们会争辩说这是最糟糕的方法，或者是丑陋的方法等等。但我发现这对文件服务器播种非常有用。我在 Linux Server [Intel(R) Core(TM) 2 Duo CPU E4600 @ 2.40GHz processor, CPU(s): 2] 上的 40 MB（大约）PDF 文件在几乎 33-34 秒内被复制到文件客户端平均在 4-5 次执行测试中。然而，当我增加线程数（8-10 个线程）时，性能下降大约需要 36-38 秒。当我有单线程服务器时也是如此，在 45-50 秒内复制相同的文件。随着线程数的增加，性能提升，在4-6线程范围内高效。

尽管如此，维护这么多线程显然会产生开销，而且人们会认为单线程可能会获胜，但是，令人惊讶的是，结果是最佳的，以防万一4-6 个线程。

因此，我的建议是通过 4-6 个线程执行输入流的顺序访问来按照代码中所示进行操作。这是最佳的，相信我，我也可以与其他人争论多线程开销，我发现在 4-6 个线程的情况下是最佳的。

对于您的代码，我建议进行以下更改：-

InputStream is = new BufferedInputStream(new FileInputStream(file));
        long len = new File(file).length();
        System.out.println("Length of File = "+len);
        int numOFThreads=4;
        WorkerThread wt1=new WorkerThread(0,len/numOFThreads,fci,is,file);
        wt1.setName("Worker Thread 1");
        WorkerThread wt2=new WorkerThread(len/numOFThreads+1,2*len/numOFThreads,fci,is,file);
        wt2.setName("Worker Thread 2");
        WorkerThread wt3=new WorkerThread(2*len/numOFThreads+1,3*len/numOFThreads,fci,is,file);
        wt3.setName("Worker Thread 3");
        WorkerThread wt4=new WorkerThread(3*len/numOFThreads+1,4*len/numOFThreads,fci,is,file);
        wt4.setName("Worker Thread 4");
        wt1.start();
        wt1.join();
        wt2.start();
        wt2.join();
        wt3.start();
        wt3.join();
        wt4.start();
        wt4.join();

使用阻塞 IO 的多线程损坏 Java 中的文件

Multithreading using Blocking IO corrupts file in Java

java

multithreading

client-server

file

blocking