多线程和队列

Question

我有点掌握线程的窍门，但现在我很困惑。我不太了解队列。我创建了一个线程池执行器，它初始化一定数量的线程，每个线程在网站上输入用户名（字符串）以检查其是否可用。所以基本上我在想我应该排队吗？像 queue.add(用户名) 和 queue.remove(用户名) 或 queue.take.. 所以我想知道如何使用线程池和哪种类型进行队列。 SynchronousQueue、BlockingQueue，或者有更好的选择吗？对不起，我真的不懂排队。忽略错误代码。只想让它在我联网之前工作

FilterUsers FU = new FilterUsers();
HtmlThread[] threads = new HtmlThread[users.length];
ExecutorService executor = Executors.newFixedThreadPool(threadNo);
for (int i = 0; i < users.length; i++) {
    Runnable worker = new HtmlThread(" "+i, FU, users[i]);
    executor.execute(worker);
}    
executor.shutdown();
while (!executor.isTerminated()){ }

这是 class HtmlThread

class HtmlThread extends Thread {
    private Thread t;
    private String threadName;
    FilterUsers filterUsers;
    String users;

    public HtmlThread(String tName, FilterUsers filterusers, String user) {
        this.threadName = tName;
        this.filterUsers = filterusers;
        this.users = user;
    }

    public void run() {
        synchronized (filterUsers) {
            try {
                HtmlPage page = webClient.getPage("https://website.com/account/edit");

                try {
                    final HtmlForm form = page.getFirstByXPath("//form[@class='adjacent bordered']");
                    HtmlTextInput user = form.getInputByName("username");
                    HtmlSubmitInput b = form.getInputByValue("Submit");
                    user.setValueAttribute(users);

                    HtmlPage page2;
                    page2 = b.click();

                   String html = page2.getWebResponse().getContentAsString();
                    if (page2 != null) {
                        if (!html.contains("that username is taken")) {
                            Filter.validUsers.appendText(users + "\n");
                        }
                    }
                } finally {
                    page.cleanUp();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        try {
            System.out.println("Thread " + threadName + " Sleeping.");

            Thread.sleep(3500);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

        System.out.println("Thread " + threadName + " exiting.");
    }

Answer 1

队列的思想是生产者和消费者。生产者将项目放在队列中，消费者线程（通常是多个线程）拾取项目并进行处理。

SynchronousQueue - 是一个队列，必须在 put() returns 之前对 take() 进行相应的调用。

BlockingQueue - 是一个接口。 SynchronousQueue 是这个 BlockingQueue

的一个实现

所以现在你可能很困惑。我怀疑你需要 SynchQueue。我建议您首先阅读 BlockingQueue 的 javadoc。

就个人而言，您可能希望使用 ArrayBlockingQueue。你应该提供容量。否则，如果生产者将更多项目放入队列中，那么您将运行内存不足。

Answer 2

我其实不明白你为什么要在filterUsers上同步。进入同步代码块的线程如何修改filterUsers？假设 filterUsers 是某种类型的 List 实现（这里似乎不是这种情况），您需要对其进行同步，以便线程在放入或获取元素时阻塞，您可以使用阻塞队列。当 size() 达到容量时，BlockingQueue 将阻塞所有执行 put() 的线程，直到使用 take() 删除元素。因此，除非您的同步代码块位于需要阻塞的列表中，否则阻塞队列将无济于事。

Answer 3

哦，您担心return结果。根据您的评论：

I updated with code. When I do this it goes way too fast. even though I put thread to sleep for 3.5 secs. I dont think it actually sleeps. So I thought I should add queue to prevent loss of data or w/e

嗯，你应该在你的问题中这么说。您可以使用队列，但 Java 实际上有它自己的 returning 数据机制。你至少应该先尝试一下。

要 return 结果，请使用 Callable 接口而不是 Thread/Runnable。 Callable 就像 Runnable 一样工作，除了你可以 return 一个值。当您将 Callable 提交给执行程序服务时，您会得到 Future 返回。只需保存它，然后调用 get() 即可获得结果。就是这样，所有制作队列或同步的艰苦工作都已经为您完成了。

剩下的唯一事情就是在几乎所有可以想象到的地方检查 InterruptedException。 ;)

/**
 *
 * @author Brenden Towey
 */
public class FutureExample
{

   public static void main( String[] args )
   {
      ExecutorService exe = Executors.newFixedThreadPool(3);
      List<Future<String>> results = new ArrayList<>();
      for( int i = 0; i < 5; i++ )
         results.add( exe.submit( new HtmlTask() ) );
      try {
         for( Future<String> future : results )
             System.out.println( future.get() );
      } catch( InterruptedException x ) {
         // bail
      } catch( ExecutionException ex ) {
         Logger.getLogger( FutureExample.class.getName() ).
                 log( Level.SEVERE, null, ex );
         // and bail
      }
      exe.shutdown();
      boolean shutdown = false;
      try {
         shutdown = exe.awaitTermination(10 , TimeUnit.SECONDS );
      } catch( InterruptedException ex ) {
         // bail
      }
      if( !shutdown ) {
         exe.shutdownNow();
         try {
            exe.awaitTermination( 30, TimeUnit.SECONDS );
         } catch( InterruptedException ex ) {
            // just exit
         }
      }
   }
}

class HtmlTask implements Callable<String> {

   @Override
   public String call()
           throws Exception
   {
      // pretend to search a website and return some result
      return "200 OK";
   }

}

多线程和队列

Multi-threading and queuing

java

queue

multithreading

threadpool