在多个线程中重用 Tensorflow 会话导致崩溃

Question

背景：

我有一些复杂的强化学习算法，我想在多个线程中运行。

问题

尝试在线程中调用 sess.run 时，我收到以下错误消息：

RuntimeError: The Session graph is empty. Add operations to the graph before calling run().

重现错误的代码：

import tensorflow as tf

import threading

def thread_function(sess, i):
    inn = [1.3, 4.5]
    A = tf.placeholder(dtype=float, shape=(None), name="input")
    P = tf.Print(A, [A])
    Q = tf.add(A, P)
    sess.run(Q, feed_dict={A: inn})

def main(sess):

    thread_list = []
    for i in range(0, 4):
        t = threading.Thread(target=thread_function, args=(sess, i))
        thread_list.append(t)
        t.start()

    for t in thread_list:
        t.join()

if __name__ == '__main__':

    sess = tf.Session()
    main(sess)

如果我运行在线程外使用相同的代码，它会正常工作。

有人可以就如何使用 python 个线程正确使用 Tensorflow 会话提供一些见解吗？

Answer 1

不仅Session可以是当前线程默认，Graph也可以。当您传入会话并对其调用 run 时，默认图形将是不同的。

您可以像这样修改您的 thread_function 以使其正常工作：

def thread_function(sess, i):
    with sess.graph.as_default():
        inn = [1.3, 4.5]
        A = tf.placeholder(dtype=float, shape=(None), name="input")
        P = tf.Print(A, [A])
        Q = tf.add(A, P)
        sess.run(Q, feed_dict={A: inn})

但是，我不希望有任何显着的加速。 Python 线程不是它在其他一些语言中的意思，只有某些操作，如 io，会运行并行。对于 CPU 繁重的操作，它不是很有用。多处理可以运行真正并行编码，但您不会共享同一个会话。

Answer 2

用 github 上的另一个资源扩展 de1 的回答： tensorflow/tensorflow#28287 (comment)

以下为我解决了 tf 的多线程兼容性问题：

# on thread 1
session = tf.Session(graph=tf.Graph())
with session.graph.as_default():
    k.backend.set_session(session)
    model = k.models.load_model(filepath)

# on thread 2
with session.graph.as_default():
    k.backend.set_session(session)
    model.predict(x)

这为其他线程保留了 Session 和 Graph。
该模型加载到它们的"context"（而不是默认的）中并保留供其他线程使用。
（默认模型加载到默认Session和默认Graph）
另一个优点是它们保存在同一个对象中 - 更容易处理。

在多个线程中重用 Tensorflow 会话导致崩溃

Reusing Tensorflow session in multiple threads causes crash

python

multithreading

python-multithreading

python-3.x

tensorflow