如何在 BlueData 上使用 Tensorflow 从 datatap 读取和写入？

Question

我希望能够直接从 TensorFlow 使用 BlueData 的 datatap。

有了 pyspark，我可以做这样的事情：

df.write.parquet('dtap://OtherDataTap/airline-safety_zero_incidents.parquet')

请注意，我不需要设置任何库 - 开箱即用。

对于来自 Tensorflow 的 DataTap 上的 reading/writing 数据，我需要做什么？

Answer 1

根据文档：http://docs.bluedata.com/40_datatap-tensorflow-support

import tensorflow as tf
import os
from tensorflow.python.framework.versions import CXX11_ABI_FLAG

CXX11_ABI_FLAG

bdfs_file_system_library = os.path.join("/opt/bluedata","libbdfs_file_system_shared_r1_9.so")
tf.load_file_system_library(bdfs_file_system_library)

with tf.gfile.Open("dtap://TenantStorage/tmp/tensorflow/dtap.txt", 'w') as f:
    f.write("This is the dtap test file")

with tf.gfile.Open("dtap://TenantStorage/tmp/tensorflow/dtap.txt", 'r') as f:
    content = f.read()

如何在 BlueData 上使用 Tensorflow 从 datatap 读取和写入？

How to read and write from datatap using Tensorflow on BlueData?

python

tensorflow

bluedata