机器学习：关于处理 RGBD 流和相关组件的问题
Machine Learning: Question regarding processing of RGBD streams and involved components
我想在 Intel RealSense 或 Orbbec Astra 相机的对齐 RGB 和深度流上试验机器学习（尤其是 CNN）。我的目标是在输出视频流中进行一些对象识别和 highlight/mark 它们（作为起点）。
但在阅读了很多文章之后，我仍然对所涉及的框架以及数据如何从相机流经所涉及的软件组件感到困惑。就是拍不出高级图。
这是我对处理流程的假设：
传感器 => 驱动程序 => libRealSense / Astra SDK => TensorFlow
问题
- 我关于处理的假设是否正确？
- Orbbec 除了
Astra SDK 之外还提供了一个额外的 Astra OpenNI SDK，因为英特尔为 OpenCV 和 OpenNI 提供了包装器 (?)。我什么时候或为什么需要这个额外的 libraries/support?
- 最快的入门方法是什么？我更喜欢 C# 而不是 C++
- 您的假设是正确的：数据采集流程是：
sensor -> driver -> camera library -> other libraries built on top of it（请参阅 OpenCV 对 Intel RealSense 的支持）-> captured image.一旦您获得了图像，您当然可以为所欲为。
- 各种库使您可以轻松地使用设备。特别是，使用英特尔实感支持编译的 OpenCV 允许您使用 OpenCV 标准数据采集流，而无需担心来自传感器和英特尔库使用的图像格式。 10/10 使用这些库，它们让您的生活更轻松。
- 您可以从英特尔实感 (https://github.com/IntelRealSense/librealsense/tree/master/wrappers/opencv) 的 OpenCV 包装器文档开始。一旦您能够捕获 RGBD 图像，您就可以使用
tf.data 为您的模型创建输入管道，并在 tensorflow 中开发任何在 RGDB 图像上使用 CNN 的应用程序（只需 google 它并查看 arxiv 以对可能的应用有想法）。
训练好模型后，只需导出训练好的图并将其用于推理，因此您的管道将变为：sensor -> driver -> camera library -> libs -> RGBD image -> trained model -> model output
我想在 Intel RealSense 或 Orbbec Astra 相机的对齐 RGB 和深度流上试验机器学习（尤其是 CNN）。我的目标是在输出视频流中进行一些对象识别和 highlight/mark 它们（作为起点）。
但在阅读了很多文章之后，我仍然对所涉及的框架以及数据如何从相机流经所涉及的软件组件感到困惑。就是拍不出高级图。
这是我对处理流程的假设：
传感器 => 驱动程序 => libRealSense / Astra SDK => TensorFlow
问题
- 我关于处理的假设是否正确？
- Orbbec 除了
Astra SDK之外还提供了一个额外的Astra OpenNI SDK，因为英特尔为OpenCV和OpenNI提供了包装器 (?)。我什么时候或为什么需要这个额外的 libraries/support? - 最快的入门方法是什么？我更喜欢 C# 而不是 C++
- 您的假设是正确的：数据采集流程是：
sensor -> driver -> camera library -> other libraries built on top of it（请参阅 OpenCV 对 Intel RealSense 的支持）-> captured image.一旦您获得了图像，您当然可以为所欲为。 - 各种库使您可以轻松地使用设备。特别是，使用英特尔实感支持编译的 OpenCV 允许您使用 OpenCV 标准数据采集流，而无需担心来自传感器和英特尔库使用的图像格式。 10/10 使用这些库，它们让您的生活更轻松。
- 您可以从英特尔实感 (https://github.com/IntelRealSense/librealsense/tree/master/wrappers/opencv) 的 OpenCV 包装器文档开始。一旦您能够捕获 RGBD 图像，您就可以使用
tf.data为您的模型创建输入管道，并在 tensorflow 中开发任何在 RGDB 图像上使用 CNN 的应用程序（只需 google 它并查看 arxiv 以对可能的应用有想法）。
训练好模型后，只需导出训练好的图并将其用于推理，因此您的管道将变为：sensor -> driver -> camera library -> libs -> RGBD image -> trained model -> model output