我可以在配对图像和坐标上使用 Keras 或类似的 CNN 工具吗?

Can I use Keras or a similar CNN tool on a paired image and coordinate?

我正在尝试训练一个分类器,将粒子物理探测器拍摄的图像分成两张 类。对于每个图像,我还有一个坐标 (x,y,z) 来描述粒子相互作用发生的位置。该坐标对于通过肉眼理解这些图像非常有用,但对加权图像像素没有明显的转换。

我一直在 scikit-learn 中尝试一些基本的机器学习技术,输入具有 103 个特征的数据点:坐标的三个轴和图像的 10x10 像素。不幸的是,这些基本技术并没有解决问题,所以我想我会尝试利用卷积神经网络的特性。由于我以前从未尝试过,Keras 似乎是一种简单的入门方法。

看看 Keras,我发现我应该提供一个输入形状。我大概可以使用 (103) 的输入形状,但如果我正确理解 CNN,我将失去 CNN 在图像方面的所有优势。直觉上,我想要的输入形状是 (3)+(10,10)。在 CNN 的世界里,这是一个明智的概念吗?可以在 Keras 中完成吗?

您可能想查看 Merge layer。从本质上讲,这允许您使用两个独立的输入,也许给它们几个不同的处理层,然后它们将它们组合起来用于模型的其余部分。

有了这个,例如,您可以做几个卷积层来处理图像,然后简单地将它与坐标输入合并。