BERT 能否用于训练非文本序列数据进行分类？
Can BERT be used to train non-text sequence data for classification?
BERT 可以用于非文本序列数据吗？我想尝试使用 BERT 解决序列分类问题。数据不是文本。换句话说，我想从头开始训练BERT。我该怎么做？
只要是离散符号序列，Transformer 架构就可以用于任何事物。 BERT 使用标记语言模型 objective 进行训练，即，它被训练为根据序列的其余部分填充序列中的空白。如果你的数据属于那种类型，你可以在其上训练一个类似 BERT 的模型。对于连续向量序列，您需要想出一种合适的方法来替代屏蔽语言建模。
您可以按照在线找到的许多教程中的任何一个进行操作，例如 Huggingface blog or towardsdatascience.com。
BERT 可以用于非文本序列数据吗？我想尝试使用 BERT 解决序列分类问题。数据不是文本。换句话说，我想从头开始训练BERT。我该怎么做？
只要是离散符号序列，Transformer 架构就可以用于任何事物。 BERT 使用标记语言模型 objective 进行训练，即，它被训练为根据序列的其余部分填充序列中的空白。如果你的数据属于那种类型，你可以在其上训练一个类似 BERT 的模型。对于连续向量序列，您需要想出一种合适的方法来替代屏蔽语言建模。
您可以按照在线找到的许多教程中的任何一个进行操作，例如 Huggingface blog or towardsdatascience.com。