转换 Mozilla DeepSpeech 模型以在 tensorflow.js 环境中使用

Question

我一直在尝试将 Mozilla Deepspeech 训练模型转换为 tensorflow.js，在 ml5.js soundClassifier 层中使用。我的理解是 Mozilla DeepSpeech 使用 TensorFlow。我一直在尝试遵循此处的提示：

tensorflowjs_converter --help

我已经从这里下载了 DeepSpeech 模型：

解压后发现如下文件：

lm.binary output_graph.pb output_graph.pbmm output_graph.tflite trie

我曾尝试运行命令，例如：

tensorflowjs_converter --output_format=tfjs_graph_model --saved_model_tags=serve deep/ tensorflow.js/

和变体来进行转换。 tensorflow.js/ 是我创建的目录，deep/ 是包含 DeepSpeech 模型文件（上面列出的）的目录。

我收到错误：

SavedModel file does not exist at: deep/saved_model.pb/{saved_model.pbtxt|saved_model.pb}

我将 output_graph.pb 重命名为 saved_model.pb。

首先，我想知道 DeepSpeech 模型是否与 tensorflowjs_converter 兼容，如果是，我缺少什么才能使它正常工作。

Answer 1

我认为 output_graph.pb 是冷冻模型。在这种情况下，您需要运行像这样的转换器：

tensorflowjs_converter \
    --input_format=tf_frozen_model \
    --output_node_names='logits' \
    deepspeech/output_graph.pb \
    tensorflowjs

但是，这样做会导致以下错误：

ValueError: Unsupported Ops in the model before optimization
BlockLSTM, Mfcc, AudioSpectrogram

操作 BlockLSTM、Mfcc 和 AudioSpectrogram 当前不支持 TensorFlow.js，因此转换将失败：

Converting Mozilla DeepSpeech model to use in tensorflow.js environment