为什么 tensorflowjs 中的 model.predict 总是返回相同的错误输出，而不管给定的张量如何？

Question

我正在尝试将我转换为 tensorflow js 的 keras 模型用于 React Native，但该模型一直给出错误的响应。做了一些挖掘，发现我传递给 model.predict 的张量是如何改变的，导致它给出相同的错误预测。任何建议，将不胜感激。我几乎很难坚持。代码如下：

import React, {useState, useEffect} from 'react';
import {View, Text, Button} from 'react-native';
import * as tf from '@tensorflow/tfjs';
import {
  bundleResourceIO
} from '@tensorflow/tfjs-react-native';
import * as mobilenet from '@tensorflow-models/mobilenet';

function thing() {
  const [model, setModel] = useState(null);
  const [tensor, setTensor] = useState(null); 
  
  async function loadModel() {
    const modelJson = require('./assets/model.json');
    const weight = require('./assets/group1-shard1of1.bin');
    const backend = await tf.ready();
    const item = await tf.loadLayersModel(
        bundleResourceIO(modelJson, weight)
    );
    const tfTensor = tf.tensor([[0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]);
    
    setModel(item);
    setTensor(tfTensor);
  }

  useEffect(() => {
    loadModel();
  }, []);

  async function test() {
    if(tensor !== null && model !== null) {
      const result = await model.predict(tensor);
      console.log(result.dataSync())
    }
  }

  return (
    <View>
      <Button
        onPress={test}
        title="click"
        color="#841584"
        accessibilityLabel="Learn more about this purple button"
      />

    </View>
  );
}

export default thing;

Answer 1

就像改变图像中的单个像素不会改变图像一样，改变数组中的一位也不会显着调整预测。

我运行 mobilenet 在黑色 224x224 图像上预测 class 819（无论是什么）。然后我将左上角的像素更改为白色并重新运行 mobilenet，它仍然 class 显示为 class 819.

See example code here

更改单个位不会像散列函数那样产生级联效应。 Mobilenet 本质上对噪声具有弹性。

为什么 tensorflowjs 中的 model.predict 总是返回相同的错误输出，而不管给定的张量如何？

why does model.predict in tensorflowjs keeps returning the same incorrect output regardless of the tensor given?

react-native

tensorflow

tensorflow.js