Opencv ANN_MLP 在 Android 中训练

Question

我已经在 opencv C++ 中实现了一个 ANN 字符分类器。我创建了一个模型：

        cv::Mat layers(3,1,CV_32S);
        layers.at<int>(0,0) = ATTRIBUTES;//400
        layers.at<int>(1,0)=25;//hidden layer
        layers.at<int>(2,0) =CLASSES;// eg. 10

        CvANN_MLP nnetwork(layers, CvANN_MLP::SIGMOID_SYM,0.6,1);

        CvANN_MLP_TrainParams params(
           cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, 0.000001),
                                        CvANN_MLP_TrainParams::BACKPROP,
                                        0.1, 0.1);
        int iterations = nnetwork.train(training_set, training_set_classifications,cv::Mat(),cv::Mat(),params);
        CvFileStorage* storage = cvOpenFileStorage( "C:\example\myModel.xml", 0, CV_STORAGE_WRITE );
        nnetwork.write(storage,"OCR");
        cvReleaseFileStorage(&storage);

现在，我的模型存放在C:/example/myModel.xml 当我想使用 ANN 分类器时，我在 C++ 中使用以下代码：

CvANN_MLP nnetwork;

CvFileStorage* storage = cvOpenFileStorage("C:\example\myModel.xml", 0, CV_STORAGE_READ );
CvFileNode *n = cvGetFileNodeByName(storage,0,"OCR");
nnetwork.read(storage,n);
cvReleaseFileStorage(&storage);

现在我可以使用 nnetwork.predict() 对我的角色进行分类了。我的问题在这里，我想在 Android 中有相同的分类器。但是，我不知道如何在Android中加载myModel.xml中的模型。我正在使用 opencv 3.0.0，但在 Android opencv 中找不到 CvFileStorage 的 Java 对应部分。我不知道如何在 Java 中使用 FileStorage。请帮助我。

Answer 1

我发现没有

CvFileStorage

支持 opencv4android。但是，如果你跳过jni，你可以做任何你想做的事。我正在使用 Android Studio，但我很难找到解决方案。

jni 到 link 和 opencv 到 android 有一个近乎复杂的过程。我讨论整个过程如下：

第 1 步。在您的 android 项目中创建一个新的 class。将其命名为 linkToNative。添加从 jni 读取字符串的本机方法。

package com.example.yourname.yourproject;

public class linkToNative {

    public native String compare(long src,long dest);

    static {
        System.loadLibrary("compare");
    }

}

还有一件事，将您的本机模块引入您的应用程序文件夹中的 glradle.build。因此，您的 gradle defaultConfig 范围将是这样的：

defaultConfig {
        applicationId "com.example.yourname.yourproject"
        minSdkVersion 10
        targetSdkVersion 22
        versionCode 1
        versionName "1.0"

        ndk{
            moduleName 'compare'
                   }
    }

第 2 步。构建您的项目

第 3 步。使用 javah 创建您的 headers。为此，在您的终端中，导航至 [您的项目根目录]/app/src/main 并键入：

javah -d jni -classpath [Your Android sdk root directory]/platforms/android-19/android.jar;../../build/intermediates/classes/debug com.example.yourname.yourproject.linkToNative

请注意，如果您将其他包导入myClass.java，则需要将相应的java或jar文件添加到class路径搜索区域。在使用 opencv 包装器的情况下，请参阅 THIS。

第四步，在javah创建的jni文件夹中，制作cpp[强烈推荐cpp]文件。我创建了一个简单的如下：

#include <com.example.yourname.yourproject.linkToNative.h>

JNIEXPORT jstring JNICALL Java_com_example_yourname_yourproject_linkToNative_compare
(JNIEnv *env, jobject obj, jlong src, jlong dest){
return env->NewStringUTF("hello, I'm jni");
}

转到 newly-created jni 文件夹并创建两个名为 Android.mk 和 Application.mk 的文件，如下所示：

Android.mk

LOCAL_PATH := $(call my-dir)

   include $(CLEAR_VARS)


    OPENCVROOT:= [PATH/TO/Your/Opencv4android/Directory]
    OPENCV_CAMERA_MODULES:=off
    OPENCV_INSTALL_MODULES:=on
    OPENCV_LIB_TYPE:=SHARED
    LOCAL_C_INCLUDE := ${OPENCVROOT}/sdk/native/jni/include/
    include ${OPENCVROOT}/sdk/native/jni/OpenCV.mk
    LOCAL_LDLIBS += -llog -lstdc++ -lz
    LOCAL_MODULE    := compare
    LOCAL_SRC_FILES := compare.cpp
    include $(BUILD_SHARED_LIBRARY)

Application.mk

APP_STL := gnustl_static
APP_CPPFLAGS := -frtti -fexceptions
APP_ABI := armeabi-v7a
APP_PLATFORM := android-19

现在您可以使用 ndk-build cross-compile 您的本机代码。您应该已经下载了 NDK 并预先将其解压缩。然后，转到您的终端，导航到应用程序文件夹并写下以下代码：

[YOUR NDK FOLDER]\ndk-build.cmd NDK_PROJECT_PATH=build/intermediates/ndk NDK_LIBS_OUT=src/main/jniLibs APP_BUILD_SCRIPT=src/main/jni/Android.mk  NDK_APPLICATION_MK=src/main/jni/Application.mk

请注意，如果您使用的是 linux 或 mac 平台，请将 .cmd 从上述命令中删除。等待代码编译并运行您的项目。现在，您可以运行 java 中的代码。每次更改 cpp 文件时，都应按上述方式编译 jni 代码。如果你想摆脱这个，如 gradle 通过在其中定义一个任务来做到这一点。提供了一个很好的教程 HERE。

在 opencv3 中调用 StatModel

StatModel 在 opencv3 中有一点改变。这是加载模型并根据 testClass 预测 class 的代码。事先，在您的 cpp 文件中包含以下库。

#include <opencv/cv.h>
#include "opencv2/opencv.hpp"
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/objdetect/objdetect.hpp"
#include <opencv2/ml/ml.hpp>

现在，这是代码的其余部分。

#define CLASSES 10
using namespace cv;
using namespace cv::ml;

JNIEXPORT jstring JNICALL Java_com_example_yourname_yourproject_linkToNative_compare
  (JNIEnv *env, jobject obj, jlong addrGray , jlong dest){
  Mat* srcMat = (Mat*) src;
  Mat* destMat = (Mat*) dest;
  Mat ref = pMatYr->clone();
  Ptr<ANN_MLP> model=StatModel::load<ANN_MLP>("/storage/emulated/0/ALPR/param.xml");
  cv::Mat outputArray(1,CLASSES,CV_8U);
  //
  Your code that creates testClass according to srcMat 
  .
  .
  //
  model->predict(testClass,outputArray)

  return env->NewStringUTF("YOUR MSG!");
  }

有关 STatModel 的更多信息，请阅读 documentation page。

Opencv ANN_MLP 在 Android 中训练

Opencv ANN_MLP training in Android

java

android

opencv

opencv3.0

opencv4android

Android.mk

Application.mk

在 opencv3 中调用 StatModel