JNA/BridJ 等中的分段错误
Segmentation faults in JNA/BridJ etc
我已经使用 JNI、JNA、BridJ 和 JavaCPP 多次重建我的 Java/C++ 项目，并且每次我都遇到随机（不可预测的）分段错误。我已经验证使用此库的纯 C++ 可执行文件永远不会导致分段错误，并且在 BridJ 的情况下，通过显式调用将其缩小到 Java 的垃圾收集器。
一种想法是，这些库正在创建 Java 端指针对象，当它们被垃圾收集时（通过 finalize）而不是调用 free 或 delete将 C++ returns 的指针视为借用的引用，就像它们在本应用程序中应该的那样。
但我尝试了一项额外的测试（下面未表示）：我将 API 中的每个指针都变成了 int64_t（Java 中的 long）并显式转换为 C++ 中的适当类型。我仍然看到罕见的段错误。
所以我的问题很宽泛：是什么导致了这个问题？我将接受使用 JNA 或 BridJ 的答案，因为我可以轻松地在这两者之间切换。我想我遗漏了一个基本问题，因为这个问题在我尝试过的所有库中都非常普遍。
为了具体起见，这是我的 JNA 版本。我正在链接 CERN ROOT 库。 RootTreeReader.h 是：
#ifndef ROOTTREEREADER_H
#define ROOTTREEREADER_H
#include <TFile.h>
#include <TTreeReader.h>
#include <TTreeReaderValue.h>
#include <TTreeReaderArray.h>
using namespace ROOT::Internal;
extern "C" {
TFile *newFile(const char *fileLocation);
TTreeReader *newReader(TFile *file, const char *treeLocation);
bool readerNext(TTreeReader *reader);
TTreeReaderValueBase *newValue_float(TTreeReader *reader, const char *name);
float getValue_float(TTreeReaderValueBase *value);
}
#endif // ROOTTREEREADER_H
RootTreeReader.cpp 是：
#include <string>
#include "RootTreeReader.h"
TFile *newFile(const char *fileLocation) {
return TFile::Open(fileLocation);
}
TTreeReader *newReader(TFile *file, const char *treeLocation) {
return new TTreeReader(treeLocation, file);
}
bool readerNext(TTreeReader *reader) {
return reader->Next();
}
TTreeReaderValueBase *newValue_float(TTreeReader *reader, const char *name) {
return new TTreeReaderValue<float>(*reader, name);
}
float getValue_float(TTreeReaderValueBase *value) {
return *((float*)value->GetAddress());
}
他们的 Makefile 是
all: RootTreeReader.cpp
mkdir -p ../../../target/native/linux-x86-64
g++ RootTreeReader.cpp -o ../../../target/native/linux-x86-64/libRootTreeReader.so \
-fPIC -shared \
-Wl,--no-as-needed $(shell root-config --cflags --ldflags --libs) -lTreePlayer
JNAerator 生成以下 RootTreeReaderLibrary.java:
package org.dianahep.scaroot;
import com.sun.jna.Library;
import com.sun.jna.Native;
import com.sun.jna.NativeLibrary;
import com.sun.jna.Pointer;
import com.sun.jna.PointerType;
/**
* JNA Wrapper for library <b>RootTreeReader</b><br>
* This file was autogenerated by <a href="http://jnaerator.googlecode.com/">JNAerator</a>,<br>
* a tool written by <a href="http://ochafik.com/">Olivier Chafik</a> that <a href="http://code.google.com/p/jnaerator/wiki/CreditsAndLicense">uses a few opensource projects.</a>.<br>
* For help, please visit <a href="http://nativelibs4java.googlecode.com/">NativeLibs4Java</a> , <a href="http://rococoa.dev.java.net/">Rococoa</a>, or <a href="http://jna.dev.java.net/">JNA</a>.
*/
public interface RootTreeReaderLibrary extends Library {
public static final String JNA_LIBRARY_NAME = "RootTreeReader";
public static final NativeLibrary JNA_NATIVE_LIB = NativeLibrary.getInstance(RootTreeReaderLibrary.JNA_LIBRARY_NAME);
public static final RootTreeReaderLibrary INSTANCE = (RootTreeReaderLibrary)Native.loadLibrary(RootTreeReaderLibrary.JNA_LIBRARY_NAME, RootTreeReaderLibrary.class);
/**
* Original signature : <code>TFile* newFile(const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:5</i><br>
* @deprecated use the safer methods {@link #newFile(java.lang.String)} and {@link #newFile(com.sun.jna.Pointer)} instead
*/
@Deprecated
RootTreeReaderLibrary.TFile newFile(Pointer fileLocation);
/**
* Original signature : <code>TFile* newFile(const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:5</i>
*/
RootTreeReaderLibrary.TFile newFile(String fileLocation);
/**
* Original signature : <code>TTreeReader* newReader(TFile*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:6</i><br>
* @deprecated use the safer methods {@link #newReader(org.dianahep.scaroot.RootTreeReaderLibrary.TFile, java.lang.String)} and {@link #newReader(org.dianahep.scaroot.RootTreeReaderLibrary.TFile, com.sun.jna.Pointer)} instead
*/
@Deprecated
RootTreeReaderLibrary.TTreeReader newReader(RootTreeReaderLibrary.TFile file, Pointer treeLocation);
/**
* Original signature : <code>TTreeReader* newReader(TFile*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:6</i>
*/
RootTreeReaderLibrary.TTreeReader newReader(RootTreeReaderLibrary.TFile file, String treeLocation);
/**
* Original signature : <code>bool readerNext(TTreeReader*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:7</i>
*/
byte readerNext(RootTreeReaderLibrary.TTreeReader reader);
/**
* Original signature : <code>TTreeReaderValueBase* newValue_float(TTreeReader*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:9</i><br>
* @deprecated use the safer methods {@link #newValue_float(org.dianahep.scaroot.RootTreeReaderLibrary.TTreeReader, java.lang.String)} and {@link #newValue_float(org.dianahep.scaroot.RootTreeReaderLibrary.TTreeReader, com.sun.jna.Pointer)} instead
*/
@Deprecated
RootTreeReaderLibrary.TTreeReaderValueBase newValue_float(RootTreeReaderLibrary.TTreeReader reader, Pointer name);
/**
* Original signature : <code>TTreeReaderValueBase* newValue_float(TTreeReader*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:9</i>
*/
RootTreeReaderLibrary.TTreeReaderValueBase newValue_float(RootTreeReaderLibrary.TTreeReader reader, String name);
/**
* Original signature : <code>float getValue_float(TTreeReaderValueBase*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:11</i>
*/
float getValue_float(RootTreeReaderLibrary.TTreeReaderValueBase value);
public static class TFile extends PointerType {
public TFile(Pointer address) {
super(address);
}
public TFile() {
super();
}
};
public static class TTreeReader extends PointerType {
public TTreeReader(Pointer address) {
super(address);
}
public TTreeReader() {
super();
}
};
public static class TTreeReaderValueBase extends PointerType {
public TTreeReaderValueBase(Pointer address) {
super(address);
}
public TTreeReaderValueBase() {
super();
}
};
}
我这样称呼它：
Native.setProtected(true)
println("Native.isProtected", Native.isProtected) // it's true on Linux; I've tried this with and without
val lib = RootTreeReaderLibrary.INSTANCE
println("one")
val file = lib.newFile("TrackResonanceNtuple.root")
println("two")
val reader = lib.newReader(file, "TrackResonanceNtuple/twoMuon")
println("three")
val mass = lib.newValue_float(reader, "mass_mumu")
println("four")
var counter = 0
while (lib.readerNext(reader) > 0) {
val num = lib.getValue_float(mass)
println(num)
counter += 1
// if (counter % 1000 == 0) {
// println("gc start")
// System.gc()
// println("gc end")
// }
}
println("five")
它很少有或没有显式垃圾收集器调用的段错误。此段错误的 BridJ 版本很少没有和经常有显式垃圾收集器调用。
快速修复：
export LD_PRELOAD=/path/to/libjsig.so
问题在于 CERN ROOT 试图为与 JDK 相同的信号安装处理程序。 Oracle 建议预加载 libjsig.so，它提供 "signal-chaining facility"，以解决这些类型的问题：
https://docs.oracle.com/javase/6/docs/technotes/guides/vm/signal-chaining.html
Jim 编辑：
针对ROOT框架，可以调用
关闭信号处理
gSystem->ResetSignals();
可以在这个 ROOT 留言板上找到讨论：https://root.cern.ch/phpBB3/viewtopic.php?t=8231
我已经使用 JNI、JNA、BridJ 和 JavaCPP 多次重建我的 Java/C++ 项目，并且每次我都遇到随机（不可预测的）分段错误。我已经验证使用此库的纯 C++ 可执行文件永远不会导致分段错误，并且在 BridJ 的情况下，通过显式调用将其缩小到 Java 的垃圾收集器。
一种想法是，这些库正在创建 Java 端指针对象，当它们被垃圾收集时（通过 finalize）而不是调用 free 或 delete将 C++ returns 的指针视为借用的引用，就像它们在本应用程序中应该的那样。
但我尝试了一项额外的测试（下面未表示）：我将 API 中的每个指针都变成了 int64_t（Java 中的 long）并显式转换为 C++ 中的适当类型。我仍然看到罕见的段错误。
所以我的问题很宽泛：是什么导致了这个问题？我将接受使用 JNA 或 BridJ 的答案，因为我可以轻松地在这两者之间切换。我想我遗漏了一个基本问题，因为这个问题在我尝试过的所有库中都非常普遍。
为了具体起见，这是我的 JNA 版本。我正在链接 CERN ROOT 库。 RootTreeReader.h 是：
#ifndef ROOTTREEREADER_H
#define ROOTTREEREADER_H
#include <TFile.h>
#include <TTreeReader.h>
#include <TTreeReaderValue.h>
#include <TTreeReaderArray.h>
using namespace ROOT::Internal;
extern "C" {
TFile *newFile(const char *fileLocation);
TTreeReader *newReader(TFile *file, const char *treeLocation);
bool readerNext(TTreeReader *reader);
TTreeReaderValueBase *newValue_float(TTreeReader *reader, const char *name);
float getValue_float(TTreeReaderValueBase *value);
}
#endif // ROOTTREEREADER_H
RootTreeReader.cpp 是：
#include <string>
#include "RootTreeReader.h"
TFile *newFile(const char *fileLocation) {
return TFile::Open(fileLocation);
}
TTreeReader *newReader(TFile *file, const char *treeLocation) {
return new TTreeReader(treeLocation, file);
}
bool readerNext(TTreeReader *reader) {
return reader->Next();
}
TTreeReaderValueBase *newValue_float(TTreeReader *reader, const char *name) {
return new TTreeReaderValue<float>(*reader, name);
}
float getValue_float(TTreeReaderValueBase *value) {
return *((float*)value->GetAddress());
}
他们的 Makefile 是
all: RootTreeReader.cpp
mkdir -p ../../../target/native/linux-x86-64
g++ RootTreeReader.cpp -o ../../../target/native/linux-x86-64/libRootTreeReader.so \
-fPIC -shared \
-Wl,--no-as-needed $(shell root-config --cflags --ldflags --libs) -lTreePlayer
JNAerator 生成以下 RootTreeReaderLibrary.java:
package org.dianahep.scaroot;
import com.sun.jna.Library;
import com.sun.jna.Native;
import com.sun.jna.NativeLibrary;
import com.sun.jna.Pointer;
import com.sun.jna.PointerType;
/**
* JNA Wrapper for library <b>RootTreeReader</b><br>
* This file was autogenerated by <a href="http://jnaerator.googlecode.com/">JNAerator</a>,<br>
* a tool written by <a href="http://ochafik.com/">Olivier Chafik</a> that <a href="http://code.google.com/p/jnaerator/wiki/CreditsAndLicense">uses a few opensource projects.</a>.<br>
* For help, please visit <a href="http://nativelibs4java.googlecode.com/">NativeLibs4Java</a> , <a href="http://rococoa.dev.java.net/">Rococoa</a>, or <a href="http://jna.dev.java.net/">JNA</a>.
*/
public interface RootTreeReaderLibrary extends Library {
public static final String JNA_LIBRARY_NAME = "RootTreeReader";
public static final NativeLibrary JNA_NATIVE_LIB = NativeLibrary.getInstance(RootTreeReaderLibrary.JNA_LIBRARY_NAME);
public static final RootTreeReaderLibrary INSTANCE = (RootTreeReaderLibrary)Native.loadLibrary(RootTreeReaderLibrary.JNA_LIBRARY_NAME, RootTreeReaderLibrary.class);
/**
* Original signature : <code>TFile* newFile(const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:5</i><br>
* @deprecated use the safer methods {@link #newFile(java.lang.String)} and {@link #newFile(com.sun.jna.Pointer)} instead
*/
@Deprecated
RootTreeReaderLibrary.TFile newFile(Pointer fileLocation);
/**
* Original signature : <code>TFile* newFile(const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:5</i>
*/
RootTreeReaderLibrary.TFile newFile(String fileLocation);
/**
* Original signature : <code>TTreeReader* newReader(TFile*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:6</i><br>
* @deprecated use the safer methods {@link #newReader(org.dianahep.scaroot.RootTreeReaderLibrary.TFile, java.lang.String)} and {@link #newReader(org.dianahep.scaroot.RootTreeReaderLibrary.TFile, com.sun.jna.Pointer)} instead
*/
@Deprecated
RootTreeReaderLibrary.TTreeReader newReader(RootTreeReaderLibrary.TFile file, Pointer treeLocation);
/**
* Original signature : <code>TTreeReader* newReader(TFile*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:6</i>
*/
RootTreeReaderLibrary.TTreeReader newReader(RootTreeReaderLibrary.TFile file, String treeLocation);
/**
* Original signature : <code>bool readerNext(TTreeReader*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:7</i>
*/
byte readerNext(RootTreeReaderLibrary.TTreeReader reader);
/**
* Original signature : <code>TTreeReaderValueBase* newValue_float(TTreeReader*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:9</i><br>
* @deprecated use the safer methods {@link #newValue_float(org.dianahep.scaroot.RootTreeReaderLibrary.TTreeReader, java.lang.String)} and {@link #newValue_float(org.dianahep.scaroot.RootTreeReaderLibrary.TTreeReader, com.sun.jna.Pointer)} instead
*/
@Deprecated
RootTreeReaderLibrary.TTreeReaderValueBase newValue_float(RootTreeReaderLibrary.TTreeReader reader, Pointer name);
/**
* Original signature : <code>TTreeReaderValueBase* newValue_float(TTreeReader*, const char*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:9</i>
*/
RootTreeReaderLibrary.TTreeReaderValueBase newValue_float(RootTreeReaderLibrary.TTreeReader reader, String name);
/**
* Original signature : <code>float getValue_float(TTreeReaderValueBase*)</code><br>
* <i>native declaration : src/main/cpp/RootTreeReader.h:11</i>
*/
float getValue_float(RootTreeReaderLibrary.TTreeReaderValueBase value);
public static class TFile extends PointerType {
public TFile(Pointer address) {
super(address);
}
public TFile() {
super();
}
};
public static class TTreeReader extends PointerType {
public TTreeReader(Pointer address) {
super(address);
}
public TTreeReader() {
super();
}
};
public static class TTreeReaderValueBase extends PointerType {
public TTreeReaderValueBase(Pointer address) {
super(address);
}
public TTreeReaderValueBase() {
super();
}
};
}
我这样称呼它：
Native.setProtected(true)
println("Native.isProtected", Native.isProtected) // it's true on Linux; I've tried this with and without
val lib = RootTreeReaderLibrary.INSTANCE
println("one")
val file = lib.newFile("TrackResonanceNtuple.root")
println("two")
val reader = lib.newReader(file, "TrackResonanceNtuple/twoMuon")
println("three")
val mass = lib.newValue_float(reader, "mass_mumu")
println("four")
var counter = 0
while (lib.readerNext(reader) > 0) {
val num = lib.getValue_float(mass)
println(num)
counter += 1
// if (counter % 1000 == 0) {
// println("gc start")
// System.gc()
// println("gc end")
// }
}
println("five")
它很少有或没有显式垃圾收集器调用的段错误。此段错误的 BridJ 版本很少没有和经常有显式垃圾收集器调用。
快速修复：
export LD_PRELOAD=/path/to/libjsig.so
问题在于 CERN ROOT 试图为与 JDK 相同的信号安装处理程序。 Oracle 建议预加载 libjsig.so，它提供 "signal-chaining facility"，以解决这些类型的问题：
https://docs.oracle.com/javase/6/docs/technotes/guides/vm/signal-chaining.html
Jim 编辑：
针对ROOT框架，可以调用
关闭信号处理gSystem->ResetSignals();
可以在这个 ROOT 留言板上找到讨论：https://root.cern.ch/phpBB3/viewtopic.php?t=8231