在 Java 应用程序中使用 JAXBContext 解决内存泄漏

Question

我正在尝试诊断并解决我认为 JAXBContext 的严重内存泄漏问题。然而，尽管尝试了很多次，我还是没有成功。

简而言之，我的应用程序在执行的前 50 分钟内使用了少量且一致的内存。大约 50 分钟后，classes/memory 的数量从不到 4,000（classes）增加到大约 8,000（类似的增加发生在内存中）。它一直保持这种状态，直到大约 1 小时 16 分钟，在接下来的 15-20 分钟执行期间，classes 的数量（如 YourKit 中观察到的）增长到大约 246,000。

几乎在同一时间 memory/class 使用率增加我的程序开始使用 EBay 的 Java SDK [com.ebay.sdk.pictureservice.eps].

将图像上传到 eBay 服务器

我分析了YourKit中的Object Allocation Call Tree，我的程序似乎调用了以下方法：

public int uploadPictures(PhotoDisplayCodeType arg0, PictureInfo[] arg1) {
    int arg2 = 0;

    for (int arg3 = 0; arg3 < arg1.length; ++arg3) {
            if (this.uploadPicture(arg0, arg1[arg3])) {
                ++arg2;
        }
    }

 return arg2;
}


public boolean uploadPicture(PhotoDisplayCodeType arg0, PictureInfo arg1) {
    UploadSiteHostedPicturesRequestType arg2 = new UploadSiteHostedPicturesRequestType();
    if (arg0.equals(PhotoDisplayCodeType.SUPER_SIZE) || arg0.equals(PhotoDisplayCodeType.PICTURE_PACK)) {
                arg2.setPictureSet(PictureSetCodeType.SUPERSIZE);
   }

    return this.UpLoadSiteHostedPicture(arg1, arg2);
}


public boolean UpLoadSiteHostedPicture(PictureInfo arg0, UploadSiteHostedPicturesRequestType arg1) {
        ApiLogging arg2 = this.apiContext.getApiLogging();

        System.out.println("Starting picture upload..");

        try {
            Document arg3 = this.marshal(arg1);
            this.addAuthToken(arg3);
            String arg4;
            if (arg2 != null && arg2.isLogSOAPMessages()) {
                arg4 = XmlUtil.getXmlStringFromDom(arg3);
                this.logMessage("UploadSiteHostedPicturesRequest", arg4);
            }


            arg4 = this.xmlToString(arg3);
            String arg5 = this.sendFile(arg0.getPictureFilePath(), arg4);
            if (arg2 != null && arg2.isLogSOAPMessages()) {
                Document arg6 = XmlUtil.createDom(arg5);
                String arg7 = XmlUtil.getXmlStringFromDom(arg6);
                this.logMessage("UploadSiteHostedPicturesResponse", arg7);
            }

            UploadSiteHostedPicturesResponseType arg9 = this.unmarshal(arg5);
            arg0.setReponse(arg9);
            if (arg9.getErrors() != null && arg9.getErrors().length != 0) {
                if (arg9.getErrors().length > 0 && arg9.getAck() == AckCodeType.WARNING) {
                    arg0.setURL(arg9.getSiteHostedPictureDetails().getFullURL());
                    arg0.setErrorType("PICTURE SERVICE RESPONSE WARNING");
                    arg0.setErrorMessage(arg9.getErrors()[0].getShortMessage());
                    if (arg2 != null && arg2.isLogExceptions()) {
                        log.warn("PICTURE SERVICE RESPONSE WARNING");
                        log.warn(arg9.getErrors()[0].getShortMessage());
                    }

                    return true;
                } else {
                    arg0.setErrorType("PICTURE SERVICE RESPONSE ERROR");
                    arg0.setErrorMessage(arg9.getErrors()[0].getShortMessage());
                    if (arg2 != null && arg2.isLogExceptions()) {
                        log.error("PICTURE SERVICE RESPONSE ERROR");
                        log.error(arg9.getErrors()[0].getShortMessage());
                    }

                    return false;
                }
            } else {
                arg0.setURL(arg9.getSiteHostedPictureDetails().getFullURL());
                return true;
            }
        } catch (Exception arg8) {
            arg0.setErrorType("PICTURE SERVICE UPLOAD ERROR");
            arg0.setErrorMessage(arg8.getMessage());
            if (arg2 != null && arg2.isLogExceptions()) {
                log.error("fail to upload picture to eBay picture server!");
                log.error(arg8.getMessage());
            }

            return false;
        }
}



private Document marshal(UploadSiteHostedPicturesRequestType arg0)
            throws JAXBException, ParserConfigurationException {

        **// Is this line causing memory leak?**
        JAXBContext arg1 = JAXBContext.newInstance(new Class[] { UploadSiteHostedPicturesRequestType.class }); 
        Marshaller arg2 = arg1.createMarshaller();
        if (arg0 == null) {
            arg0 = new UploadSiteHostedPicturesRequestType();
        }

        JAXBElement arg3 = (new ObjectFactory()).createUploadSiteHostedPicturesRequest(arg0);
        DocumentBuilderFactory arg4 = DocumentBuilderFactory.newInstance();
        arg4.setNamespaceAware(true);
        DocumentBuilder arg5 = arg4.newDocumentBuilder();
        Document arg6 = arg5.newDocument();
        arg2.marshal(arg3, arg6);
        return arg6;
    }

我的程序连续调用 uploadPictures() 数百次。在我看来，大约在程序调用此函数的时候，内存开始急剧增加。

我的诊断正确吗？我该如何解决？

更新：

我找到了这个 related thread on SO。如果我的诊断是正确的，那似乎是 EBay SDK.

使用的 JAXBContext 版本的错误

更新：

我尝试通过将 JAXBContext class 更改为单例来解决这个问题，但不幸的是它没有解决问题：

public class JAXBContextFactory {
    private static JAXBContextFactory instance = new JAXBContextFactory();

    private static final Map< String, JAXBContext > INSTANCES = new ConcurrentHashMap<String, JAXBContext>();



    private JAXBContextFactory() {
    }

    /**
     * Returns an existing JAXBContext if one for the particular namespace exists, 
     * else it creates an instance adds it to a internal map.
     * @param contextPath the context path
     * @throws JAXBException exception in creating context
     * @return a created JAXBContext
     */
    public JAXBContext getJaxBContext(final String contextPath) throws JAXBException {


     JAXBContext context = INSTANCES.get(contextPath);
        if (context == null) {
            context = JAXBContext.newInstance(contextPath);
            INSTANCES.put(contextPath, context);
        }
        return context;
    }


    /**
     * Returns an existing JAXBContext if one for the particular namespace exists,
     * else it creates an instance adds it to a internal map.
     * @param contextPath the context path
     * @throws JAXBException exception in creating context
     * @return a created JAXBContext
     */
    public JAXBContext getJaxBContext(final Class contextPath) throws JAXBException {
        JAXBContext context = INSTANCES.get(contextPath.getName());
        if (context == null) {
            context = JAXBContext.newInstance(contextPath);
            INSTANCES.put(contextPath.getName(), context);
        }
        return context;
    }

    /**
     * Get instance.
     * @return Instance of this factory
     */
    public static JAXBContextFactory getInstance() {
        return instance;
    }
}

当我查看 "Other memory oddities" 下的 YourKit 中的 Inspections 时，我检测到的唯一问题是 243,959 "Classes with same name"。当我检查 classes 时，我发现它们都包含术语 'JAXB'。基于这些观察，我有几个问题：

1) 为什么 Singleton 模式不能解决创建许多 JAXBContext 的问题？

2) 即使没有 Singleton，为什么在我的应用程序清楚地完成使用它们/上传图像后，所有相关的 class 都没有被垃圾收集？上传完成后，我没有引用 JAXBContext class。

谢谢！

Answer 1

在您的 marshal(UploadSiteHostedPicturesRequestType arg0) 方法中，您有行

// Is this line causing memory leak?
JAXBContext arg1 = JAXBContext.newInstance(new Class[] { UploadSiteHostedPicturesRequestType.class });

尽管这一行严格来说不是内存泄漏，它使用大量内存，并且需要很多 CPU 时间，因为它每次都会创建一个新的重 JAXBContext 对象。从这个方法 return 之后局部变量 JAXBContext arg1 不再被引用，但它将保留在内存中，直到被垃圾收集（这可能不会发生很长时间）。

您应该将此行替换为

JAXBContext arg1 = JAXBContextFactory.getInstance().getJaxBContext(UploadSiteHostedPicturesRequestType.class);

这应该可以大大改善内存使用和 CPU 时间。

在 Java 应用程序中使用 JAXBContext 解决内存泄漏

Solving Memory Leak with JAXBContext in Java Application

java

memory-leaks

memory-management

jaxb

yourkit