无法在 IBM DSX 笔记本中使用 Spark 2.0 启动 Scala 2.11

Question

当尝试使用 Scala 2.11/Spark 2.0 内核在 IBM DSX 上启动任何笔记本时，出现以下错误：

Dead kernel The kernel has died, and the automatic restart has failed. It is possible the kernel cannot be restarted. If you are not able to restart the kernel, you will still be able to save the notebook, but running code will no longer work until the notebook is reopened

我已确保其他笔记本中的所有内核都已停止，并且我已尝试更改 Spark 版本。我能够创建和启动 Python/Spark 个笔记本。

Answer 1

如果将与 Scala 环境冲突的 JAR 文件放入 ~/data/libs/，就会发生这种情况。也有特定于版本的子目录。有关详细信息，请参阅 DSX 文档： https://datascience.ibm.com/docs/content/analyze-data/importing-libraries.html

在 Python 笔记本中，执行以下命令检查您的 libs 目录的内容：

!ls -ARF ~/data/libs/

如果您发现那里有任何可疑之处，您还可以从 Python 笔记本中删除文件。例如：

!rm -f ~/data/libs/*.jar

然后重新启动 Scala 内核，看看是否有所不同。

---

有时， 中提供了用于跟踪问题的附加信息。再次从 Python 笔记本中列出 Scala 内核日志文件，使用：

!ls $SERVICE_HOME/kernel-scala-*.log

然后使用以下方法获取日志文件的内容：

!cat $SERVICE_HOME/kernel-scala-<timestamp>.log