注册函数时 Databricks SCALA UDF 无法加载 class
Databricks SCALA UDF cannot load class when registering function
我已关注 this guide and 尝试实现解密功能以在 SQL 视图中使用。
我已将示例中的此 scala 代码编译为 jar 文件并上传到 Databricks 文件系统 (DBFS):
import com.macasaet.fernet.{Key, StringValidator, Token};
import org.apache.hadoop.hive.ql.exec.UDF;
import java.time.{Duration, Instant};
class Validator extends StringValidator {
override def getTimeToLive() : java.time.temporal.TemporalAmount = {
Duration.ofSeconds(Instant.MAX.getEpochSecond());
}
}
class udfDecrypt extends UDF {
def evaluate(inputVal: String, sparkKey : String): String = {
if( inputVal != null && inputVal!="" ) {
val keys: Key = new Key(sparkKey)
val token = Token.fromString(inputVal)
val validator = new Validator() {}
val payload = token.validateAndDecrypt(keys, validator)
payload
} else return inputVal
}
}
我可以像演示的那样声明函数:
%sql
CREATE OR REPLACE FUNCTION default.udfDecrypt AS 'com.nm.udf.udfDecrypt'
USING jar 'dbfs:/FileStore/jars/decryptUDF.jar';
但是如果我尝试调用它,则会抛出错误:
%sql
SELECT default.udfDecrypt(field, '{key}') FROM default.encrypted_test;
Error in SQL statement: AnalysisException: Can not load class 'com.nm.udf.udfDecrypt' when registering the function 'default.udfDecrypt', please make sure it is on the classpath; line 1 pos 7
我注意到该函数可以使用任何 jar 文件路径(即使不存在)声明,并且它仍然 return 'OK'.
我正在为 Azure 使用 Databricks。
您的 UDF 代码似乎丢失了:
package com.nm.udf;
在顶部。
我已关注 this guide and
我已将示例中的此 scala 代码编译为 jar 文件并上传到 Databricks 文件系统 (DBFS):
import com.macasaet.fernet.{Key, StringValidator, Token};
import org.apache.hadoop.hive.ql.exec.UDF;
import java.time.{Duration, Instant};
class Validator extends StringValidator {
override def getTimeToLive() : java.time.temporal.TemporalAmount = {
Duration.ofSeconds(Instant.MAX.getEpochSecond());
}
}
class udfDecrypt extends UDF {
def evaluate(inputVal: String, sparkKey : String): String = {
if( inputVal != null && inputVal!="" ) {
val keys: Key = new Key(sparkKey)
val token = Token.fromString(inputVal)
val validator = new Validator() {}
val payload = token.validateAndDecrypt(keys, validator)
payload
} else return inputVal
}
}
我可以像演示的那样声明函数:
%sql
CREATE OR REPLACE FUNCTION default.udfDecrypt AS 'com.nm.udf.udfDecrypt'
USING jar 'dbfs:/FileStore/jars/decryptUDF.jar';
但是如果我尝试调用它,则会抛出错误:
%sql
SELECT default.udfDecrypt(field, '{key}') FROM default.encrypted_test;
Error in SQL statement: AnalysisException: Can not load class 'com.nm.udf.udfDecrypt' when registering the function 'default.udfDecrypt', please make sure it is on the classpath; line 1 pos 7
我注意到该函数可以使用任何 jar 文件路径(即使不存在)声明,并且它仍然 return 'OK'.
我正在为 Azure 使用 Databricks。
您的 UDF 代码似乎丢失了:
package com.nm.udf;
在顶部。