Databricks Feature Store - 我可以使用本机 Python(而不是 PySpark)来创建功能吗?
Databricks Feature Store - Can I use native Python (instead of PySpark) to create features?
我想使用流行的 python 包(例如 ta-lib or pandas-ta)提供的开箱即用的特征转换来创建具有一些流行时间序列特征的特征 table - 这些包依赖在 numpy/pandas 而不是 Spark 数据帧上。
这可以用 Databricks Feature Store 完成吗?
在文档中我只能找到使用 Spark 数据帧创建特征的示例。
说到创作 - 是的,您可以使用 Pandas 来完成。在创建特征存储或向其中写入新数据之前,您只需将 Pandas DataFrame 转换为 Spark DataFrame。最简单的方法是使用 spark.createDataFrame
函数,将 Pandas DataFrame 作为参数传递给它。
我想使用流行的 python 包(例如 ta-lib or pandas-ta)提供的开箱即用的特征转换来创建具有一些流行时间序列特征的特征 table - 这些包依赖在 numpy/pandas 而不是 Spark 数据帧上。
这可以用 Databricks Feature Store 完成吗?
在文档中我只能找到使用 Spark 数据帧创建特征的示例。
说到创作 - 是的,您可以使用 Pandas 来完成。在创建特征存储或向其中写入新数据之前,您只需将 Pandas DataFrame 转换为 Spark DataFrame。最简单的方法是使用 spark.createDataFrame
函数,将 Pandas DataFrame 作为参数传递给它。