将机器学习模型从 Filestore 推送到 Azure 数据工厂

Question

我建立了一个线性回归模型。

lr = LinearRegression()
lr.fit(X_train, y_train)

我知道我可以通过执行类似以下操作来存储模型：

with mlflow.start_run(run_name="LR Model") as run:
  mlflow.sklearn.log_model(lr, "model", input_example=X_train[:5])
  mlflow.log_metric("mse", mean_squared_error(y_test, lr.predict(X_test)))

但这不是我的本意。

我希望能够将 pickle 文件移动到 Azure 数据湖，因此我使用以下方法将其存储在 Filestore 中：

import pickle
filename = '/dbfs/FileStore/lr_model.pkl'
pickle.dump(lr, open(filename, 'wb'))

我现在正在尝试将 pickle 文件从数据块中的文件存储推送到 Azure 数据湖。关于如何实现这一点有什么想法吗？

Answer 1

当前版本的 Data bricks 不允许从 Databricks 传输 non-notebook 文件。希望即将到来的版本将为此提供解决方案。

将机器学习模型从 Filestore 推送到 Azure 数据工厂

Push machine learning models from Filestore to Azure data factory

python

pickle

azure

databricks