有没有办法使用 mlflow 从 AWS Glue 作业中记录 stats/artifacts?
Is there a way to log stats/artifacts from AWS Glue Job using mlfow?
能否请您告诉我当前版本的 mlflow 是否提供此类功能?
我认为这里的一般答案是您可以使用 mlflow_log_artifact()
或 mlflow_set_tag()
将实验中的任意数据和工件记录到您的 MLflow 跟踪服务器,具体取决于您想要的方式。如果有 API 从 Glue 获取数据并且您可以在 MLflow 运行 期间获取它,那么您可以记录它。编写 csv,将 .png 保存到磁盘并记录,或者声明一个变量并在设置标签时访问它。
这适用于 Glue 或您收到回复的任何其他 API。 MLflow 的主要优势之一是它是一个通用框架,因此您可以跟踪对特定实验重要的内容。
希望对您有所帮助!
能否请您告诉我当前版本的 mlflow 是否提供此类功能?
我认为这里的一般答案是您可以使用 mlflow_log_artifact()
或 mlflow_set_tag()
将实验中的任意数据和工件记录到您的 MLflow 跟踪服务器,具体取决于您想要的方式。如果有 API 从 Glue 获取数据并且您可以在 MLflow 运行 期间获取它,那么您可以记录它。编写 csv,将 .png 保存到磁盘并记录,或者声明一个变量并在设置标签时访问它。
这适用于 Glue 或您收到回复的任何其他 API。 MLflow 的主要优势之一是它是一个通用框架,因此您可以跟踪对特定实验重要的内容。
希望对您有所帮助!