完整的 MLflow 教學：追蹤、模型和部署

如果你喜歡創建資料模型，但發現維護它們很困難，那麼你一定很適合你。 機器學習實驗的順序您來對地方了。隨著專案規模的擴大，如果沒有工具來整理所有內容，測試模型變體、預處理、超參數和資料集就會變得混亂不堪。

這就是它發揮作用的地方 MLflow 是 MLOps 的核心元件。MLflow 是一個開源平台，可協助您控制模型的整個生命週期，從初始實驗到生產部署。在本 MLflow 教程中，您將逐步學習它是什麼、如何在伺服器上安裝它、如何整合資料庫和工件儲存、如何註冊您的實驗以及如何將模型發佈為可直接使用的 API。

什麼是 MLflow？為什麼它在 MLOps 中被廣泛使用？

MLflow 是一個工具，用於 用於管理機器學習模型生命週期的開源軟體非常專注於解決大量實驗、多個模型版本和不同執行環境等典型問題。

該平台依賴幾個關鍵組件，您可以根據需要單獨或組合使用這些組件，而無需一次性採用整個技術棧，這使得它更具優勢。 MLflow 非常靈活，且與生態系無關。.

MLflow 的主要組成部分

MLflow 中包含多個旨在解決特定模型開發問題的模組，每個模組都有自己的 API 和工作方式，但都整合在同一個追蹤介面下。

• 追踪：負責 記錄參數、指標、工件和模型 在每次訓練運行中，您可以輕鬆地比較實驗中的不同運行。
• 期房項目：允許 打包代碼和依賴項 讓機器學習專案可復現，以便其他人（或將來你自己）可以運行完全相同的流程。
• 模型管理 模型的版本控制、註冊與部署 支援不同的格式和目標位置，包括自訂 HTTP 端點、與 Azure ML 或 AWS SageMaker 等雲端服務的集成，以及匯出到 Apache Spark 等環境。

一個有趣的細節是 您無需使用所有模組有些團隊只使用追蹤和模型功能，而忽略專案功能，因為他們的工作流程已經使用 Docker 或類似工具處理打包。 MLflow 的優點在於它能夠很好地適應不同的工作方式。

此外，MLflow 並不局限於單一資料庫或單一檔案系統：您可以組合使用多個資料庫或檔案系統。 不同的儲存後端 （MySQL、PostgreSQL、SQLite、S3、Google Cloud Storage 等）並將模型部署到伺服器本身和外部平台。

在生產環境中搭建 MLflow 伺服器的要求

在你開始瘋狂記錄模型日誌之前，你需要先了解以下內容： 已正確設定的 MLflow 伺服器雖然並不複雜，但有幾個部分需要結合：虛擬機器、資料庫、工件儲存和一些網路規則。

在實務中，MLflow 在團隊環境中的典型部署是基於 三大要素 應該盡可能地將它們分開，以便能夠擴展和維護。

1. 執行 MLflow 的虛擬機器或伺服器

首先，你需要一個 虛擬機器或伺服器 MLflow 流程、其 Web 介面以及（可選的）模型端點將在此處運行。您可以將其部署在本機或雲端；一個非常常見的例子是使用 Google Cloud、AWS 或 Azure 上的小型執行個體。

例如，在 Google Cloud 中，您可以從下列位置建立虛擬機器： 計算引擎甚至可以利用像免費的 e2-micro 這樣非常輕量級的實例來創建測試環境。建立實例後，您可以透過以下方式連線： 透過控制台使用 SSH 連接 從提供者處獲取信息，現在您已進入系統，可以安裝依賴項。

2. 用於追蹤元資料的資料庫

MLflow 伺服器需要一個 儲存追蹤資訊的資料庫MLflow 支援各種後端，但在嚴肅的環境中，通常使用以下後端：參數、指標、工件引用、運行資訊等。

• PostgreSQL的
• MySQL的
• SQLite的 （僅建議用於測試或本地使用）

在許多部署環境中，為了簡化操作，資料庫通常安裝在與 MLflow 伺服器相同的虛擬機器上；但對於嚴肅的項目，通常最好將資料庫和 MLflow 伺服器分別安裝在不同的虛擬機器上。 資料庫作為託管服務 或者為了效能和安全考慮，部署在單獨的伺服器上。

3. 工件（模型、資料、圖形…）的存儲

除了元資料之外，MLflow 還需要 製品庫 除了參數和指標之外的所有內容都儲存在哪裡：序列化模型、資料檔案、圖表、報告等等。您可以使用虛擬機器本身的磁碟，但在生產環境中，更常見的是使用像這樣的資料湖：

• 亞馬遜S3
• 谷歌雲存儲服務
• Azure Blob存儲

以Google雲端為例，最自然的做法就是創建一個 雲端儲存桶 專用於 MLflow 並使用其 URI（例如， gs://nombre_del_bucket作為伺服器和客戶端工件的位置。

在虛擬機器上逐步安裝 MLflow

虛擬機器創建完畢並透過 SSH 存取後，下一步是… 安裝 MLflow 及其相依性最方便的方法通常是在隔離的環境中工作，例如使用 Conda 或 Miniconda，以免污染全域系統。

在典型的會話中，您需要下載並安裝 迷你康達您接受許可協議並將 Conda 新增至您的 PATH 環境變數。然後，您可以啟動基礎環境或為 MLflow 建立新環境，並在其中安裝主庫，以及（如果您需要）所有有用的附加元件。

安裝 MLflow（有或沒有附加元件）

MLflow 可以透過兩種主要方式安裝： pip 或 conda根據您需要的是簡易安裝還是更完整的安裝：

• 安裝附加元件：MLflow 也包含在內 圖書館和供應商的集成 非常常見（scikit-learn、Azure、AWS 等），這樣就避免了需要一點一點地安裝額外的軟體包。
• 基本安裝：只需安裝即可 mlflow“已停用” 您可以手動新增所需的依賴項（機器學習框架、雲端連接器等）。

如果你要建立測試環境或團隊共享環境，通常會有回報。 安裝額外功能的 MLflow 這樣你以後就不會浪費時間在幾乎肯定會用到的依賴項上了。

配置防火牆和存取端口

為了能夠看到 MLflow Web UI 若要將模型作為 HTTP 端點公開，您需要在基礎架構的防火牆中開啟對應的連接埠。在 GCP 部署範例中，您可以建立類似如下的防火牆規則：

• 依標籤確定目標位置（例如，虛擬機器的網路標籤、類型） 流).
• 來源：可存取的 IP 位址範圍；通常用於快速測試。 0.0.0.0/0雖然在生產中最好加以限制。
• 開啟 TCP 連接埠：例如， 8080 適用於使用者介面和其他類似功能 或8081 1234 適用於已部署的模型。

規則建立完成後，您可以在虛擬機器中啟動 MLflow 伺服器，並透過瀏覽器存取它。 機器的外部 IP 位址和分配的端口類似的東西 XX.XXX.XXX.XXX:8080您將在此處看到追蹤介面。

將 MLflow 連接到關聯式資料庫

為了擺脫本地文件後端並擁有一個更強大的環境，這一點至關重要。 配置關係型資料庫作為追蹤後端這樣一來，不同的使用者和機器就可以對同一個資料來源進行讀寫操作。

一個非常常見的模式是使用 PostgreSQL 已安裝在虛擬機器上 （適用於簡單環境）或外部託管執行個體（適用於更高負載場景或嚴肅的生產環境）。

建立 MLflow 資料庫和用戶

在PostgreSQL中準備後端資料庫的典型步驟如下：

• 安裝伺服器 PostgreSQL的 在機器上（或連接到現有機器）。
• 建立一個新的資料庫，您將將其用作 MLflow 元資料存儲.
• 為 MLflow 定義一個特定的使用者名稱和密碼，並授予其對該資料庫的權限。

資料庫建立完成後，MLflow 將使用它來儲存所有關於以下方面的資訊： 實驗、執行、日誌模型和 LoggedModels （MLflow 3 中引入的實體，它將執行產生的模型提升到生命週期中的第一個層級）。

安裝 MLflow 的資料庫連接器

為了使 MLflow 能夠與 PostgreSQL 通信，您需要安裝相應的連接器，例如： psycopg2 或 psycopg2-binary 在 Python 中。如果沒有這個包，MLflow 伺服器將無法連接到資料庫或建立必要的表。

安裝好連接器後，設定就簡化為提供一個 連接 URI 伺服器啟動時，格式如下：

postgresql://usuario:password@host/basededatos

之後，您記錄的所有執行、參數和指標都將集中在該資料庫中，隨時可以從使用者介面以及進階和低階 API 進行查詢。

使用資料湖配置工件存儲

除了資料庫之外，MLflow 還需要一個儲存位置。 工件：模型、資料集、圖表、額外日誌等等。這些文件可能會變得非常大，因此依靠可擴展的儲存系統是明智之舉。

在雲端環境中，一個非常方便的選擇是使用 雲端儲存 (GCP)、S3 (AWS) 或同等服務中的儲存桶MLflow 可以透過特定的 URI 進行原生理解。

為 MLflow 建立 Cloud Storage 儲存桶

在 Google Cloud 中，使用儲存桶作為工件儲存庫的典型步驟如下：

• 前往雲端儲存並 建立一個新儲存桶 具有唯一的名稱。
• 根據您的需求選擇儲存類型和區域。
• 複製 gsutil URI， 就像是 gs://nombre_del_bucket您將在 MLflow 配置中使用哪一個。

該URI將成為 MLflow 將儲存所有工件的基本路徑 與執行相關的，按實驗和運行分組。

授予 VM 服務帳戶權限

為了使伺服器能夠對該儲存桶進行讀寫操作，必須… 授予服務帳戶權限 虛擬機器使用的配置。通常，這是在專案的身份和存取管理 (IAM) 部分完成的：

• 您需要找到 Compute Engine 服務帳戶，格式如下： [email protected].
• 轉到儲存桶的權限選項卡，並將該服務帳戶新增為成員。
• 例如，你給他一個合適的角色。 儲存物件管理以便您可以建立和存取工件。

這樣一來，運行在虛擬機器內部並使用該服務帳戶的 MLflow 伺服器， 您將能夠與水桶無縫交互。 在背景中。

伺服器和客戶端的權限

在伺服器端，如果虛擬機器和儲存桶位於同一個專案中，通常不需要其他設定。在客戶端（您的筆記型電腦或其他外部設備），通常則需要進行其他設定。 配置憑證 能夠直接上傳文物。

對於 GCP 而言，典型的流程是下載一個 包含服務帳戶金鑰的 JSON 文件 從 IAM 控制台將其儲存到本機項目，並使用 Google Cloud Storage 等庫進行驗證，然後再寫入工件。運行 MLflow 程式碼的用戶端將使用這些憑證存取儲存桶，就像伺服器一樣。

使用遠端後端啟動 MLflow 伺服器

一旦你明確了三個要素（主機/連接埠、資料庫 URI 和工件路徑），剩下的就是… 使用這些參數啟動 MLflow 伺服器通常的做法是明確地執行伺服器命令：

• 例如，收聽的主持人。 0.0.0.0 接受外部連線。
• 例如，使用者介面連接埠。 8080.
• 關係資料庫的URI。
• 例如，構件倉庫的 URI。 gs://bucket_name.

伺服器運行後，如果您打開瀏覽器並指向已配置的公網 IP 位址和端口，您將看到 MLflow 追蹤介面，並可以開始建立。 實驗、啟動運行和註冊模型從現在開始，樂趣才真正開始：實現你的程式碼並利用追蹤功能。

如何使用 MLflow Tracking 來組織您的實驗

追蹤模組可能是 MLflow 中最常用的部分，因為它解決了一個非常實際的問題： 確切地知道你嘗試了什麼，使用了什麼設置，以及結果如何。如果沒有它，迭代複雜模型就如同碰運氣。

其基本思想很簡單：每次訓練模型時，打開一個運行，記錄參數、指標、工件和模型本身，並將所有這些都集中在伺服器上，以便以後可以以可視化或編程方式進行比較。

基本概念：實驗、執行與模型

MLflow 組織追蹤訊息 三個關鍵實體 這一點你從一開始就應該很清楚：

• 實驗他們將一系列相關的執行步驟歸為一組。通常，每個專案或業務問題（例如，「客戶流失預測」）對應一個實驗。
• 跑：代表一個 程式碼的具體執行每次運行都有其特定的配置和數據。每次運行都有自己的 ID、開始時間、持續時間和狀態（成功或失敗）。
• 模型 / 已記錄模型: 是 訓練模型工件 這些是在執行過程中產生的。自 MLflow 3 起，LoggedModels 將它們提升為一級實體，以便追蹤它們在單次運行之外的生命週期。

在跑步過程中，您可以使用追蹤 API 記錄不同類型的信息，既可以自動記錄路線（自動記錄），也可以手動記錄，從而讓您可以非常精細地控制要保存的內容。

將客戶端連接到 MLflow 伺服器

在註冊任何內容之前，您的腳本或筆記本需要… 指向正確的追蹤伺服器這是透過配置來實現的 追蹤 URI 例如，在你的程式碼中，使用 Python：

mlflow.set_tracking_uri("http://IP_DEL_SERVIDOR:8080")

從那時起，除非您更改 URI，否則您記錄的所有內容都會傳送到該伺服器。此外，您可以使用以下方式明確指定要將運行記錄到哪個實驗： mlflow.set_experiment 或類似功能。

建立或選擇一個實驗

為了防止你的運行結果最終出現在通用實驗或預設筆記本（在 Databricks 等平台上）中，最好這樣做 設計自己的實驗 或重複使用現有的組件。您可以透過使用者介面或程式碼完成此操作。

在 Python API 中，有一個命令，給定一個實驗名稱，如果實驗不存在則建立該實驗，如果實驗已存在則將其設為活動狀態，結果如下： 非常適合自動化你的筆記本或腳本。儘管 MLflow 也有一種方法 create_experiment()將創造和選擇結合的方法通常會減少麻煩。

正確啟動和結束執行

為了讓 MLflow 知道要將參數和指標與哪個運行關聯起來，您必須 使用 start_run 開啟一個執行最簡潔的使用方法是在 Python 上下文管理器：

with mlflow.start_run(run_name="nombre_run"):
# aquí entrenas el modelo y haces los logs


這種模式的優勢在於 MLflow 它會自動關閉執行過程。 退出程式碼區塊時，即使出現錯誤也會繼續執行。或者，您也可以手動控制生命週期。 start_run() y end_run()但像這樣的比賽很容易被忘記收尾。

一次跑步可以記錄什麼

在運行過程中，您可以記錄各種類型的信息，MLflow 會將這些信息整理後顯示在介面中，您也可以透過 API 查詢這些資訊：

• 參量這些通常是您設定的超參數或配置值（例如樹的數量、求解器類型、批次大小等）。它們會被註冊到… mlflow.log_param o log_params.
• 指標這些是訓練或評估的數值結果（準確率、AUC、RMSE、損失等）。它們被記錄下來。 mlflow.log_metric並且可以隨著時間的推移對同一指標進行多次更新。
• 偽像任何你想與運行關聯的文件：資料集、圖表、報告、筆記本等等。這些文件都透過以下方式上傳： mlflow.log_artifact o log_artifacts.
• 模型訓練好的模型本身，需要使用各個框架的特定 API 進行註冊，例如： mlflow.sklearn.log_model, mlflow.xgboost.log_model等等。

一個非常強大的功能是 自動日誌- 對於某些框架（scikit-learn、TensorFlow、Keras、XGBoost、LightGBM、PyTorch、Fastai、Statsmodels、Spark、H2O、Transformers 等），MLflow 可以 自動記錄大部分參數和指標 無需您逐一撥打電話。

使用 MLflow 進行追蹤的實際範例

若要查看追蹤的實際效果，您可以使用經典資料集，例如： 鳶尾花或泰坦尼克號 並使用 scikit-learn 訓練簡單的模型。關鍵不在於模型的複雜程度，而是記錄你操作過程的嚴謹性。

例如，您可以設定一個流程，在其中輸入缺失值（年齡的平均值、分類變數的眾數），刪除不相關的資料列，將資料分割為訓練集/測試集，並訓練一個模型。 邏輯迴歸或隨機森林結合交叉驗證將每種超參數組合儲存為單獨的執行過程。

使用不同的超參數進行多次運行並記錄結果

假設你想測試分類模型的各種配置：你改變… 求解器、C 值和最大迭代次數 在邏輯迴歸中，對於每種組合，您需要在一次運行中執行以下操作：

• 您可以透過以下方式註冊超參數： 日誌參數.
• 您計算評估指標（例如，測試套件中的準確率）並將其儲存。 對數指標.
• 你將模型序列化到一個檔案中 .pkl 並將其作為文物上傳，或者更好的是， 您可以使用 MLflow 模型 API 來記錄它。.

在使用者介面中，您將看到一個執行表，其中每一行代表一次運行，包括其參數、指標以及是否成功的指示符。 執行成功結束或出現錯誤您也可以使用參數為運行分配更具描述性的名稱。 run_name強烈推薦，以免錯過。

透過介面瀏覽和比較性能。

點選任何執行結果，即可進入詳細視圖，MLflow 會顯示以下內容：

• 很多 記錄參數 及其價值。
• 該 指標包括如果您登入多次更新，它隨時間推移的演變過程。
• 很多 附加物例如序列化模型、圖或資料集。

在實驗視圖中，您可以選擇多個運行結果進行比較，按指標範圍或參數值進行篩選，並建立圖表來幫助您： 了解哪些組合表現最佳.

透過程式存取執行過程

除了使用者介面之外，MLflow 還公開了 客戶端 API（Python、Java、R 和 REST 版本） 它允許您以程式設計方式查詢運行資料。例如，您可以使用：

• 搜尋運行 取得包含實驗執行情況的 DataFrame（Pandas 或 Spark），並依指標或標籤進行篩選。
• 獲取運行 檢索與特定運行相關的所有資訊。
• list_run_infos 列出執行識別碼和基本元資料。

然而，這些物品的結構可能有點笨重，所以許多人選擇 首先將它們轉換為字典或清理資料框在此基礎上，您可以建立自訂儀表板，並分析指標隨時間推移的演變或不同使用者的行為。

在 Azure Databricks 等平台上使用 MLflow 進行追蹤

如果您在 Azure Databricks 等託管環境中工作，大部分基礎架構都已經準備就緒： Runtime ML 叢集上預先安裝了 MLflow。 工作區包含一個託管追蹤伺服器，因此您無需自行設定。

在這種情況下，一些細節會發生變化，但理念是一樣的：使用標準的 MLflow API 管理實驗、執行和模型，並依賴額外的平台實用程式。

Databricks 中的 URI 追蹤與實驗

預設情況下，Databricks notebooks 會將執行過程記錄在日誌中。 與筆記本本身相關的實驗無需您進行任何指定。但是，您可以透過配置來變更此設定：

• La 追蹤 URI例如，指向另一個遠端 Databricks 工作區。
• El 實驗名稱 你想用什麼方式記錄運行情況呢？ mlflow.set_experiment().

如果沒有定義活動實驗，運行將進入筆記本的預設實驗；對於結構更嚴謹的項目，這通常是可取的。 將運轉集中在工作區實驗中 將幾本相關的筆記本歸為一組。

MLflow 2.xy 3 中的自動註冊和 API

Databricks 維護一些範例筆記本，用於教導如何使用它們。 自動日誌記錄（autolog） 結合 scikit-learn 和其他框架，適用於 MLflow 2.x 和 MLflow 3，後者引入了諸如下一代 LoggedModels 等高級功能。

也有一些例子側重於… 使用手動日誌記錄 API （Python、REST、R 和 Java），當您需要對記錄的內容進行更多控制時，可以附加追蹤、CSV、自訂圖表或其他預設自動日誌記錄不會捕獲的工件。

使用資料幀分析執行情況

在 Databricks 建立面板尤其方便，因為您可以同時擁有這兩個功能。 熊貓類 Spark分析執行過程的兩種常見方法是：

• 使用 mlflow.search_runs 從 Python 用戶端取得包含一個或多個實驗運行結果的 Pandas DataFrame。
• 使用 MLflow 實驗資料來源 將執行結果讀取為 Spark DataFrame，如果您有很多運行次數或想要進行複雜的聚合，這將是理想的選擇。

借助這些工具，您可以建立儀表板，例如，顯示以下內容： 模型性能的演變 隨著時間的推移，每個用戶發起的運行次數或每天的總執行量都會增加。

關於訓練結果的變異性

使用 MLflow 分析結果時，一個重要的問題是理解許多演算法都存在缺陷。 隨機分量初始化、取樣、分區…即使設定了種子，資料順序或分散式分區的微小變化也可能導致不同運行的指標有所不同。

在 Spark 流和分散式資料中，這種差異可能會增大，因此建議在適當的時候使用類似這樣的函數。 重新分區和sortWithinPartitions 為了更好地控制訓練前資料的順序和分佈，而不必執著於獲得精確到毫米的數字。

進階工作流程和 MLflow 使用範例

除了基本的追蹤功能外，MLflow 還提供 更複雜工作流程的範例和教程 涵蓋從多步驟編排到確保程式碼供應鏈以及與深度學習框架或LLM整合等所有內容。

這些資源按主題模組組織，可幫助您專注於您最感興趣的內容：超參數優化、可復現性、安全性、與特定框架的集成，或透過外掛程式進行自訂擴充。

主要工作流程以及 API 和 REST 的使用

如果您希望充分利用不同配置的模型，例如： 超參數搜尋 它會向您展示如何啟動網格或隨機搜索，整合 Optuna 等工具，並記錄所有結果，然後在使用者介面中進行比較。

當你的流程更複雜（預處理、訓練、後處理、評估…）時，有一些指南會解釋如何操作。 協調多步驟流程這樣，每個階段都會記錄自己的產物和指標，但所有內容仍然與同一個實驗和相關的執行相關聯。

如果您希望不使用 SDK 直接與伺服器通信，我們也提供了一些使用範例。 使用 curl 或 Python 實作 MLflow REST API傳送建立運行、記錄指標或管理模型的請求，而無需依賴特定語言。

供應鏈的可複製性和安全性

可復現性是機器學習中重要的問題。 MLflow 可以很好地與將所有訓練打包在一起的方法整合在一起。 碼頭集裝箱 這包括程式碼、依賴項和追蹤呼叫。我們提供教程，教您如何建立鏡像、將其上傳到鏡像倉庫，並以受控方式運行它，從而維護一致的運行環境。

關於安全性方面，有一些例子 防止 Python 套件操縱透過對 wheel 檔案進行簽署、驗證校驗和並將這些步驟整合到 CI/CD 管道中，您可以確保在 MLflow 中註冊的程式碼實際上是稍後執行的程式碼，從而減少「在我的機器上運作正常」這種常見的藉口。

使用不同的框架實現訓練程式碼

MLflow 與非常廣泛的庫集成，包括來自…的庫。 經典機器學習，例如深度學習、時間序列、自然語言處理、統計和LLM工作流程。一些值得注意的例子：

• 經典模型：scikit-learn、XGBoost、LightGBM、H2O、RAPIDS 等。
• 深度學習：Keras、TensorFlow、PyTorch，支援記錄訓練曲線、檢查點和 GPU 指標。
• 時間序列：Prophet、pmdarima，記錄季節性成分和預測指標。
• 統計和 R：與 R 中的 Statsmodels 和 glmnet 等庫集成，記錄係數、摘要和診斷圖。
• NLP 和 Transformers：Hugging Face 的 spaCy 和 Transformers，讓您可以記錄模型權重、產生的文字範例和評估分數。
• 可解釋性：SHAP 集成 保存特徵歸因值 並在使用者介面中將其視覺化。
• LLM 工作流程：使用 LangChain 和 OpenAI 來追蹤提示、回應、對話歷史和品質指標。

在所有這些案例中，其理念都是相似的： 盡量減少樣板日誌記錄 利用每個框架的特定 API，但保持參數、指標、工件和註冊模型的一致模型。

使用您自己的外掛程式擴充 MLflow

如果您的用例不符合標準，MLflow 也允許您進行開發。 自訂插件 可以新增新的模型類型、工件存儲，甚至可以為使用者介面添加額外的標籤頁。插件教學會解釋具體操作方法：

• 定義插件邏輯（例如，一種新的模型類型或與企業檔案系統的整合）。
• 將其打包並安裝到您的開發和生產環境中。
• 在部署給其他使用者之前，請先在本地進行測試和偵錯。

這樣，您就可以將 MLflow 適配到 貴組織有非常具體的需求 無需對原項目進行分支，即可與官方版本保持一致。

考慮到所有這些因素，MLflow 就成為了您機器學習和深度學習專案的「指揮中心」：它可以幫助您控制實驗，讓您以有序的方式比較變體，方便重現訓練，提高程式碼可追溯性，並簡化將模型部署為服務或 REST 端點的過程，無論是在您自己的伺服器上還是在公共雲上，這直接帶來了更快的生產週期