如何使用 Google Magika 偵測文件類型：實用指南、準確性和局限性

如果你每天都要處理文件，你就會知道，弄清楚文件的真實性質可能有點令人頭疼：文件副檔名容易誤導，格式相似，內容混雜。而Google的解決方案 Magika 正好可以解決這個問題，它利用… 人工智能 將文件類型進行分類 速度和精度都驚人地高。

該工具的功能不僅限於基礎功能：它還被設計用於區分二進位和文字文件，識別各種語言。 程序設計 它支援多種現代格式，只需幾毫秒即可完成。使用 Magika，您可以試用網頁試用版或安裝本機用戶端；兩種方式都能取得檔案類型偵測器。 輕巧、快速且非常薄 它在區分其他系統難以處理的格式方面表現出色。

什麼是魔法？它為什麼重要？

從最早的系統開始 Unix的類型識別一直依賴 libmagic 和文件實用程式這些標準已經沿用了幾十年。然而，現代世界充斥著結構相似、缺少標題、且人為製造混亂的文本和二進制格式，如果我們僅僅依靠人為規則，這個問題就「幾乎無法用人類的方式來解決」。

Magika 利用大規模訓練的深度學習模型來識別位元組模式和句法上下文，從而減輕了這種痛苦。谷歌在 Gmail、雲端硬碟和安全瀏覽中內部使用 Magika，將檔案路由到相應的掃描程序，並表示其準確率比之前的基於規則的系統更高。 平均 50% 每週處理的文件數量高達數千億。

此外，該項目是 開源它有一個可在瀏覽器中運行的演示版本，並提供一系列軟體包。 命令 此外，它還提供 Python API 以及一個用於 Web 的實驗性 JavaScript/TypeScript 版本。其目標有二：一是方便任何開發者集成，二是促進社區發展壯大。

如何使用Magika偵測檔案類型（基本用法）

想在不安裝任何軟體的情況下體驗Magika，請訪問官方網站並將您的文件上傳到演示版： https://google.github.io/magika如果您喜歡本地安裝，可以從 PyPI 安裝庫，並在幾秒鐘內開始使用該命令，結果如下： 非常適合自動化 在腳本或管道中。

pip install magika
# Tras la instalación, tendrás disponible el comando "magika" en la terminal.
# Ejemplo simple:
magika ruta/al/archivo

命令列客戶端靈活易用，旨在加速實際工作流程。您可以啟用遞歸目錄掃描，並要求輸出。 JSON 或 JSONL傳回簡單標籤或 MIME 標籤，並根據需要調整預測模式以優先考慮準確性或覆蓋率。

• -r, --recursive: 遍歷子資料夾；這樣可以處理整個目錄而不會使事情變得複雜。
• –json / –jsonl：以 JSON 或 JSON 行格式輸出結果，以便整合到 數據管道.
• -i, –mime-type: 以 MIME 格式輸出，而非長型描述。
• -l, –label: 傳回一個緊密的標籤（請參閱 –list-output-content-types）。
• -c, --compatibility-mode: 輸出類似 file 指令，但不顯示顏色。
• -s, –output-score: 新增預測分數/置信度。
• -m, –prediction-mode [最佳猜測|中等置信度|高置信度]: 調節誤差容忍度。
• –batch-size N：定義每個批次要處理的檔案數量，以進行最佳化。 性能.
• –no-dereference：不追蹤符號連結（預設會解析它們）。
• –colors / –no-colors：啟用或停用顏色。
• -v / -vv：更詳細或調試輸出模式。
• –generate-report：產生一份有用的報告 傳送回饋 或者為了排除罕見病例。
• –version / -h：版本和說明。
• –list-output-content-types: 支援的內容類型清單。
• –model-dir DIR：使用自訂模型。

在對各種資料夾（例如典型的下載資料夾）進行的實際測試中，Magika 的表現可靠且迅速。然而，值得注意的是，它不會從影像中提取解析度或 EXIF 資料等視覺元資料；它的重點在於… 類型識別並非對內容的深入分析。

性能、架構和引擎創新

穩定版 1.0 標誌著重大的技術飛躍：Magika 核心已重寫。 銹 為了最大限度地提高效能和記憶體安全性，這項決定消除了所有類型的典型 C/C++ 漏洞（緩衝區溢位、釋放後使用、資料競爭），並將分類速度提升到原始實作難以達到的水平。

具體數字意味著什麼？在現代 CPU 上，Magika 單核心每秒可處理約一千個文件，而多核心處理器則可擴充至每秒數千個檔案。在配備 M4 晶片的 MacBook Pro 上，每個核心的處理速度接近一千個檔案。模型載入後，每個檔案的延遲僅為 [此處插入數值]。 毫秒這對於等不起的管道來說非常理想。

如此高速的背後是作為推理引擎的 ONNX Runtime 和作為非同步處理基礎的 Tokio，二者結合實現了高效的工作佇列和極低的延遲。最終打造出一款適用於桌面和行動環境的生產級工具。 業務基礎設施.

文件類型的覆蓋範圍和粒度

Magika 的內容類型覆蓋範圍擴大了一倍，超過兩百種。這不僅僅是“數量上的增加”，它在區分相似格式方面也更加精準：現在它可以區分 JSONL 和 JSON、TSV 和 CSV、C++ 和 C、JavaScript 和 TypeScript，等等。 房產列表 蘋果二進位與 XML 檔案之間的差異，以及其他一些細微差別。

在資料科學和機器學習領域，它支援 Jupyter Notebook、NumPy 陣列、PyTorch 模型、ONNX 檔案、Apache Parquet 和 HDF5。在現代開發領域，它涵蓋了 Swift、Kotlin、TypeScript、Dart、Solidity、WebAssembly 和 Zig 等語言和框架。在 DevOps 領域，它還支援 Dockerfile、TOML、HashiCorp HCL、Bazel 建置檔案和規則。 YARA這對於管道和安全都至關重要。

準確檢測潛在惡意內容

在內部基準測試中，Magika 在其測試套件中實現了約 99% 的準確率和召回率，與傳統啟發式方法相比有了顯著提升。它在文字程式碼格式中表現尤為出色，因為在這種格式中，語法比其他因素更為重要… 魔法頭傳統方法往往達不到預期效果。

在關鍵安全領域——VBA 巨集、JavaScript 和 PowerShell 腳本——系統達到約 準確率95%這些文件通常用於宣傳活動。 惡意軟件 網路釣魚攻擊往往採用混淆手段來誤導使用者。精細調整和校準的類型識別有助於在文件到達使用者或企業儲存之前，將其路由到相應的分析環節。

谷歌已在其各項服務中大規模運行 Magika，每週處理大量資料。這種持續接觸真實世界流量的方式推動了 Magika 的不斷改進，其效果遠超實驗室環境：該工具會根據實際流量不斷演進… 營運回饋.

限制、比較和最佳實踐

Magika 的目標並非包羅萬象：它的使命是識別檔案類型，而不是解包二進位檔案或提取影像元資料。在某些情況下，傳統的工具仍然可以提供 Magika 無法顯示的詳細資訊。例如，當遇到使用 UPX 打包的 PE 可執行檔時，像 file 這樣的工具可以明確指出其打包方式，而 Magika 或 TrID 可能只會顯示“PE可執行文件» 沒有包裝工的微妙之處。

實務經驗很明確：不要只依賴單一工具。在取證分析中，最好結合多個來源的資料進行三角驗證。使用 Magika 進行快速分類和路由——它速度快且非常準確——並在需要更精細的分析（例如，包裝器檢測、頭部檢查、拆卸等）時使用其他輔助工具。這種組合可以避免盲點並降低成本。 假陰性.

另一個要記住的有用限制是：對於圖像，Magika 會標記類型（例如 JPEG 或 PNG），但不會顯示圖像內容。 解析度、EXIF 或類似訊息如果您的工作流程需要這些細節，請使用特定的元資料工具或影像處理庫。

以不同語言進行安裝和集成

入門非常簡單。除了 pip 之外，還有其他安裝腳本可供選擇。 Linux macOS 則透過 curl 下載對應的二進位。 腳本 de PowerShell的 等效物 Windows新的原生 Rust 用戶端也包含在 Python 套件中，可以與…一起使用。 皮克斯 為了更好地將其隔離。

對於集成，您有多種選擇：Python 庫、實驗性的 JavaScript/TypeScript 套件（用於 Web 演示）、速度最快的 Rust crate，以及正在進行的 Go 開發。本產品以許可證發布。 阿帕奇2.0您可以將其用於商業項目，並毫無阻礙地提出改進意見。

La 網路示範 它完全在用戶的瀏覽器中運行，減少了初始評估的阻力，並證明了該模型可以執行。 在客戶端 利用目前網路技術，在不犧牲使用者體驗的前提下。

內部工作原理：模型與預測模式

Magika 的核心是一個使用 Keras 訓練、並透過 ONNX 部署進行推理的深度學習模型。其精髓不在於“使其體積龐大”，而是使其高效：該模型僅幾兆字節，恰到好處。 放入記憶 無需GPU即可在毫秒內做出反應。

訓練是在海量工作成果的基礎上進行的——大約一億個文件——涵蓋兩百多種文本和二進位類型。這種多樣性使其能夠學習到獨特的特徵，即使這些特徵很細微或與上下文相關，遠非固定位置的簡單位元組簽章所能涵蓋。

預測結果會根據類型特定的閾值進行校準：如果置信度低於最低值，則會傳回通用標籤（例如，「通用文字」或「未知二進位資料」），而不是強制傳回特定回應。您可以切換於 高置信度中等置信度和最佳猜測，根據您的使用情況調整誤差容忍度。

大規模整合與安全生態系統

除了 Gmail、雲端硬碟和安全瀏覽之外，Magika 還將與以下平台整合： VirusTotal 作為 Code Insight（程式碼分析）之前的預過濾器 生成式人工智能提高了效率和準確性；並且已經與 abuse.ch（MalwareBazaar、URLhaus、ThreatFox）等社區倡議建立了聯繫，加強了威脅情報的協作共享。

這項策略與Google的人工智慧網路防禦計畫一致：該計畫旨在利用人工智慧工具來增強防御者的能力，從而擴展檢測、分析和回應任務的規模。該公司也推廣培訓， 與新創公司合作 並提供學術支持，以加速這些技術的負責任和有效利用。 網絡安全.

關於資源中存在的創意工具的說明

分析的資料還包括有關 Canva 的信息，Canva 是一款無廣告、無浮水印的圖形設計和編輯應用程式。它包含照片和影片編輯器、人工智慧圖像生成器、社交媒體、簡報、傳單和簡歷模板，以及以下功能： 魔法編輯魔力橡皮擦，自動翻譯設計稿，並將編輯內容與音樂同步。

它提供了一個包含數百萬資源的圖書館、專業範本（邀請函、履歷、簡報）、專業的出版規劃工具以及其他工具。 InstagramYouTube 或 LinkedIn，濾鏡和網格，以及 維奧3 製作逼真的影片。專業版新增一鍵移除背景、魔法縮放、品牌管理和內容排程功能。

它將自身定位為面向個人、企業家、學生、教師和社交媒體經理的解決方案，簡化了從徽標到帶有音軌、字幕和慢動作等特效的複雜視頻的一切操作。 反向播放所有這些都使其成為創建可配合技術分析或文件使用的視覺材料的有用補充。

Magika 已從「一個有趣的演示」發展成為安全和開發工作流程中的一個重要組件：它利用人工智慧高速識別文件類型，與傳統規則相比準確率更高，能夠區分非常相似的格式，並提供即用型用戶端和 SDK。當與傳統工具結合使用以實現更精細的控制時，它為文件分類、優先排序和後續處理提供了非常堅實的基礎。 路由檔案 在真實環境中，從您的資料夾中 下載 甚至達到能夠處理數百萬個樣本的基礎設施。