NVIDIA Merlin是NVIDIA推出的一個深度推薦套用框架。
基本介紹
- 外文名：NVIDIA Merlin
- 推出公司：NVIDIA
簡介,組件,成果,
簡介
Merlin為用戶提供了一個全鏈路的方案，用於為推薦系統提供GPU加速的數據提取、模型訓練和模型部署。其可充分利用基於NVIDIA Ampere架構的全NVIDIA A100 GPU，幫助企業構建推薦系統。
NVIDIA Merlin 可提升推薦程式，促進訓練和判斷。NVIDIA Merlin 使各種類型的企業都能夠構建由 NVIDIA GPU 加速的推薦程式。它的收藏庫包括用於構建基於深度學習的系統的工具，該系統提供比傳統方法更好的預測，並增加點擊量。流程的每個階段都經過最佳化，支持數百 TB 的數據，所有數據都可以通過易於使用的 API 訪問。
組件
其中包含三個主要組件：
Merlin的架構圖
Merlin ETL：這是一套基於GPU進行快速推薦系統功能設計和預處理的工具。NVTabular 可基於GPU實現高速的數據預處理和轉換功能，來處理TB級的表格化數據集。使用NVTabular為各個框架提供的數據載入器外掛程式，NVTabular的輸出能夠以高吞吐量提供給HugeCTR、PyTorch及TensorFlow等訓練框架，從而解決數據輸入遇到瓶頸的問題。
Merlin訓練：這是一套深度學習推薦系統模型和訓練工具：
- HugeCTR 是一個高效的推薦系統專用訓練框架，具有多GPU和多節點訓練功能，並支持模型並行和數據並行。HugeCTR涵蓋新推出的常見推薦系統架構，例如Wide and Deep（W＆D）、Deep Cross Network、DeepFM，Deelp Learning Recommender Model（DLRM）。
- Merlin HugeCTR專為訓練深度學習推薦系統而設計，並配有自己的最佳化數據載入器，大大優於一般的深度學習框架。HugeCTR 提供一個標準數據閱讀器，用於理解 NVTabular 預處理數據。HugeCTR 是一個深度神經網路訓練框架，專門為推薦程式工作流程設計，能夠跨多個 GPU 和節點進行分散式訓練，以實現最高性能。
- DLRM、Wide and Deep (W&D)、神經協同過濾（NCF）和可變自動編碼器（VAE）都是NVIDIA GPU加速的深度學習模型組合的一部分，涵蓋許多領域的網路架構和套用，除推薦系統外，還包括圖像、文本和語音分析。這些模型是為基於TensorFlow和PyTorch進行訓練而設計並最佳化的。
Merlin推理：NVIDIA TensorRT和NVIDIA Triton推理伺服器（前TensorRT推理伺服器）。
- NVIDIA TensorRT是用於高性能深度學習推理的SDK，包括深度學習推理最佳化器和運行時，可為深度學習推理套用提供低延遲和高吞吐量。
- Triton 伺服器可提供全面的、GPU最佳化的推理解決方案，可服務後端的各類模型，包括PyTorch、TensorFlow、TensorRT和開放式神經網路交換（ONNX）運行時。Triton 伺服器可實現自動化管理並將所有可用的GPU加以利用，用於多個版本的模型、報告各種性能指標，從而進行有效的模型監控和A/B測試。
成果
Merlin加速推薦程式技術與套用成果
Merlin 具有可互操作性，因此可靈活加速推薦程式工作流程管道。Merlin 推薦引擎的開放測試版在數據載入和深度學習系統的培訓方面實現了飛躍。
NVTabular 通過加速 GPU 功能轉換和預處理來減少數據準備時間。NVTabular 使將海量數據湖載入到訓練管道變得更加容易，它獲得了多 GPU 支持，並提高了與 TensorFlow 和 PyTorch 的互操作性。
- Snap 藉助 Merlin，將內容和廣告排名提高 60%，同時降低基礎設施成本，改善了客戶體驗，縮短了載入時間。
- 線上視頻媒體平台使用 Merlin HugeCTR 通過推薦相關和吸引人的廣告，幫助連線超過 5 億的每月活躍用戶。
- Postmates 使用推薦程式幫助人們決定晚餐吃什麼，其利用 Merlin NVTabular 最佳化訓練時間，將 CPU 上的訓練時間從 1 小時縮短至 GPU 上的 5 分鐘，並使用 NVTabular 進行功能工程將訓練成本降低了 95%。
