NVIDIA L4 Tensor Core GPU是NVIDIA推出的生成式AI推理平台產品。適用於AI視頻的NVIDIA L4可提供比CPU高出120倍的AI視頻性能，同時能效提高了99%。
功能,構成,套用,成績,供應,
功能
這款適用於工作負載的通用GPU提供視頻解碼和轉碼能力、視頻流式傳輸、增強現實、生成式AI視頻等。
構成
該平台的軟體層採用NVIDIA AI Enterprise軟體套件，包括用於深度學習推理的軟體開發套件NVIDIA TensorRT™，以及幫助實現模型部署標準化的開源推理服務軟體NVIDIA Triton Inference Server™。
套用
2023年3月，谷歌雲宣布提供G2虛擬機的非公開預覽，成為首家提供NVIDIA L4 Tensor Core GPU的雲服務商。谷歌雲還將L4平台整合到其機器學習平台Vertex AI中。L4 GPU將在Vertex AI上提供最佳化支持，該平台支持構建、調整和部署大型生成式AI模型。
NVIDIA和谷歌分別宣布了首批在谷歌雲上使用L4的兩家機構——Descript和WOMBO，前者使用生成式AI幫助創作者製作視頻和播客，後者提供“Dream”這一AI驅動的文本-數字藝術轉換應用程式。
Descript使用NVIDIA TensorRT來最佳化模型，加快了AI推理速度。用戶能夠替換視頻背景並增強語音，從而無需進入錄音室就能製作出堪比錄音室品質的內容。
藉助 NVIDIA L4推理平台，WOMBO為希望創造和分享獨特藝術作品的用戶提供完善、高效的圖像生成體驗。
成績
2023年4 月 6 日，AI 基準評測MLPerf Inference v3.0公布的結果顯示，NVIDIA L4 Tensor Core GPU 的速度是上一代NVIDIA T4 GPU 的 3 倍以上。
L4 GPU 運行了所有 MLPerf 工作負載。憑藉對關鍵的 FP8 格式的支持，其在對性能要求很高的 BERT 模型上取得了非常驚人的結果。除了出色的 AI 性能外，L4 GPU 的圖像解碼速度快了 10 倍，視頻處理速度快了 3.2 倍，同時圖形和實時渲染性能提高了 4 倍以上。
供應
NVIDIA L4 GPU現已在谷歌雲上提供非公開預覽。
