NVIDIA NIM 微服務是NVIDIA提供基於NVIDIA推理軟體的預構建容器，包括 Triton 推理伺服器™ 和 TensorRT™-LLM，使開發者能夠將部署時間從幾周縮短至幾分鐘。
簡介,特性,企業採用,可用性,
簡介
適用於 NVIDIA 及合作夥伴生態系統中 20 多個熱門的 AI 模型進行推理最佳化。為語言、語音和藥物發現等領域提供行業標準 API，使開發者能夠使用安全託管在自己的基礎設施中的專有數據，來快速構建 AI 套用。這些套用可按需擴展，從而為在 NVIDIA 加速計算平台上運行生產級生成式 AI 提供靈活性和性能。
特性
NIM 微服務為部署 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及谷歌、Hugging Face、Meta、微軟、Mistral AI 和 Stability AI 的開放模型提供了快速且性能出色的生產級 AI 容器。
企業採用
ServiceNow 宣布其正在使用 NIM 來開發和部署針對特定領域的全新助手和其它生成式 AI 套用。SAP將利用 NVIDIA 生成式 AI 代工服務，針對特定場景，對 LLM 進行微調，並利用全新的 NVIDIA NIM™ 微服務來部署套用。
可用性
用戶將能夠從亞馬遜 SageMaker、谷歌 Kubernetes Engine 和微軟 Azure AI 中訪問 NIM 微服務，並與 Deepset、LangChain 和 LlamaIndex 等流行的 AI 框架集成。開發者可以在nvidia了解NVIDIA 微服務。企業則可以在 NVIDIA 認證系統和領先的雲平台上使用 NVIDIA AI Enterprise 5.0 部署生產級 NIM 微服務。
