每秒查詢率

每秒查詢率（QPS，Queries-per-second），即單位時間單位計算資源處理的（生成推理結果的）請求數據量。在大模型場景下，QPS的提升意味著模型推理速度的提高，這能夠為更多用戶提供服務或降低模型推理的成本。

基本介紹

• 中文名：每秒查詢率
• 外文名：Queries-per-second

術語簡介

每秒查詢率（QPS，Queries-per-second）是對一個特定的查詢伺服器在規定時間內所處理流量多少的衡量標準，在網際網路上，作為域名系統伺服器的機器的性能經常用每秒查詢率來衡量。