QAnything是網易有道基於子曰教育大模型自研的RAG引擎。
2024年1月16日,網易有道宣布自研的知識庫問答引擎QAnything正式開源,除了可以調用雲端大模型服務,還支持純本地部署。
基本介紹
- 外文名:QAnything
- 研發公司:網易有道
發展歷史,主要原理,
發展歷史
2024年1月16日,網易有道宣布自研的知識庫問答引擎QAnything正式開源,除了可以調用雲端大模型服務,還支持純本地部署。系統支持word、ppt、excel、pdf、圖片等多種文檔格式。QAnything的主要原理是基於檢索增強的生成(RAG),能夠利用檢索外部內容的方式增強大語言模型的準確度、專業能力和個性化等各方面的性能。
主要原理
QAnything 的主要原理是基於檢索增強的生成(Retrieval Augmented Generation,簡稱 RAG)。RAG 是近期很火的一種技術框架,它能夠利用檢索外部內容的方式增強大語言模型的準確度、專業能力和個性化等各方面的性能。
網易有道開源的 QAnything 是一套完整的 RAG 系統,包括專門最佳化的自研的 embedding 和 rerank 模型、微調後的 LLM(大型語言模型)、最佳化後的推理代碼、向量資料庫,以及一個立即上手可用的前端。所有的算法模型(包括 7B 大模型 + embedding / rerank+OCR)占用顯存不超過 16GB。