天翼數生海納視聯多模態大模型算法

天翼數生海納視聯多模態大模型算法是天翼數字生活科技有限公司旗下的深度合成服務算法。該算法依託於小翼管家(APP)、天翼數字鄉村(網站)、天翼雲盤(APP)、天翼雲眼(網站)、天翼智慧社區(網站)套用於文本生成場景，根據用戶輸入的視頻和問題文本內容，生成符合用戶需求的問題回答文本內容，實現視頻問答功能。

2024年4月，國家網際網路信息辦公室發布第五批境內深度合成服務算法備案清單，天翼數生海納視聯多模態大模型算法在列。

基本介紹

• 中文名：天翼數生海納視聯多模態大模型算法
• 所屬公司：天翼數字生活科技有限公司
• 角色：服務提供者
• 備案編號：網信算備310106229065301240013號

算法原理

海納視聯多模態大模型算法是視覺、語言多模態大模型，識別視頻圖像中的目標物，語言模型根據目標物及其關聯信息生成相應的文本描述。

運行機制

視頻圖像數據傳入海納視聯多模態大模型，經過圖片編碼器處理生成圖像特徵，圖像特徵傳入下游任務檢測模型識別出目標物及其位置信息，目標物信息以及用戶的文本描述要求組成文本傳入語言模型進行問答任務生成相應的文本描述。

套用場景

小翼管家（APP）、天翼雲盤（APP/網站）、天翼雲眼（APP/網站）、天翼智慧社區（網站）、天翼數字鄉村（網站）。

算法目的

天翼數生海納視聯多模態大模型算法旨在處理視頻圖像數據，分析圖像內容，檢測感興趣目標物，生成視頻圖像內容描述文本，幫助用戶快速獲取海量視頻圖片數據中的有效信息。