LookyRTC

LookyRTC，是一種支持跨平台開發的RTC（實時通信）技術，可實現基於Web、Android、iOS等在不同作業系統不同機型終端的實時通信功能（Real-Time Communications (RTC)）。

基本介紹

• 外文名：Looky Real-Time Communication
• 縮寫：LookyRTC

技術特點

LookyRTC突破了困擾實時通信開發者良久的音頻、視頻、傳輸層的瓶頸， LookyRTC推出的APIs，開發者可以將其輕易快捷地嵌入到第三方應用程式，讓您的套用快速擁有多方音視頻、協作的功能；開發者也可以在LookRTC提供的現有功能基礎上，開發出滿足個性化需求的實時通信功能，從而實現套用與需求的快速融合。

LookyRTC推出的功能模組池（Modules Pool），當用戶可操作層的需求發生變化時，功能模組池因其完全解耦，具有優秀的擴展性。一方面，開發者可以根據業務套用內容的需求，便捷地訪問、添加、編輯、調用功能模組池（Modules Pool）中的模組；另一方面，功能模組池（Modules Pool）也將快速回響用戶激活的個性化需求API，快速調用、選定常用功能模組（Common Module），自動生成匹配的UI界面，以建立全新的跨平台實時通信套用和模式。

架構組件

3.1 User Operational layer 用戶可操作層

用戶可操作層：包含①Android-SDK和iOS-SDK，Web端的APIs ②用戶個性化APIs（ClientAPI₁ ，Client API₂ ，Client API₃ , …………Client API_n ）， ③可自定義用戶界面APIs（Customized User Interface APIs）。

① 支持SDK、APIs，快速融合即時通信功能。

② 支持根據業務套用內容動態回響，快速調用、選定常用功能模組（Common Module），自動生成匹配的UI界面，無需開發者手動編碼封裝，即可自動生成相對應的用戶個性化APIs，統一產品對接接口。

③ 支持產品界面的APIs，用戶可根據不同功能選擇自動生成產品界面，也可以二次開發。

3.2 Modules Pool 功能模組池

常用功能模組（Common Module）舉例：

·文字聊天：提供用戶之間文字交流功能，任一用戶輸入的文字信息可傳送到指定用戶處，可實現私聊及群聊。

·音頻：提供多方音頻互動（多對多）功能，高清音質，智慧型回音消除及噪音抑制。

·視頻：提供多方視頻互動（多對多）功能，高清畫質，無馬賽克，智慧型丟包修復等；

·白板：提供多方電子白板功能，支持多方即時標註修改刪除等。

·桌面共享：提供用戶電腦螢幕的遠程分享功能，即可以將自己的電腦桌面（包括桌面上的所有內容和對桌面進行的所有操作）分享給其他用戶即時觀看。

·語音激勵：提供對發言人進行特寫畫面處理功能，即發言人圖像自動放大（在UI的支持下）

3.3 Developer Practical layer

開發者可操作層：

即為二次開發層，為開發者提供完全自定義開發的底層開發APIs（Developer APIs），包括利用LookyRTC核心框架和底層協定封裝的模組化結構（Core Framework）、UI/UE等深層次的設計和開發。

3.3.1 Core Framework 詳解

Core Framework ：核心框架是一個可復用的設計構件，它規定了套用的體系結構，闡明了整個設計、協作構件之間的依賴關係、責任分配和控制流程

包含

1、LookyRTC Core engine Framework ：核心引擎框架。為開發者規定了調用核心音視頻引擎的體系結構，明確了三種核心引擎之間的設計關係和邏輯。從而可實現以音視頻為核心的衍生功能。

2、LookyRTC Core module Framework ：核心模組化框架。為開發者規定了“模組化”體系結構，闡明了整個設計、協作構件之間的依賴關係、責任分配和控制流程。從而讓開發者可以在該架構下開發出符合“模組化”設計的功能模組

3、LookyRTC Core control Framework ：核心控制框架，為開發者規定提供了“核心控制”組件，從而讓開發者完成自己的系統控制邏輯。

3.3.2 Core Engine 核心引擎詳解

VoiceEngine

音頻引擎是包含一系列音頻多媒體處理的框架，包括從音頻採集設備到網路傳輸端等解決方案。除了核心編碼解碼及傳輸模組外，還包括AGC，自動增益補償功能，自動調麥克風的收音量，使所有用戶收到一定的音量水平，不會因發言者與麥克風的距離改變時，聲音有忽大忽小聲的缺點。ANS背景噪音抑制功能。探測出背景固定頻率的雜音並消除背景噪音。AEC是回聲消除器，消除各種延遲的回聲。Mixer混音功能，同時混合多路音頻數據。FEC前向糾錯，對傳送端對信源信息進行一定形式的編碼並傳輸，在接收端進行解碼與糾錯，從而獲得增益，增加音頻傳輸距離。

VideoEngine

視頻引擎是包含一系列視頻處理的整體框架，從攝像頭採集視頻到視頻信息網路傳輸再到視頻顯示整個完整過程的解決方案。其採用了智慧型的可分層編解碼方式，智慧型調整視頻碼流，從而大大提高了不同網路環境下的視頻通話的流暢性和清晰度。與此同時視頻引擎還包括，智慧型丟包修復模組，能通過軟體計算的方式，使視頻包在經過網際網路複雜的網路環境下傳輸後，不可避免的丟包狀況進行智慧型修復，從而杜絕了馬賽克的現象出現。圖像圖像質量增強模組，對攝像頭採集到的圖像進行處理，包括明暗度檢測、顏色增強、降噪處理等功能，用來提升視頻質量。視頻抖動緩衝器，可以降低由於視頻抖動和視頻信息包丟失帶來的不良影響。

Transport傳輸控制

數據的傳輸與控制引擎。採用的是成熟的RTP/RTCP技術。非P2P架構，而採用server架構，相當程度上保證了數據傳輸的穩定性和音視頻傳輸質量。同時包含STUN和TURN來解決NAT問題。

3.3.3 User management用戶管理詳解：

User management用戶管理：

用戶系統的實現與管理。