本方案系統是一款基於高通QCS610芯片的高性能、低功耗的人工智能終端設備,應用於視訊會議,可執行人臉偵測、手部辨識、調整倍率等功能,針對主講者可即時追蹤,多個參與者時,會將畫面中依據人物占比處於正中央,達到自動多人畫面置中功能,本方案使用AITg QCS610 SOM開發板,內部建制Linux作業系統,AI加速藉由Snapdragon Neural Processing Engine (SNPE) SDK搭配QCS610 Hexagon DSP加速推論。

 

QCS610 SOM開發板介紹

QCS610 SOM是詮鼎科技使用高通QCS610主晶片、PM6150+PM6150L PMIC、無線通訊晶片WCN3980和eMCP (4GB LPDDR4X + 64GB eMMC)等等所組成。

有著豐富的接口,包括USB Type A、HDMI in、以太網和攝像頭擴展板,能夠以“開放”的方式構建攝像頭設備,包括全景攝像頭、智能攝像頭和視頻會議攝像頭。 QCS610 SOM支持Linux和Android操作系統,結合了強大的人工智能和機器學習功能,以滿足智慧城市、商業和企業、家庭和車輛應用日益增長的需求。

詳細請參閱基於高通QCS610視覺智慧平台之智慧攝像頭應用

 

應用場景AI模型

本方案使用兩種不同模型搭配:

  1. 人臉偵測(dlc)
  2. 手勢辨識(dlc)



 ►其他AI應用場景

駕駛監控系統測試(Driver Monitor System)


 
執行方案程式

下圖為程式運行畫面,分別為自動多人畫面置中、手勢辨識與人臉追蹤、手勢辨識執行鏡頭放大功能、手勢辨識停止追蹤,雲台回到初始位置;詳細介紹請看下方展示影片。

自動多人畫面置中

 

手勢辨識與人臉追蹤

 

手勢辨識執行鏡頭放大功能

 

手勢辨識停止追蹤,雲台回到初始位置

 

►參考資料

高通QCS610 :

https://www.qualcomm.com/products/technology/processors/application-processors/qcs610

欲取得詳細資料者請聯絡詮鼎高通PM:

Nina Chou (nina.chou@aitgroup.com.tw)
 

►關於五個常見問答

Q: QCS610支援那些作業系統?

A: QCS610 支援Linux Yocto與Android作業系統。

 

Q: 此方案系統可延伸那些應用場景?

A: 智能會議室、智能自拍裝置、智能監視器。

 

Q: QCS610如何與雲台對接?

A: QCS610透過I2C通訊協議控制雲台。

 

Q: 此方案系統是否可以更換攝像頭?

A: 可以,但影像畫面需要微調。

 

Q: 此方案的AI模型dlc是什麼意思?

A: DLC全名Deep Learning Container 是Qualcomm 專有的深度學習容器格式,可讓高通SNPE(Snapdragon Neural Processing Engine)軟體進行加速執行的檔案格式。

►場景應用圖

►產品實體圖

►展示板照片

►方案方塊圖

►核心技術優勢

高通QCS610採用11nm FinFET製程,搭載高通Kryo 460 CPU、高通Adreno 612 GPU和高通Hexagon DSP,以及高通人工智慧引擎,能夠支援多種AI網路和物聯網應用。它還具備雙14位元高通Spectra 250L ISP,能夠處理高達24MP的雙攝影像,並提供優異的降噪和低光效果。此外,它還支援4K Ultra HD視訊錄製和播放,以及多種連網選項,包括Wi-Fi、藍牙、乙太網路和5G/4G。高通QCS610是一款適用於智慧型相機、邊緣運算AI裝置、零售業和機器人等物聯網領域的先進解決方案。

►方案規格

◎CPU:Qualcomm Kryo™ 460, 8 Cores, 64-bit, Up to 2.2 GHz ◎GPU:Qualcomm Adreno™ 612 , OpenGL® ES 3.2, OpenCL™, Vulkan® 1.1 ◎DSP :2x Qualcomm® Hexagon™ Vector Processor, Qualcomm® Hexagon™ 685, Qualcomm® Hexagon™ ◎Wi-Fi :802.11a, 802.11b, 802.11g, 802.11n, 802.11ac ◎Bluetooth : Bluetooth 5.0 ◎Camera :Qualcomm® Spectra™ 250L ISP, Single Camera: Up to 16 MP ◎Video Playback : Up to 4K Ultra HD, H.265 (High Efficiency Video Coding (HEVC)) ◎Audio Playback :Hi-Res/192kHz, Native 44.1kHz, audio on dedicated DSP; ◎Memory :32Gb LPDDR4.x;64GB eMMC5.1; ◎Display :Resolution 2520 × 1080 @ 60 fps, FHD+, 1920 × 1200 @ 60 fps ◎OS Support:Linux, Android

相關影片

掌握會議控制權:智慧攝像頭與雙軸雲台組合 高通QCS610 Edge AI 應用方案

掌握會議控制權:智慧攝像頭與雙軸雲台組合 高通QCS610 Edge AI 應用方案影片