本方案系統是一款基於高通QCS610芯片的高性能、低功耗的人工智能終端設備,應用於視訊會議,可執行人臉偵測、手部辨識、調整倍率等功能,針對主講者可即時追蹤,多個參與者時,會將畫面中依據人物占比處於正中央,達到自動多人畫面置中功能,本方案使用AITg QCS610 SOM開發板,內部建制Linux作業系統,AI加速藉由Snapdragon Neural Processing Engine (SNPE) SDK搭配QCS610 Hexagon DSP加速推論。
► QCS610 SOM開發板介紹
QCS610 SOM是詮鼎科技使用高通QCS610主晶片、PM6150+PM6150L PMIC、無線通訊晶片WCN3980和eMCP (4GB LPDDR4X + 64GB eMMC)等等所組成。
有著豐富的接口,包括USB Type A、HDMI in、以太網和攝像頭擴展板,能夠以“開放”的方式構建攝像頭設備,包括全景攝像頭、智能攝像頭和視頻會議攝像頭。 QCS610 SOM支持Linux和Android操作系統,結合了強大的人工智能和機器學習功能,以滿足智慧城市、商業和企業、家庭和車輛應用日益增長的需求。
►應用場景AI模型
本方案使用兩種不同模型搭配:
- 人臉偵測(dlc)
- 手勢辨識(dlc)
►其他AI應用場景
駕駛監控系統測試(Driver Monitor System)
►執行方案程式
下圖為程式運行畫面,分別為自動多人畫面置中、手勢辨識與人臉追蹤、手勢辨識執行鏡頭放大功能、手勢辨識停止追蹤,雲台回到初始位置;詳細介紹請看下方展示影片。
自動多人畫面置中 |
手勢辨識與人臉追蹤 |
手勢辨識執行鏡頭放大功能 |
手勢辨識停止追蹤,雲台回到初始位置 |
►參考資料
高通QCS610 :
https://www.qualcomm.com/products/technology/processors/application-processors/qcs610
欲取得詳細資料者請聯絡詮鼎高通PM:
Nina Chou (nina.chou@aitgroup.com.tw)
►關於五個常見問答
Q: QCS610支援那些作業系統?
A: QCS610 支援Linux Yocto與Android作業系統。
Q: 此方案系統可延伸那些應用場景?
A: 智能會議室、智能自拍裝置、智能監視器。
Q: QCS610如何與雲台對接?
A: QCS610透過I2C通訊協議控制雲台。
Q: 此方案系統是否可以更換攝像頭?
A: 可以,但影像畫面需要微調。
Q: 此方案的AI模型dlc是什麼意思?
A: DLC全名Deep Learning Container 是Qualcomm 專有的深度學習容器格式,可讓高通SNPE(Snapdragon Neural Processing Engine)軟體進行加速執行的檔案格式。
►場景應用圖
►產品實體圖
►展示板照片
►方案方塊圖
►核心技術優勢
高通QCS610採用11nm FinFET製程,搭載高通Kryo 460 CPU、高通Adreno 612 GPU和高通Hexagon DSP,以及高通人工智慧引擎,能夠支援多種AI網路和物聯網應用。它還具備雙14位元高通Spectra 250L ISP,能夠處理高達24MP的雙攝影像,並提供優異的降噪和低光效果。此外,它還支援4K Ultra HD視訊錄製和播放,以及多種連網選項,包括Wi-Fi、藍牙、乙太網路和5G/4G。高通QCS610是一款適用於智慧型相機、邊緣運算AI裝置、零售業和機器人等物聯網領域的先進解決方案。
►方案規格
◎CPU:Qualcomm Kryo™ 460, 8 Cores, 64-bit, Up to 2.2 GHz ◎GPU:Qualcomm Adreno™ 612 , OpenGL® ES 3.2, OpenCL™, Vulkan® 1.1 ◎DSP :2x Qualcomm® Hexagon™ Vector Processor, Qualcomm® Hexagon™ 685, Qualcomm® Hexagon™ ◎Wi-Fi :802.11a, 802.11b, 802.11g, 802.11n, 802.11ac ◎Bluetooth : Bluetooth 5.0 ◎Camera :Qualcomm® Spectra™ 250L ISP, Single Camera: Up to 16 MP ◎Video Playback : Up to 4K Ultra HD, H.265 (High Efficiency Video Coding (HEVC)) ◎Audio Playback :Hi-Res/192kHz, Native 44.1kHz, audio on dedicated DSP; ◎Memory :32Gb LPDDR4.x;64GB eMMC5.1; ◎Display :Resolution 2520 × 1080 @ 60 fps, FHD+, 1920 × 1200 @ 60 fps ◎OS Support:Linux, Android