基於NOVATEK NT98530 + SmartSens Sensor的安防監控方案

        基於NOVATEK NT98530晶片是新一代的安防產品用的晶片, 傳統的安防產品多用於監控領域, 如家用的防盜蒐證, 老人及小孩的安全監視, 也用於警用交通的監控, 如路口的監視器, 應用於電腦的遠端視訊會議等等, 各種應用巳深入生活之中, 新一代的產品加入了AI的功能, 更擴大了應用的層面, 如防盜可加入人臉辨識, 對於陌生人可發出警告, 老人或小孩跌倒意外, 可通知相關人; 火災發生時, 可通知相關單位; 交通方面, 可做車牌辨識, 車速檢測, 車流監控及ADAS應用. 商業方面, 可做人流的大數據分析, 分析年齡層對不同產品的喜好等等, 其它還有AIOT的應用, 如手勢控制開關, 燈光照明等等, 愈來愈豐富.

     NT98530整合了四顆ARM Cortex A53核心, 可以擷取8Mp60的影像, 擁有先進的AI能力, 運算模型為HW-CNN 2.5, 運算力為2T, 可分析人臉辨識. 影像有多種輸入介面, 包含MIPI/LVDS/BT656/BT1120…等, 輸出介面有YUV/RGB/BT656/LCD Parallel/MIPI-DSI/HDMI/USB及Ethernet. 另外還有Video codec and Audio codec.

        影像Sensor是安防監控系統的重要組成元件, 好的Sensor決定了清淅度, 及色彩飽合度, 亮度調整及強光抑制, 因此也衍生出很多的相關技術, 如畫素合併, WDR, HDR, 3A調整等等, SmartSens在Sensor領域巳深耕多年, 也有相當大的市佔率及好評, 在安防監控領域, SmartSens強化科技於星光夜視, HDR, 近紅外增益及影像低噪, 都得到很好的效果.

       Novatek的IPCam處理器加上SmartSens的Sensor, 經優化調整後, 都得到很好的成果, 因此, 我們也在NT98530方案上, 整合了一系列的SmartSens Sensor, 如8M的SC850SL, 5M的SC530AI/SC5239, 2M的SC2336. 特別推薦的是今年主力產品SC850SL, 最大圖像速率可逹8Mp60, 可用在車載錄影機, 也可用在網路攝像機. 模組相片如下:

1.  硬件設計

1.1  MIPI-CSI sensor

 

1.2 Storage



1.3 LPDDR4



1.4 LCD

2. Linux 版本及軟體架構

2.1 Linux 版本

Linux 4.19

2.2 軟體架構

HDAL為硬體裝置抽象層(Hardware Device Abstraction Layer)，用來取代現存軟體架構的HAL層，為Novatek所開發且適用旗下許多晶片，SDK以HDAL為主體，發展獨立於不同晶片且共用的API接口，讓晶片能更好地發揮效能。亦有提供許多自定義接口如ISP、AI、IQ等Vendor API，可供用戶實現許多功能。

 

3.  影像顯示設定步驟

3.1連接EVB和Notebook間的網路線,

3.2設定Ethernet IPv4的設定如下,

3.3開完機後, 在console寫入下列命令

pq_video_rtsp 18 0 2 0 0 6

開機下這行指令，可以開啟imx415+os02k10 sensor

3.4執行VLC.exe

3.5 (SC850SL)輸入網路串流位置: rtsp://192.168.0.3/stream0

後可看到影像#

3.6 (SC2336)輸入網路串流位置: rtsp://192.168.0.3/stream1

後可看到影像#

 

4.  可提供的文件列表

4.1 NT98530應用主板的電路圖

4.2 使用的零件列表

4.3 NT98530應用主板的佈線圖(Layout file)

4.4 主板的零件位置圖

4.5 主板的佈線規範

4.6 NT98530設計的應用規範

4.7 NT98530的datasheet

4.8 SDK for NT98530