基於Novatek NT98568+SmartSens SC450AI實現AOV方案

聯詠NT98568是一款高度整合的SoC，具有高影像品質、低碼率、低功耗具有pre-roll和always on video模式的電池應用，實現 2Mp 至 5Mp/8Mp邊緣 IP 攝影機應用。此SoC整合雙核心ARM Cortex A7 CPU、新一代ISP、H.265/H.264 視訊壓縮編解碼器、視訊處理引擎 (VPE)、高效能硬體DLA模組、圖形引擎、顯示控制器、乙太網路、USB 2.0 主機/設備、音訊編解碼器、RTC 和 SD/SDIO 3.0，提供最佳成本高效能邊緣 IP 攝影機解決方案。

(Novatek NT98568 Evaluation Kit)

SmartSens SC450AI是一款400萬像素Advanced Imaging (AI) Series高階成像系列升級影像感測器產品。SC450AI除了在安防終端攝影機領域大有作為外，更可在智慧門鈴、穿戴式攝影機及家用監護攝影機等全天候物聯網AI相機。

(SmartSens SC450AI Sensor Board)

AOV(always on video)可區分低功耗模式和常規模式。系統功能為截取一張圖進行MD偵測，判斷畫面是否有變化，畫面沒變化則進入睡眠模式至下個周期，若畫面有變動則開始用 AI偵測圖像是否有人像，否則系統進入睡眠，此時設置為1FPS。偵測畫面有人則進入常規模式，使用12 FPS抓圖。

AOV方案方塊圖

1. 低功耗模式     

           
     
    2. 常規模式
       
 

 

NT98568 SDK配置NT98568 SDK配置

       i. 使用SDK版本為 v3.05.007
       ii. 選擇cfg_568_IPC_NAND_AOS_EVB
       iii. 程式碼路徑為 ns02301_linux_sdk/code/sample/aov1
       iv. AI模型檔案為ns02301_linux_sdk/code/sample/aov1/model/combin_model.bin

執行AOV

1. 代碼可設置參數

          SENSOR_FPS
               ->Sensor FPS，預設為60

          MD_SUPPORT
               ->是否開啟 MD，1:開啟，0:關閉。預設開啟。

          ENC_TYPE
               ->編碼格式，預設為H264

           AE_SKIP_FRAME
               ->AE初始時需要收斂張數，預設為17張

           md_threshold
               ->MD觸發的閥值。預設為5，即畫面變化超過5%則觸發MD

           PVD_THRESHOLD
               ->沒偵測到人時計數的數值，超過此值回到低功耗模式。

           OSG_SUPPORT
               ->OSG debug 功能，1:  啟用，0:  停用

          PVD_IMG_WIDTH
               ->AI圖像寬度，範圍:1920 ~ 320

          PVD_IMG_HEIGHT
              ->AI圖像高度，範圍:4096 ~ 320


      2. 代碼旗標功能

          wait_ai_thd_done
              ->AI執行緒是否已完成

         wait_enc_thd_done
              ->編碼執行緒是否已完成

         wait_md_thd_done
             ->移動偵測執行緒是否已完成

        wait_filesave_done
            ->存檔執行緒是否已完成

         LOW_POWER_MODE
            ->目前執行模式
                     1 : 低功耗模式
                     0 : 常規模式
 
     3. AOV流程
        a. 設備上電後進 Linux輸入命令，例如: aos 0 0 1(使用 SC450AI，MD+PVD 模式，Encode Buffer size =1) 

            

       b. LOG出現  “PD3QS”即開始運作主程序

            

       c. 人物出現在鏡頭前，LOG印出”A>P”，即進入常規模式。

            

       d. 人物離開，若 60 張(約 5 秒)內沒偵測到人物則會設置低功耗模式，此時LOG印出”A>No P”。

            

Q&A

Q1. 解決方案所支援的操作系统？

 A：NT98568支援Linux，聯詠HDAL系統框架，保持一致API接口，跨平台通用。

Q2. 解決方案可支援影像感測器型號?

 A：目前僅支援SC450AI和SC200AI。

Q3. 解決方案是否有提供儲存影像功能？

 A：有，可參考SDK內範例程式

Q4. 解決方案使用程式碼是否有原始程式檔案?

 A : 有，SDK提供此方案配置和執行程式範例碼

Q5. 解決方案是否有距離上的限制?

 A : 鏡頭與目標物距離只需可觸發移動偵測並讓AI辨別即可。

Q6. AI使用模型是否需要自行產生?

 A : SDK內已提供相關模型檔案。