基於Novatek NT98568 + OmniVision OS04E10實現Preroll方案

簡介

聯詠 NT98568 是一款高度整合的系統單晶片 (SoC)，專為邊緣 IP 攝影機應用設計，適用於 2Mp 至 8Mp 的解決方案。其特點包括卓越的影像品質、低碼率、低功耗，以及支援 preroll 和 always-on video 模式，特別適合電池供電的應用場景。

NT98568 整合了雙核心 ARM Cortex-A7 CPU、新一代 ISP、H.265/H.264 視訊壓縮編解碼器、硬體 DLA 模組、圖形引擎、視訊處理引擎 (VPE) 和顯示控制器。此外，還具備乙太網路、USB 2.0 主機/設備、音訊編解碼器、RTC 和 SD/SDIO 3.0 等周邊功能，提供高性價比的全方位邊緣攝影機解決方案，滿足各類智慧應用需求。

在 Pre-Roll 功能方面，NT98568 能夠持續將影像緩存到記憶體中，當觸發事件發生時，可以保留事件發生前的影像資料。這項功能對於捕捉完整事件場景特別重要，確保不會錯過任何關鍵時刻。搭配 OmniVision OS04E10 感光元件，更可實現優異的低光源表現，為電池供電的智慧門鈴和居家安全攝影機提供理想的解決方案。

Sensor 介紹

OmniVision OS04E10 是一款具有 2K2K（2048x2048）解析度的正方形 CMOS 圖像感測器，專為 1:1 長寬比的超廣角安防攝影機，如吸頂或魚眼鏡頭應用而設計。其獨特的數字浮水印功能可防止視訊源被篡改，確保影像的真實性和可靠性。此感測器支援 512p 常開低功耗模式，不僅可即時捕捉快速移動的視訊，還能實現優異的 Pre-roll 視訊錄製功能，特別適合需要長時間待機的電池供電設備。

在8051系統下，可以進行512x512解析度的影片錄製，總共20幀（7幀/秒，錄製3秒）。當Preroll感測器偵測到物體移動時，會觸發'md hits'功能，直接進入fastboot 2.0。在RTOS階段，所有Preroll幀會被編碼成H26x位元流，可於後續在HDAL階段取得。

系統流程

Preroll流程圖

Pre-roll的流程說明如下，系統上電後，會先執行RTOS部分

1. 進入RTOS，啟動8051 Preroll功能
2. 8051開始產生壓縮後的preroll影像，RTOS進入power-off狀態
3. 當sensor偵測到動作後，開始喚醒系統
   1. 準備RTOS環境，並行以下任務
      • 載入Linux
      • 進行快速編碼
   2. 釋放RTOS資源並與Linux SMP同步
4. 同時間Linux部分流程為
   1. 開啟sensor
   2. 進行解析度調整
   3. 等待並跳轉至Linux
   4. Linux開機
   5. 等待RTOS併入Linux SMP
   6. 執行application
5. 當偵測的事件處理完成後，可再回到preroll模式等待下個事件發生

執行過程

在開機過程中，系統最初從RTOS啟動，當控制台日誌停在'notify 8051 shut'時，表示系統已進入preroll模式並正在錄製影片。

當感測器偵測到物體移動（在感測器前揮手）並觸發'md hits'功能時，系統會轉換到RTOS系統。此時，控制台日誌會顯示'Hello RTOS World! CPU[1]'。隨後，當看到日誌顯示'is_fastboot = 1'時，表示系統已進入Fastboot 2.0模式。

當日誌顯示'fastboot_version = 2'時，表示這是Fastboot 2.0版本，同時也代表RTOS階段即將結束。當系統切換到Linux系統時，日誌會顯示'%%Booting Linux on physical CPU 0x0'。

當Linux開機程序完成後，系統會進入shell介面，顯示'root@NVTEVM:~$'提示符號。
接著可以執行preroll AP 'preroll_fastboot 1 0'指令，取得preroll位元流檔案'dump_bs_preroll_0.dat'和主要位元流檔案'dump_bs_main_0.dat'。

當AP執行時，按下'p'鍵會讓8051進入preroll模式，在此期間main part會關閉電源。當感測器偵測到動作時，系統將重複上述流程。

Q＆A

Q1. 是否支援外部PSRAM？
A：是。

Q2. 系統主頻為多少？
A：800 Mhz。

Q3. NT98568可支援多大容量的記憶體？
A：根據型號的不同，有以下規格
      568QC/QD - 1024(Mb)/2048(Mb)
      568QB - 512(Mb)。

Q4. 目前preroll功能僅支援OS04E10嗎？ 
A：還有支援 GalaxyCore GC4103。

Q5. preroll模式喚醒後開機需時多久？
A：在lower power模式下需200ms。