基於Novatek NT98530+SmartSens SC850SL搭配陀螺儀(GYRO)實現電子防手震(EIS)方案

聯詠 NT98530 SoC具有高圖像品質、低碼率、低功耗特性，支援高達640M像素/秒的速率，實現超過800萬像素/60FPS邊緣計算性能。高度整合的SensPro2是CEVA最新一代DSP，加上全面最佳化SDK，可確保SoC具有充分的性能來支援最複雜的電腦視覺演算法和神經網路推理。SoC整合了四顆ARM Cortex A53核心、ISP、H.265/H.264視訊壓縮編碼器、DSP、高性能硬體DLA模塊、圖形引擎、以太網GMAC、USB3.0和USB 2.0、音訊轉碼器、RTC 和 SD/SDIO 3.0 提供最佳性價比的邊緣計算 IP 攝像機解決方案。       

電子防震是利用慣性測量單元IMU(Inertial measurement unit)來取得相機姿態變化，再利用對原始影像做局部裁切和變形後，抵銷因相機震動造成的畫面晃動，讓輸出影像呈現穩定不晃動的功能。

IMU型號為TDK ICM-42607，此IC晶片結合了 3 軸陀螺儀和 3 軸加速度計，且同時具有高達 2.25 KB 的 FIFO，可降低串列匯流排介面上的流量並通過允許系統處理器突發讀取感測器數據然後進入低功耗模式。



NT98530可透過 SPI介面連接TDK ICM-42607提供 EIS 功能，進行相關設定控制與資料傳輸

TDK ICM-42607擺放位置需與Sensor IC三軸角度需要互相平行或垂直。

硬件方案方塊圖

『軟體架構方塊圖』（作者：Novatek；出處：NT98530_EIS_User_Guide_zh.pdf）

EIS相關驅動相關檔案

   (1) nvt_gyro_spi.ko
   (2) gyro_comm.ko
   (3) nvt_gyro_icm42607.ko
   (4) nvt_eis.ko

 

NT98530 DTSI配置

      i. nvt-media.dtsi

• nvt_eis {compatible = "nvt,nvt_eis"; };
• nvt_gyro_common {compatible = "nvt,nvt_gyro_comm"; };
• spi2: spi@2,f0340000 { compatible = "nvt,nvt_gyro_spi"; …};

     
      ii. nvt-top.dtsi

• spi{pinmux = <0x500>;};
• sif{pinmux = <0x000>;};

 

確認EIS動作

• 執行”echo test 1 > /proc/gyro_comm/cmd”驗證Gyro資料是否正確
• EVB不動且單獨拿Gyro移動，影像會移動表示EIS library串通並開始動作

執行”hd_video_record_eis 0 0 4”(IMX415為例)並透過HDMI連接螢幕或是使用VLC連接串流，即可以看到EIS效果。

[Note] EIS效果影片請參考下方相關影片內容

開關EIS前後畫面FOV差異

Q&A

Q1. 解決方案所支援的操作系统？

 A：NT98530支援Linux，聯詠HDAL系統框架，保持一致API接口，跨平台通用

Q2. 解決方案可支援到多大的影像格式輸出？

 A：NT98530 HDMI最大可輸出4K2K

Q3. 解決方案是否有提供儲存裝置介面？

 A：NT98530有提供支援1個SATA3.0的儲存裝置介面

Q4. 解決方案使用TDK ICM-42607是否需要自行編譯驅動?

 A : 不需要，NT98530 SDK內已整合此晶片驅動

Q5. 解決方案是否有距離上的限制?

 A : EIS的算法因視差關係前方物體不能太近，保持五公尺以上距離效果較佳