這兩代之間的關鍵發展是關注邊緣端發生的變化。我們世界本質上以模擬為主，許多幫助我們日常生活的電子與機電（EEM）系統都是由各類感知輸入驅動的。視覺（光）、溫度（熱）、音頻（聲）、距離與位置、壓力（觸覺）等系統邊緣端的電子傳感器採集這些物理輸入，並將其轉化為處理後的數據，以實現智能化並方便決策制定。
工業4.0提出了對這類傳感器智能和高效的需求。如今，非工業及商業應用領域的眾多傳感器不斷發展，從基礎類型發展到符合工業自動化流程和標準的增強版本。
在大規模採用傳感器的同時，人們也在推動更低功耗的電池驅動智能設備廣泛應用。功耗給視覺系統帶來了不同的挑戰，而圖像傳感器如何以創新的方法解決這些挑戰，同時提供卓越的性能，將成為視覺系統的差異化因素。
視覺感知已成為在邊緣端採集數據的重要方式之一，收集到的圖像數據能夠被快速且高效地用於決策制定。例如，若無視覺傳感器，場景中的物體需要無數個特定的傳感器來傳達場景的構成。這會產生大量數據並需要龐大的處理工作，或許還得靠好運氣，才能得到場景的真實呈現。另外，在高效的系統中，一張圖像就可以在一幀數據中傳達場景中的所有信息。
這種簡便的數據表現形式使圖像傳感器得以加速發展，為智慧型手機等消費類移動產品提供支持，其解析度超過一億像素，在硬體和軟體的支持下，為靜態圖像和視頻流提供卓越的細節特徵。由於移動產品主要服務於娛樂和個人應用，因此其制定決策的目標略有不同。然而，面向汽車、工業和商業應用的視覺系統服務於高度以目標為導向的需求，其中許多系統使用（傳感器）輸出進行基於機器的決策，並要求在解析度、幀率和功耗之間達到精細平衡。
隨著邊緣智能的重要性日益增強，這些應用必須適應不同用例需求。現在，許多應用都需要更高的解析度和更出色的整體性能，以輔助計算機視覺、機器視覺和自動化決的策系統。
很多情況下，人們非常渴望獲得更豐富的細節，因為這些細節有助於減少錯誤決策。隨著解析度的提高，圖像傳感器中的像素數量也會增加，相應地，傳感器向圖像信號處理器（ISP）或系統晶片（SoC）提供的圖像數據量也會增加。傳感器產生的大量圖像數據以及ISP/SoC對這些數據的處理會導致高功耗，從而給視覺系統設計帶來巨大負擔。
圖1 圖像傳感器產生的數據隨解析度和幀速率成指數增長
現在，設計人員需要應對高功率電子元件帶來的高功率傳輸、功耗和系統物料清單（BOM）成本等問題。雖然降低功耗是大勢所趨，但熱管理也是一個挑戰，因為大多數視覺系統都依賴對流氣流來散發系統中產生的熱量。圖像傳感器對熱量高度敏感，如果不能選擇適當的設計並有效管理上述因素，就會產生不可靠的視覺系統。
圖像傳感器的量子效率（QE）是指光電二極體最大限度地將入射光子轉換成電子的能力。眾所周知，QE越高，圖像亮度越好。更高的QE值在弱光條件下非常重要，這通常通過使用更大的像素尺寸或在場景中添加可見光或不可見光來實現。無論哪種方法，都會增加視覺系統必須支持的成本、功耗和空間，並可能會根據圖像傳感器的性能和場景條件呈指數級增長。
圖2 不同波長下可比較像素尺寸的歸一化量子效率曲線
這在通常使用紅外發光二極體（IR LED）的不可見照明情況下尤其嚴重，其產生的光波長為850nm和940nm。這些波長能被圖像傳感器探測到，但人眼無法察覺。在行業中，這通常被稱為"主動照明"。紅外發光二極體需要供電並產生功耗，占用大量空間，並顯著增加系統BOM成本。在近紅外光譜中具有高量子效率的圖像傳感器能夠在不犧牲圖像質量的前提下，減少其使用數量、降低光照強度以及總體BOM成本。
重要的是要確保圖像傳感器像素提供的高QE不會受到數據通路其他部分噪聲的影響，從而影響整體圖像質量。例如，如果像素結構沒有足夠的像素間隔，像素間串擾就會降低調製傳遞函數（MTF）和對圖像的對比度/清晰度，最終影響圖像質量。另一個可能造成損害的因素是讀出電路性能不佳導致的高讀取噪聲。
圖像質量不佳會給ISP/SoC帶來不必要的負擔，使其需要處理更多的數據，從而降低視覺系統的整體幀率，或者以更高的時鐘頻率運行來維持相同的端到端時序。在前一種情況下，視覺系統的效率會大大降低，而無論哪種情況，系統最終都會產生更多的功耗。為了應對處理負擔，可能需要配備更先進資源的ISP/SoC，這將進一步增加總體BOM成本。而優秀的圖像輸出質量能夠緩解上述種種不足，降低視覺系統的總體擁有成本。
安森美公司的圖像傳感器（例如HyperluxTM LP產品系列）已經意識到這些操作需求，並集成了多種子採樣模式。這些模式，如合併（Binning）、裁剪（Cropping）和跳采（Skipping），能夠大大減少生成和傳輸所需的帶寬。
圖3 安森美Hyperlux LP系列產品
這些功能使視覺系統變得非常智能，能夠根據用例需求選擇最優的功耗/性能配置。例如，在生物識別掃描儀中，現在可以利用配備500萬像素傳感器陣列的單個系統，以逐漸增強的掃描方式，完成子採樣模式下的單個指紋掃描到全解析度面部掃描。最重要的是，ISP/SoC接收到的數據量減少，從而降低了其自身及整個視覺系統的功耗。
高解析度圖像傳感器會占用大量帶寬來輸出數據。例如，以60幀/秒速度工作的2000萬像素傳感器將傳輸12 Gbps圖像數據，這些數據不僅需要在傳感器內部的高速接口中妥善處理，還需要由接收這些數據的ISP/SoC進行處理。處理如此龐大的數據需要在這些處理引擎中投入昂貴且專用的資源和電力，並可能導致大量的功耗/熱管理問題。此外，接口速度的限制也增加了這一挑戰。
在大多數應用中，可能只有小部分時間需要在全解析度下全速運行，其餘時間則僅需較低解析度。雖然子採樣模式可以降低帶寬並有其自身優勢，但在解析度選擇或場景完整性方面會受到一定的限制。
傳感器內的縮放器有助於克服這些限制，有效滿足低解析度操作的需求。它們能夠在源頭控制帶寬，而不是由ISP/SoC 管理。它們能夠在最大程度上提供精細的粒度控制，同時保持完整的視場角（FOV）。
安森美AR2020 圖像傳感器（Hyperlux LP 產品系列的2000萬像素成員）的圖像縮放算法非常複雜，即使在解析度大幅縮放的情況下，也能提供出色的圖像質量。舉例來說，雖然獲取遠距離物體的細節確實需要2000萬像素，但可能只需要圖像的某個特定區域，而不是整個圖像。通過對這一動態定義的區域進行裁剪或縮放，就可以獲得2000萬像素傳感器的優勢，而無需持續處理相當於2000萬像素的數據。
圖4 scaling比binning產生的偽影更少，從而提高圖像輸出效果
傳感器可以處於極低的工作狀態，在大多數工作時間內以低解析度、最低幀速率運行。當檢測到運動時，它會切換到預定的配置--運動喚醒（WOM）模式。圖像傳感器有能力處理這些變化，並讓ISP/SoC將其切換到所需的模式/配置。它還能進一步屏蔽與應用無關的運動區域，從而使傳感器和視覺系統更加精準、高效。以前，這一功能是在處理器中完成的，但在傳感器上實現這一功能可減少系統資源和功耗。
圖5 運動喚醒等功能使視覺系統具有高度的目標驅動性
我們可以看到這些功能在電池供電的應用、智能門禁系統、零售掃描儀、醫療監測系統等類似應用中產生的深遠影響。電池供電的應用從這些傳感器中獲得了最大的好處，因為它們可以最大限度地降低系統功耗。
在4K視頻門鈴應用中，像安森美AR0830這樣的800萬像素圖像傳感器在滿負荷狀態下會傳輸6G數據，但現在它可以在WOM模式下運行超過98%的工作時間。在預檢測階段，它產生/傳輸的數據量極低，整個視覺系統的運行功耗僅為全工作模式下的一小部分。
迄今為止，圖像傳感器作為數據捕捉和數據傳輸器件一直表現出色。正如安森美Hyperlux LP產品系列中所展現的那樣，上述趨勢和進步使這些傳感器成為內置智能應用的強大邊緣器件。通過集成更好的像素技術、可配置的智能關注區域、運動檢測等功能，現在可以被設計用來滿足特定的用例需求，從而打造出性能卓越且功耗極低的差異化高效視覺系統。
評論