作者 : Winbond
出處 : https://www.winbond.com/hq/support/online-learning/articles-item/White-Paper-Revolutionizing-Edge-AI-Computing-with-CUBE?__locale=zh_TW
摘要
本白皮書將帶您了解一款徹底改變邊緣AI運算的記憶體產品——華邦電子新開發的創新型產品CUBE（客制化超高頻寬元件）。CUBE作為一款高頻寬、低功耗、小尺寸，以及極具成本效益的記憶體解決方案，可以滿足AI應用日益增長的需求，並且可供模組製造商和SoC 廠商直接部署。本文闡述了華邦生產CUBE的目的、CUBE如何滿足終端使用者需求與其解決的當前市場痛點，以及適合使用CUBE的客戶。
引言
CUBE的宗旨
華邦電子研發並推出了CUBE技術，旨在大幅提升記憶體介面頻寬，以滿足邊緣運算平臺上快速增長的AI應用需求。CUBE具備超低功耗和超高性能、小尺寸、高成本效益，從而大幅提升系統能力、回應時間和能源效率。
終端用户需求
CUBE技術能夠應用於消費、工業、金融、醫療、政府系統等領域的設備中。近期興起並風靡各行業的生成式 AI，因為複雜的架構和龐大的模型運算，加重了對系統資源的要求。這些模型包含大量參數，需要相當高的記憶體頻寬才能在運行過程中快速提供資料。產生回應和創造內容也需要大量的運算，這給處理資源帶來巨大壓力，進而影響整體系統性能。此外，儲存及處理大量模型負載也導致記憶體的容量需求居高不下。
總體而言，各類AI應用都利用模型的表現力來處理各自領域內複雜的模式和關係，這帶動了運算需求和資源需求的提升。例如：
- 電腦視覺應用使用卷積神經網路 （CNN） 進行圖像識別，通常使用大模型來學習視覺資料中的複雜模式和特徵。
- 自然語言處理（NLP）利用AI模型進行情感分析、語音辨識等，語音辨識需要使用具備大量參數的深度神經網路來提高準確性並理解複雜的語音模式。
- 強化學習應用一般會通過神經網路來表示複雜的策略、函數以及推薦系統，例如串流媒體服務或電商平臺的系統。這些應用通常採用大型架構來捕捉並分析用戶偏好。
適用CUBE的客戶與應用
CUBE技術適用於晶片製造商、模組製造商和系統廠商，因為邊緣運算系統而需要記憶體產品和設備。而CUBE具備高頻寬、低功耗，以及可客制化的特性。
現有技術的痛點
當前市場問題
為滿足AI應用的系統需求，記憶體和模組需要滿足多方面的性能需求，而不僅僅是高頻寬，還包括低功耗、合理的尺寸，以及散熱管理，這些在邊緣應用中都至關重要。現有記憶體解決方案有頻寬方面的限制，而直接影響了系統的性能。IC引腳數量、資料傳輸速率和記憶體匯流排寬度等特性，在決定頻寬方面也有著重要作用。記憶體和模組工程設計師還須應對設計和製程的限制，這些限制會影響頻寬的能力。此外，隨著速度提升，信號完整性也是一個關鍵問題，因為信號的衰減、干擾和反射等因素也會限制頻寬可實現的能力。
另一方面，增加頻寬可能會造成功耗上升或效率降低，這就會給散熱管理帶來很大挑戰，並影響依靠電池供電的邊緣設備運行。此外，一些增加頻寬的解決方案會導致記憶體模組體積增大，限制其在小尺寸設備中的應用。
未來將面臨的挑戰
隨著大家日益依賴人工智慧，特別是在大模型上的應用，頻寬、功耗和尺寸等限制將對所有記憶體技術構成更大挑戰。這些不斷湧現並快速發展的工作負載需要更高效節能的運算能力來滿足需求。
CUBE——創新的解決方案
CUBE 透過增加I/O數量、提高資料速度、支援TSV（可選擇的技術）、提供散熱優秀的3D架構，解決了傳統記憶體IC 和模組解決方案的痛點。作為已獲專利的創新性高頻寬記憶體介面技術，CUBE能夠優化記憶體模組，並提供可以輕鬆運行大模型AI的性能，傳統記憶體的頻寬無法滿足這些AI的性能需求。在增強頻寬的同時，CUBE還降低了功耗。
CUBE加強了前段3D結構（如CoW 和WoW），以及後段2.5D/3D 矽中介層晶片和Fan-out解決方案。另一方面，CUBE還可以輕鬆應用於新產品的設計中。
CUBE適用於注重功耗的高頻寬AI設備，這類設備通常結合了雲和邊緣算力的優勢。CUBE的部署將會開啟一個全新時代——能夠讓高階AI應用更容易使用，並且能夠克服安全問題與成本問題。
CUBE適用於注重功耗的設計，可以在不同平臺和應用（包括邊緣設備和監控設備）中高效地部署AI模型。
CUBE 的詳細介紹
CUBE通過提供高頻寬記憶體解決方案來提高整體系統性能，解決現有方案的局限性。此外，CUBE具有出色的效能，功耗低於1pJ/bit。低功耗特性能夠使其適用於注重功耗的應用，非常適合替代低效能的記憶體方案。不僅如此，基於3D堆疊以及小尺寸的外形，使CUBE成為攜帶式設備和空間受限設備的理想之選。CUBE的創新3D架構巧妙地將SoC置上，更加靠近散熱器，從而有效緩解邊緣AI運算的散熱問題。
另一個關鍵功能是CUBE設計上的彈性。CUBE允許客製化來滿足各種應用的特定要求，從而為客戶提供量身打造的解決方案。通過導入TSV，CUBE能夠進一步提高信號與電源完整性及整體系統效率。
CUBE的靈活設計允許根據特定客戶的SoC規格來製訂記憶體晶片面積。
容量及主要特性
基於D20製程的CUBE可以設計為1-8Gb/die容量，基於D16製程的為16Gb/die 容量。非TSV和TSV堆疊皆可行，這為各種應用提供了優化記憶體頻寬的靈活性。CUBE具有出色的效能，在D20製程中功耗低於1pJ/bit，能夠延長設備執行時間、電源消耗更低。
CUBE的IO速度於1K I/O可高達2Gbps，提供從16GB/s 至256GB/s 的頻寬。通過這種方式，CUBE能夠確保帶來高於行業標準的性能提升，並通過uBump或混合鍵合增強電源和信號完整性。
基於D20標準的1-8Gb/die 產品，以及靈活的設計和3D堆疊，使得CUBE能夠適應更小的外形尺寸。TSV的引入也進一步提高了性能，改善了信號完整性、電源完整性和散熱性能。
最後，TSV技術以及uBump混合鍵合可降低功耗並節省 SoC設計面積，從而實現高效且極具成本效益的解決方案。利用 TSV實現高效的3D堆疊，簡化了與先進封裝技術的整合難度。通過減小晶片尺寸，CUBE能以更短的電源路徑以及更緊密、更輕巧的設計來降低成本、提高能效。
CUBE的全面發展與使用
華邦積極開展與IP設計公司、代工廠和OSAT等業內夥伴的合作，促進全面生態系統發展。
結論
CUBE的高頻寬、低功耗和先進的技術促進了高效的資料傳輸，這將幫助邊緣AI的整合和進一步發展。
CUBE以更高的頻寬和更高的效能、更快的反應時間、可客制化特性以及小尺寸，在AI應用潛力方面發揮重要作用，能夠讓強大的AI從雲落地至邊緣設備和混合雲應用中
CUBE的應用範圍還包括邊緣運算和消費電子產品。
CUBE代表了邊緣 AI運算方式的轉變，為 AI應用不斷變化的需求提供了全面的解決方案。CUBE的高效能、高性能和高靈活性將會塑造AI驅動技術的新未來。
更多資訊
如需更多有關華邦電子CUBE產品、應用、或服務的需求，請至華邦技術支援留下您的資料，華邦將會立即連絡您。