· Mali-C78AE圖像信號處理器 (ISP) 是Arm帶功能安全的“AE”產品系列的新成員,該處理器IP適用于高級駕駛輔助系統 (ADAS) 和人類視覺應用

· Mali-C78AE搭配Cortex-A78AE CPU和Mali-G78AE GPU可提供卓越的ADAS圖像數據處理流水線

· Mobileye率先授權采用Mali-C78AE,并搭配Mali-G78AE,將其應用于新一代EyeQ技術

Arm宣布推出Arm Mali-C78AE ISP,為其專為汽車應用的性能和安全而設計的IP產品組合再添新成員。搭配Cortex?-A78AE與Mali-G78AE的Mali-C78AE,可提供完整的ADAS圖像數據處理流水線,能夠優化性能、最大限度地降低功耗,并提供一致的方法來實現功能安全,從而驅動ADAS在下一階段的量產導入。

根據調研機構Strategy Analytics近期的一份報告顯示,從2020年到2025年,汽車攝像頭市場總值的增長預計將達19%以上,使其成為可為車輛提供對周圍環境做出決策所需的數據的最重要傳感器類型。

Arm汽車和物聯網事業部副總裁Chet Babla表示:“隨著車載攝像頭數量和精密程度的增加,將高吞吐量的圖像數據高效、安全地轉換為滿足機器和人類視覺不同要求的輸出的算力也需要相應提升。Mali-C78AE滿足業界對于圖像處理新方法的需求,有助于實現ADAS和自動駕駛的新功能。”

人類和機器視覺要求安全第一

Mali-C78AE專為各種ADAS功能所需的人類和機器視覺安全應用而設計,并且能夠處理來自多達4個實時攝像頭或16個虛擬攝像頭的數據。

Mali-C78AE從開發之初就具備硬件安全機制和軟件診斷功能,使系統設計人員能夠滿足ISO 26262 ASIL B功能安全的要求。Mali-C78AE旨在防止或檢測出單個攝像頭幀中可能導致幀數據處理錯誤的故障。為此,該ISP具有380多個故障檢測電路,持續內置自檢,并可檢測所連攝像頭的傳感器和硬件故障。

視覺處理需要大量數據,且工作負載要求高

處理速度是Mali-C78AE的一大關鍵要素,其重要性不亞于安全性和用戶體驗。例如,從傳感器獲取圖像,先后通過ISP和GPU進行處理,然后將其顯示在屏幕上供駕駛員查看,整個過程應于150毫秒內完成;如果該過程耗時超過150毫秒,駕駛員會在使用停車輔助系統等功能時覺察到圖像的延遲。而在機器視覺應用中,從獲取攝像頭圖像到決策處理的整個過程,車輛移動距離不宜超過250毫米;若超過這個距離,則意味著機器視覺系統反應太慢,無法滿足應對駕駛環境所需的準確且及時的決策要求。

為了使駕駛員和機器能夠做出最佳決策,ADAS攝像頭必須從每一幀中收集最相關的信息。Mali-C78AE采用先進的降噪技術和動態范圍管理,通過調整畫面過暗或過亮的區域,確保每幀畫面都畫質清晰且曝光適當。Mali-C78AE能夠實時處理多達4個高分辨率、高幀率的攝像頭數據,顯著降低內存、通信和處理要求,進而提高系統效率。

圖1:未使用Arm ISP技術             圖2:使用Arm ISP技術

通過調整畫面過暗或過亮的區域,Mali-C78AE確保每幀畫面都畫質清晰且曝光適當(如圖2)

目前,要實現多種ADAS功能,需要單獨的攝像頭設置,因為用于機器視覺應用的攝像頭(例如車道偏離警告)不會產生適合人類視覺的圖像,例如環視。為了降低實現多種ADAS功能的成本,Mali-C78AE通過對適用于機器視覺的傳感器輸出進行縮小和顏色轉換,使得攝像頭傳感器可實現雙重用途,從而創建適合人眼的圖像。通過避免攝像頭及其相關電子器件和線束的重復部署,OEM可節省成本并降低復雜性,從而在各種車型中更廣泛地部署基于攝像頭的ADAS功能,為駕駛員提供更安全、更優質的用戶體驗。

行業先鋒采用強大的ADAS圖像數據處理流水線

作為汽車視覺安全技術領域的先鋒,Mobileye在其新一代EyeQ技術中率先采用了全新的Mali-C78AE ISP。Mobileye在開發Mobileye EyeQ Ultra和EyeQ6H之初,就選擇了Mali-C78AE進行高效的圖像數據處理,并通過搭配Mali-G78AE GPU,實現了安全、流暢、實時且直觀的圖形渲染功能,以滿足嚴苛的車用需求。

Mobileye工程執行副總裁Elchanan Rushinek表示:“通過將Arm ISP和GPU技術相結合以實現全景可視化功能,我們可以提供集中式的計算解決方案,通過單顆SoC實現最先進的ADAS和停車輔助系統。”

關于Arm

作為計算及數據革命的核心,Arm技術正改變著人們生活及企業運行的方式。Arm低功耗處理器設計和軟件平臺已應用于超過2,150億顆芯片的高級計算,Arm的技術安全地為電子設備提供支持,覆蓋從傳感器到智能手機乃至超級計算的多樣化應用。Arm攜手超過1,000家技術合作伙伴,為從芯片到云端的AI增強型互聯計算的所有領域提供設計、安全和管理方面的技術,并在該技術領域處于業界領先地位。