模仿樹狀樹枝的電子設備構成了神經元用來相互通信的網絡,這可能會導致人工智能,不再需要云中的兆瓦電力。一項新的研究表明,人工智能將能夠依靠智能手機電池的電量運行。
隨著被稱為神經網絡的模擬人工智能系統的規模和功率的增長,它們變得越來越昂貴和能源匱乏。例如,為了訓練其最先進的神經網絡GPT-3,OpenAI花費460萬美元在兩周內運行9200個GPU。加州斯坦福大學神經形態工程師、研究作者Kwabena Boahen表示,GPT-3在訓練過程中消耗的能量在同一時間內會釋放出多達1300輛汽車尾氣排放的碳。
現在,Boahen為AI系統提出了一種方法,以提高其傳輸的每個信號中傳遞的信息量。他說,這可能會減少他們目前所需的能源和空間。
在神經網絡中,被稱為神經元的組件被輸入數據,并合作解決問題,例如識別人臉。神經網絡反復調整神經元周圍的突觸,以修改每個突觸的“權重”,即一個神經元對另一個神經元的影響強度。然后,網絡確定所產生的行為模式是否更善于找到解決方案。隨著時間的推移,系統會發現哪些模式最適合計算結果。然后,它采用這些模式作為默認模式,模仿人腦的學習過程。如果一個神經網絡擁有多層神經元,它就被稱為“深層”。(例如,GPT-3擁有1750億個權重,連接了相當于830萬個384層深的神經元。)
目前,人工智能的進步是每兩個月執行兩倍的計算。然而,電子行業僅每兩年將執行這些操作所需的設備增加一倍。這意味著人工智能通常僅限于云,云可以提供所需的數千個處理器。
以前,降低計算能耗的一種方法是縮小晶體管并將它們密集地封裝在一起。然而,這種策略的回報正在減少,因為晶體管之間的信號現在必須在微芯片上傳播得越來越遠,而且電線越長,信號消耗的能量就越多。縮短這些距離的一種策略是在三維空間中將電路堆疊在一起,但這種方法會減少可用于散熱的表面積。
為了解決這個問題,Boahen提出了一種人工智能系統在傳遞更多信息的同時發送更少信號的方法。為了實現這一目標,他建議,這些系統可能希望模擬一部分與目前不同的生物神經元。他認為,與其模仿突觸,不如模仿神經元之間的空間,它們應該模仿稱為樹突的結構。
生物神經元有三個主要部分:樹突、軸突和細胞體,它們分別類似于樹的樹枝、根和樹干。樹突是神經元從其他細胞(例如,另一個神經元的軸突)接收信號的地方。突觸是將樹突或軸突與另一個細胞分離的空間。
樹突可以大量分支,允許一個神經元與其他許多神經元連接。先前的研究發現,樹突從其分支接收信號的順序決定了其響應的強度。當樹突從其頂端到其莖部連續接收信號時,其響應比從其莖部到其頂端連續接收這些信號時更強烈。
基于這些發現,Boahen開發了一個樹突的計算模型,只有當樹突以精確的順序接收到來自神經元的信號時才會做出反應。這意味著每個枝晶可以編碼數據,而不是像今天的電子元件一樣,只以2個1或0為基數,開或關。它將使用更高的基礎系統,這取決于它擁有的連接數量和它接收的信號序列的長度。
Boahen建議,一系列鐵電電容器可以模擬一段枝晶,取代場效應晶體管的柵極堆疊,形成鐵電FET(FeFET)。他說,一個1.5微米長的五柵極FeFET可以模擬一個15?m長的具有五個突觸的樹突。
在人腦中,一個神經元可以與數千個其他神經元相連。Boahen說,這一人工版本可能證明“在3D芯片中是可行的”。
Boahen和他的同事現在獲得了200萬美元的國家科學基金會贈款,用于探索這種“dendrocentric learning”方法。11月30日,他在《自然》雜志上詳細闡述了這一概念。
更多信息可以來這里獲取==>>電子技術應用-AET<<