Science重磅！用光速實現深度學習，跟GPU說再見

編者按：本文自來“新智元（AI_era）”；36氪經授權轉載。

如果說GPU養大了深度學習，那麼如今深度學習的胃口早已經超越了GPU。

當然，GPU在不斷髮展，也出現了TPU、IPU、MLU來滿足這頭巨獸。

深度學習對算力的需求沒有止境，但受制於能耗和物理極限，基於矽基的電子元件雖然現在還能支撐，但遠處那堵幾乎不可逾越的高牆已然顯現。

怎麼辦？

光速深度學習！

今天，Science發表了加州大學洛杉磯分校（UCLA）研究人員的最新研究：All-optical machine learning using diffractive deep neural networks，他們使用 3D 列印打造了一套 “全光學” 人工神經網路，可以分析大量資料並以光速識別目標。

論文地址：http：//science。sciencemag。org/content/361/6406/1004

這項技術名為

衍射深度神經網路

（ diffractive deep neural network，DNN），它使用來自物體的光散射來識別目標。該技術基於深度學習的被動衍射層設計。

研究團隊先用計算機進行模擬，然後用 3D 印表機打造出 8 平方釐米的聚合物層。每個晶圓表面都是不平整的，目的是為了衍射來自目標的光線。

衍射深度神經網路由一系列聚合物層組成，每層大約 8 平方釐米。利用網路區域內的光的衍射傳播路徑來識別目標。

研究人員使用 THz 級頻率的光穿透 3D 列印的網路層。每一層網路由數萬個畫素組成，光可以透過這些畫素傳播。

研究人員為每類的目標分配畫素，來自目標的光被衍射到已分配給該目標型別的畫素上。這樣，衍射深度神經網路就能夠識別目標，其耗時與計算機 “看到” 目標所花費的時間相仿。

DNN： 光速實時學習，成本不到 50 美元

而隨著來自不同目標的光透過 DNN， 研究人員利用深度學習訓練神經網路，以學習每個目標產生的衍射光圖案。

“我們使用逐層製造的無源元件，並透過光的衍射將這些層相互連線起來，打造一個獨特的全光平臺，可以以光速執行機器學習任務。” 該研究團隊負責人，加州大學洛杉磯分校教授 Aydogan Ozcan 表示。

“這就像一個由玻璃和鏡子構成的複雜迷宮。光進入衍射網路，並在迷宮周圍反射，直到其離開該區域為止。系統能夠根據某目標產生的大部分光最終離開迷宮的路徑，確定究竟是哪個目標。”Ozcan 說。

在實驗中，研究人員將影象放在 THz 級頻率的光源前。 DNN 透過光學衍射對影象進行觀察。研究人員發現，該裝置可以準確識別手寫的數字和衣服，這兩類物件都是人工智慧研究中的常用目標。

圖為 DNN 裝置識別文字

在訓練中，研究人員還該將裝置作為成像的鏡頭，就像一般的相機鏡頭一樣。

由於 DNN 的組成可以由 3D 打印製造，成本低廉，可以構建規模更大、數量更多的層，製造出包含數億個人工神經元（畫素）的裝置。規模較大的裝置可以同時識別更多的目標，執行更復雜的資料分析。

DNN 的元件成本低廉。研究人員表示，他們使用的 DNN 裝置成本不到 50 美元。

雖然這項研究使用的是 Thz 級光譜中的光，但 Ozcan 表示，也可以打造使用可見光、紅外線或其他頻率光譜的神經網路。他表示，除 3D 列印外，DNN 也可以使用光刻或其他印刷技術打造。

全光學衍射深度神經網路（DNN）的 3D 列印衍射板

DNN的設計和效能：MNIST分類準確率達到91。75%

在論文中，研究人員介紹了DNN框架的技術細節、實驗和測試效能。

在DNN全光學深度學習框架中，神經網路物理上由多層衍射表面（diffractive surfaces）形成，這些衍射表面協同工作以光學地執行網路可以統計學習的任意功能。雖然這個物理網路的推理和預測機制都是光學的，但其學習部分是透過計算機完成的。

研究者將這個框架稱為衍射深度神經網路（ diffractive deep neural network，DNN），並透過模擬和實驗證明了其推理能力。DNN可以透過使用幾個透射和/或反射層進行物理建立，其中給定層上的每個點都傳輸或反射進來的光波，每個點代表一個人工神經元，透過光學衍射連線到後續的層。如圖1A所示。

圖1：衍射深度神經網路DNN

DNN 中的人工神經元透過由透過振幅和相位調製的次級波連線到下一層的其他神經元。圖1D是標準深度神經網路的一個類比，可以將每個點或神經元的傳輸或反射係數視為一個“bias”項，這是一個可學習的網路引數，在訓練過程中使用

誤差反向傳播方法

進行迭代調整。

經過這一數值訓練階段， DNN的設計就固定了，並且確定了各層神經元的傳輸或反射係數。這種 DNN設計可以以光速執行所訓練的特定任務，僅使用光學衍射和無源光學器件（passive optical components）或無需功率的層，從而建立一種高效、快速的方式來實現機器學習任務。

一般來說，每個神經元的相位和振幅可以是可學習的引數，在每一層提供復值調製（complex-valued modulation），這改善了衍射網路的推理效能。 對於phase-only調製的同調傳輸網路，每層可以近似為一個薄的光學元件（圖1）。透過深度學習，在輸入層饋送訓練資料並透過光學衍射計算網路輸出，每一層的神經元的phase value迭代調整（訓練）來執行一個特定的函式。

在計算目標輸出誤差的基礎上，透過誤差反向傳播演算法最佳化網路結構及其神經元相位值。誤差反向傳播演算法基於傳統深度學習中的隨機梯度下降法。

DNN效能：MNIST手寫數字資料集

為了演示 DNN框架的效能，我們首先將其訓練成一個數字分類器，對從0到9的手寫數字進行自動分類（圖1B）。

為了完成這項任務，我們設計了一個五層的DNN，其中包含來自MNIST手寫數字資料集的5。5萬張影象（5000張驗證影象）。我們將輸入數字編碼到DNN輸入域的幅值中，訓練衍射網路將輸入數字對映到10個檢測器區域，每個檢測器區域對應一個數字。分類標準是尋找具有最大光訊號的檢測器，相當於網路訓練過程中的損失函式。

在訓練之後，使用來自MNIST測試資料集的10000個影象（未用作訓練或驗證影象集）對DNN數字分類器進行數值測試，並且實現了91。75％的分類精度（圖3C）。

根據這些數值結果，我們將這個5層的DNN 設計3D打印出來（下圖），每一層的面積為8cm×8cm，然後在衍射網路的輸出平面定義

10個檢測器區域

（圖1B）。

圖2：3D列印的DNN的實驗測試

然後，我們使用0。4 THz的連續波光照來測試網路的推理效能（圖2，C和D）。

每一層神經元的相位值用3D列印神經元的相對厚度進行物理編碼。對這個5層的DNN設計的數值測試顯示，在 ~10000幅測試影象中，分類準確率達到91。75%（圖3C）。

圖3： DNN手寫數字識別器的效能

DNN效能：Fashion-MNIST資料集

接下來，為了測試DNN框架的分類效能，研究者使用了一個更復雜的影象資料集——Fashion-MNIST資料集，其中包含10個類別的時尚產品。

DNN對Fashion-MNIST資料集的分類結果如下圖所示。具有N = 5個衍射層的phase-only和complex valued的DNN的分類精度分別達到

81.13%和86.33％。

透過將衍射層的數量增加到N = 10，並將神經元的總數增加到40萬，DNN的分類精度提高到

86.60％

。對比而言，在已有研究中，基於卷積神經網路的標準深度學習，使用~890萬可學習引數和~250萬個神經元，Fashion-MNIST分類準確度的最高效能為96。7％。

光學神經網路的應用

光學電路深度學習是一項重大突破，而且其現實應用已經逐漸

根據光學領域權威期刊Optica的報道，美國斯坦福大學的研究人員已經證明，可以直接在光學晶片上訓練人工神經網路。這一重大突破錶明，光學電路可以實現基於電子的人工神經網路的關鍵功能，從而可以以更便宜、更快速和更節能的方式執行語音識別、影象識別等複雜任務。

不僅如此，斯坦福的另一組研究人員還研究出一套小型AI成像系統，採用雙層光學-電子混合計算技術，成像精度和速度均達到電子計算處理器水平。具體說，研究人員在電子計算之前加上一層光學計算，這種AI成像系統在低光照條件下具備更強的成像能力，每個立體畫素上的光電子密度最高可達幾十個，同時節約了大量本該用於計算的時間和成本。

具體到這項研究，UCLA的研究團隊表示，他們的 DNN 裝置可用於

全光學影象分析、特徵檢測和物件分類任務，還可以實現使用 DNN 執行任務的新相機設計和光學元件。

例如，使用該技術的無人駕駛汽車可以立即對停車標誌作出反應，一旦收到從標誌衍射來的光，DNN 就可以讀取標誌資訊。該技術還可用於對大量目標的分類任務，比如在數百萬細胞樣本中尋找疾病的跡象。

“這項研究為基於人工智慧的被動裝置提供了新機會，可以對資料和影象進行實時分析，並對目標進行分類。”Ozcan 說。“這種光學人工神經網路裝置直觀地模擬了大腦處理資訊的方式，具備很高的可擴充套件性，可以應用到新的相機設計和獨特的光學元件設計中，也可用於醫療技術、機器人、安全等領域。”

論文：

http：//science。sciencemag。org/content/361/6406/1004

參考連結：

https：//www。photonics。com/Articles/All-Optical_Diffractive_Deep_Neural_Network_Is/a63751

https：//newatlas。com/diffractive-deep-neural-network-uses-light-to-learn/55718/