超級計算機與人工智慧：大國超算，無人領航

圖片來源@視覺中國

文丨譚婧

美國先有星球大戰計劃，中國後有“863”計劃。

1986年底，年過四十的李國傑從美國回到中國， 成為中國科學院計算技術研究所的一名研究員。

他就是後來的“曙光一號”研發之父。

1990年3月，北京友誼賓館，國家智慧計算機中心宣佈成立。

那一年，李國傑組織了一支很特別的隊伍，其中的大部分人沒有造過計算機。

李國傑認為，不理解作業系統源程式，是不可能造出計算機的。於是，他們花了兩年時間，分析了幾百萬行的程式碼，一行一行地摳。

信仰不能鬆動，鬥志不能鬆懈，辦場誓師大會鼓鼓勁兒。

“人生能有幾回搏” 幾個大字寫在黑板上。誓詞在發黃的紙頁上褪色，有句話壓在了肩膀上：“相信你們一定能做出來！”

有人紅了眼圈，有人眼中帶淚。

夜夜龍泉壁上鳴，無數個趴在鍵盤上睡著了，手裡還緊緊握著滑鼠的凌晨四點。誓言像鬧鐘一樣叫醒大腦。

個體的幸福是有限的，人們常常是和國家、和時代一起同苦同樂。

1996年，以“863”計劃的重大成果曙光一號為智慧財產權，曙光資訊產業有限公司成立。

“曙光”帶給人希望，“龍芯”很有中國味。

作為國產晶片，“龍芯”出發時，來自中國科學院計算技術研究所的胡偉武，前來請戰。

他是後來的龍芯CPU首席科學家。

他說：“我做不出龍芯一號，提頭來見。”

你知道什麼能讓你覺得輸也沒什麼嗎？

贏。

01

1999年前後的行情是，價格在10萬元人民幣以上的計算機，才能被稱為高階計算機，或者高效能計算機。

而很多情況下，高效能計算機又被稱為“超級計算機”。

超級計算機的評價標準是水漲船高的。

穿過時光隧道，把你手上的iPhoneX拿到1960年，以它的計算能力，也可以叫超級計算機。

超級計算機，是計算系統金字塔的頂端。

超級計算機的應用，是用最複雜的計算機，突破最難問題。

如果還不清楚，那再加一句：

超級計算機如同核武器一樣，有與無，天壤之別。

從頭開始已無可能，整合創新用腳步丈量距離。

總有人，對整合創新嗤之以鼻，唯有原始創新才是英雄兒女。然而，創新不能一刀切，把已有科技成果有機地結合起來也有難度。

還有一點就是，在當時的情況下，能選擇的路，並不多。

有的人做技術，做了幾十年還是在做殼子。

有的人做技術，做著做著，皮肉筋骨都變成了自己的。

2010年，曙光6000研製中，採用龍芯3A實現了一部分，但並不是主要部分。

2011年，神威藍光問世，這是以國產多核CPU晶片為基礎的第一臺超級計算機。

這代表著：只能用國外晶片生產超級計算機的歷史結束了。

超級計算機的賽場，永遠不會止步於在榜單上，止步於實驗室“無菌”環境裡。

上世紀九十年代的深圳，李國傑院士留意到：

“有一家叫華為的公司，七八百號人搞研發，每年投入的研發費用超過一個億，其產品有競爭力應在意料之中。”

時光催迫，又十年。

2003年12月的一個早晨，熱帶的陽光在給清涼的沙粒加熱，兩位身穿色彩明亮的椰樹風襯衫的中國人和一位身著運動服的外國人，漫步在海南島的沙灘上，聊得很是投機。

其一是時任摩托羅拉營運長邁克扎菲羅夫斯基，另一位是時年59歲的華為創始人任正非。

沙灘漫步的結果是，摩托羅拉同意以75億美元收購華為。然而，劇情急轉彎，收購流產了。

此後，摩托羅拉與華為這兩位時代鉅子駕著不同命運的馬車絕塵而去，一路狂奔的還有華為鋼鐵一般的，自研技術決心。

李國傑院士回憶，2003年的時候，華為支援大學和科研院所做預研的資金曾經連續兩年減少。究其原因，大學和科研院所與華為做的在同一層次，而且不如他們做的好。

這事曾讓李國傑院士捫心自問：像（中科院）計算所這樣的國立科研機構究竟該做什麼研究？

日月輪轉，又五年。

2008年3月，華為與賽門鐵克公司（Symantec）的合資公司成立。為此，華為派出約4000-5000名精兵強將，而賽門鐵克派出的僅僅是三位外籍高管。我探訪到了一位接近女高管的人士，他提到了一些往事細節。女高管常駐香港，定期飛成都。

這也印證曾有華為員工提到的，華為負責儲存的高管大多在成都。

“合作很順利，賽方不需要高管蹲守成都。”匿名受訪人的原話。

賽門鐵克這家公司，在資訊保安領域全球領先。這場合作，各取所需。一家外國企業“借道”華為發達的銷售網路，進軍中國市場。

這場“共同研發”為華為儲存技術打下堅實基礎。

任正非曾說：“華為跟著人跑的機會主義高速度會逐步慢下來。”

這也暗合中國高階計算機發展之路。

02

臺北101大廈直插雲際，俯瞰生機勃勃的城市。

2014年的最後十幾天，浪潮集團臺北研發中心在101揭牌。

臺灣是晶片的高地，晶片製程工藝長期領先，坐擁大批核心高階人才，IT裝置代工王者雲集，排名前10位的代工廠有，廣達、緯創、仁寶……

歲月易逝，這些臺資代工廠的合計份額一度超過90%，訂單來自IBM、戴爾、惠普……

那時候，浪潮想得很清楚，借力我們的臺灣，重金獵聘。

於是，一批技術功底紮實的臺灣科技人才投入浪潮的懷抱。下好這一步棋，浪潮伺服器裝置水平實現了三級跳式的跨越。

在這件事上，浪潮集團董事長兼CEO，山東企業家孫丕恕，顯露出高瞻遠矚的決策力。

猛將必發於卒伍，宰相必取於州郡。歷史性的腳步，都在時間的長廊裡留下了迴響。

如果說超級計算機是發動機，千行百業就是汽車，得裝進汽車裡才知道它的效能。

以前，超級計算機主要用於科學研究，核爆模擬、氣象氣候、生物資訊計算等。而每一種科學問題，都有其固有的特性（並行性），這也意味著重複“堆機器”永遠無法具有“超級計算”的霸氣。

再加之，不同應用對超算的需求迥異，不做艱苦研究與科技創新，肯定沒戲。

苦苦研究就夠嗎？

答案是，超算不能光靠研發“推”，得讓需求“拉”。

曾有人把拉力不足歸因為我國生產力落後。模擬工業產品效能，也要工業部門能用得上。1999年，國內有一家飛機公司的總工，一度完全不相信波音777沒有一張紙質圖紙。

模擬驅動研發，數值模擬技術瘋狂地縮短研製週期，簡化、減少甚至取消實物試驗。

超級計算機是否只能用在大型工業產品研發中呢？

一場美國學術會議上，樂事薯片公司出現在演講臺上。這並不是中場茶歇廣告贊助商的致辭，而是如何用超級計算機模擬薯片生產中的空氣動力學。

鹽放哪裡都鹹，醋放哪裡都酸。

如何把薯片上的調料撒均勻？好吃的秘密是數值模擬的結果。超級計算機藏在刷劇、吃薯片的肥宅時光裡。

年曆翻到2016年，中國超算人擦乾汗水、抹掉淚水，終於迎來高光時刻。

中國隊2016和2017年連續兩次奪得“戈登貝爾獎”，這是國際上的最高學術獎，江湖人稱“超算界的諾貝爾”。

此前的近30年，此獎就在美國和日本間“拋繡球”。

如今，不僅“天河”、“曙光”、“神威”等超級計算機，使國家級超級計算基礎設施進入世界領先行列，而且，從《2019中國HPC TOP100廠商份額趨勢圖》中可以看到，中國廠商超過了高效能計算領域的“傳統勁敵”，IBM和惠普。

03

2020年，彎眉冷月，仲秋月圓。

綠皮火車停靠首都經濟圈城市河北衡水，神州高鐵抵達中原城市群落的中心河南鄭州。

在2020年中國超級計算領域兩場重量級的會議上，這些聲音樸素、結實、鮮明。學界與工業界一呼一吸。

在“十三五”國家重點研發專項“高效能計算”總體專家組組長、北京航空航天大學錢德沛教授首發演講的七天後，一位華為高管便在演講時引用了他的觀點，並標明資訊來源為“衡水講話”。

圖片：衡水車站，攝影：譚婧

這場演講，題為

《新形勢下高效能計算發展面臨的挑戰和任務》

。

全球高效能計算機（HPC）TOP500榜單歷時已久（從1993年開始，每年的 6 月和 11 月發榜）。

作為風向標，反映了超級計算機發展的新動向。排行榜的變化折射出全球高效能計算在技術和應用方面的研究現狀和發展趨勢。

回首發展的曲線，2013年成為這個榜單顯著的分水嶺。在此之前，榜單上排名第一位的超級計算機效能和上榜計算機的總體效能，一直呈現出這樣一個趨勢：超級計算機的效能每十年到十一年，提高一千倍。

從2013年開始，上升的曲線變得平緩，甚至於在2019年11月，TOP500榜單的前十名和前一次相比沒有發生變化。

如果沒有革命性的技術突破，超級計算機效能不可能再保持十年一千倍的發展速度，而有可能降到十年一百倍，或者更低。

發展之所以變緩，從技術角度觀察，是遇到了一些瓶頸。

《新形勢下高效能計算發展面臨的挑戰和任務》

第一、能效指標的約束，不能單純依靠系統並行規模的擴大來提高效能。

第二、登納德縮放比例定律 （Dennard Scaling）的失效。每一代半導體工藝的進步不再能保證晶片功率密度的恆定，其結果是晶片功耗急劇上升。

第三、摩爾定律接近失效，晶片效能不再能每兩年翻一番。

第四、體系結構變化緩慢，沒有新的體系結構提出。在顛覆性技術方面沒有新的技術出現，包括經常談到的量子計算、超導計算，距離實用還有相當一段距離。

第五、新原理器件缺乏突破。比如，存算一體的器件和全光交換的器件等。

2013年，導演李安憑藉《少年派的奇幻漂流》獲得奧斯卡大獎，但是超算效能發展卻按下了減速鍵。

國際上超級計算的競爭，卻還更趨激烈。

2015年，美國提出國家戰略計算計劃，美國政府多個部門協調，加快超級計算的發展。

美國能源部在NSCI（美國國家戰略計算計劃）框架下正在實施“E級計算計劃（ECP） ”，投入將近36億美元。

36億美元中的近18億美元開發軟體應用，餘下的18億美元研製3臺E級計算機。

美國，原計劃第一臺E級機Aurora將在2021上半年完成，持續效能將達到1EFlops（每秒百億億次）。後續的Frontier和El Capitan將在2021-2023年完成。從目前看，美國第一臺E級機有可能提前到2020年底前問世。

日本，對E級計算雄心勃勃，2020年6月，日本的超級計算機“富嶽”成為世界上運算速度最快的計算機。

這是時隔九年之後，日本超級計算機重登TOP500榜首。

日本的超級計算機“富嶽”

日本富嶽的運算速度超過美國Summit，峰值速度達到513。85PFlops/s，Linpack效率達到80。8%。

為了研製富嶽系統，日本富士通公司專門開發了新型ARM處理器，擴充套件了512位的向量部件，支援8位整數運算和多種字長的浮點運算，適應人工智慧應用需求。記憶體採用HBM2，訪存頻寬與計算能力之比高達0。4，這是日本超級計算機系統的特點。

系統能效有很大的改進，但功耗還是達到28。33MW，仍有改進空間。

日本超級計算機重登TOP500榜首

歐盟，計劃在2023年左右建立E級計算基礎設施，裝備3臺左右E級計算機。

在目前的歐洲先進計算合作伙伴計劃（PRACE）的基礎上發展，旨在為歐洲地區科研機構提供具有世界級水平的高效能計算服務。

歐洲，現在提出要研發自己的處理器，由Atos公司牽頭自研處理器。

另外，歐洲非常重視開源處理器架構RISC-V，在歐盟支援下，依託巴塞羅那超算建立歐洲開放計算機體系結構實驗室（LOCA）。

雖然，歐洲在超級計算機的硬體製造方面比美國和日本滯後，但是，歐洲高效能計算基礎研究和應用基礎好，在新的計算模型、語言、演算法，大規模數值模擬等方面很有特色。

中國，“十三五”重點研發專項把研製依託於自主可控技術的E級計算機研發領域並行應用軟體和研發國家高效能計算環境作為其目標，要突破E級計算關鍵技術，使高效能計算在關鍵領域得到應用，並進一步推動國家高效能計算環境的服務化建設。

那麼，這一新形勢下有哪些挑戰？

2015年4月，美國對中國國防科技大學及其相關國家超算中心實施禁運。

時至今日，美國已經把中國主要的超級計算機研製單位全部列入“實體名單”，實施禁運和封鎖。

在嚴峻的國際環境下，E級和後E級計算面臨重大技術挑戰，主要包括：

降低系統功耗、提高應用效能、改善可程式設計性、提高系統可靠性等。

面對這些挑戰，需要體系結構的創新，關鍵技術的突破和軟體硬體的協同。

在超級計算方面，我國要解決一系列卡脖子問題。

在高效能計算硬體方面，比如：

高效能處理器和加速器、記憶體晶片（特別是3D記憶體）、新型儲存系統\器件（例如非易失儲存器件NVM）、高速互連網、光傳輸和光交換器件、IC設計EDA軟體、先進的晶片製造工藝等。

在高效能計算應用軟體方面，目前大部分工程計算軟體依賴進口，更大的問題在於，基於國產處理器的超級計算機上的系統軟體和應用軟體怎麼解決。

那麼，在超級計算E級時代，要重視哪些問題？

發展E級計算需要解決諸多技術難題。

第一要重視體系結構。上世紀八十年代是體系結構研究的黃金年代，出現了RISC、超標量處理器、多層次快取、預期執行、編譯最佳化等一大批體系結構創新，使計算機效能每年提升60%。

我們希望體系結構研究再次迎來“百花齊放、百家爭鳴”的局面，使超級計算機從以規模取勝的“恐龍”式系統，向靈巧、節能、應用高效的“哺乳動物”式系統發展。

計算機體系結構有幾個基本問題。例如，馮諾依曼結構如何適應大規模的並行執行？問題的求解模型如何和計算機的體系結構相匹配？計算能力如何和訪存能力相匹配？

這些都是體系結構需要考慮的基本問題。

到目前為止，沒有一種體系結構能夠覆蓋所有應用的需求，通用與專用始終是長期爭論的問題。未來的超級計算機可能會出現多樣化、靈巧化、專用化的局面，通專結合是重要手段。

風物長宜放眼量。

高效能計算方向重點研發專項的使命和願景，是研製新一代高效能計算機及其應用系統，使算力得到大幅提升，以滿足國家創新發展的戰略需求。

兩個重點的考量分別是，研發“新一代高效能計算系統及其應用”和“帶動自主可控基礎軟硬體技術與產業的跨越式發展”。

回首20年發展，始終強調機器、應用和環境的協同發展。

未來，仍將堅持這一路線，並聚焦三大任務：

任務一、新一代高效能計算機系統的研發。

任務二、高效能計算機應用關鍵技術和領域應用軟體的研發。

任務三、依託國家超算基礎設施的領域應用平臺研發。

考慮如何使算力成為國家新型基礎設施，真正把計算能力像水電一樣便捷地提供給使用者？

建立“超算網際網路”的思路被置諸案頭。

04

東臨碣石，以觀滄海。

超算變革，前所未有。

2017年，李國傑院士就談道：

“E級計算機將是世界上最大的深度學習平臺，研究E級計算機一定要從機器學習的負載特徵中獲得需求資訊，人工智慧可能是中國在超算上彎道超車的一條途徑。”

中國計算機學會高效能計算專委會秘書長，張雲泉在採訪中告訴我：

“從2019年中國HPC TOP100行業應用領域機器系統份額圖來看，大資料/機器學習佔11%，網際網路/雲計算佔34%，短影片佔5%，三者加起來已達50%。”

“這說明了超算的新應用的崛起。”

全球Top500HPC榜單，也可以被稱為“全球速度最快500臺超級計算系統排名榜”。

2019年的榜單中近30%系統擁有加速卡/協處理器，即越來越多的系統配有大量低精度算術邏輯單元，以支撐人工智慧計算能力需求。

尤其值得一提的是，榜單前10名都擁有人工智慧計算的能力。

2019年，內蒙古呼和浩特，在HPC China會議上，清華大學計算機系鄭緯民教授也做出判斷：

“人工智慧應用有望成為超算的主流應用。”

鄭緯民院士談道：“具有頂級計算能力的超算系統理應為大規模人工智慧應用提供助力，不斷拓展人工智慧的技術邊界。2018年的戈登貝爾獎選擇大規模深度學習應用，入圍的應用中，人工智慧相關的專案也前所未有地佔據了半壁江山。”

“這一切都預示著人工智慧與超算的結合，將越來越緊密。”

彼時，計算、儲存、網路是高效能計算的老三件。

這好比腳踏車、縫紉機、手錶。

而新關鍵點也進入視線，異構、數學庫、排程、通訊庫、AI庫……

矽谷鋼鐵俠馬斯克參與創立的研究機構OpenAI釋出了一份“人工智慧與計算”分析報告。

自2012年以來，最大的人工智慧訓練中所使用的計算力呈指數增長，每3。4個月增長一倍。

算力是AI再次起飛的基石之一，如今已是像牙膏牙刷一樣的AI日常消耗品。

深度神經網路規模越擴越大，超大規模人臉識別、超大規模自然語言處理模型如雨後春筍。

1750億引數的GPT-3模型更是大到石破驚天：需要大規模GPU或TPU叢集，需要在可接受的時間內看到提升效果，需要異構硬體支援訓練超大規模資料或模型。

“大力出奇跡”成為現象級需求。

微軟亞洲研究院首席研究員劉鐵巖，曾在“MSRA AI講堂2019校園行”活動中談道：

“很多研究都在追求 ‘大力出奇跡’。”

另一位重量級學者周明說：

“（AI在發展）無休止的計算資源軍備競賽。”

超級計算，屹立潮頭，

人工智慧，乘風而來。

人工智慧的需求超越了任何一款晶片的單獨處理能力，必須使用分散式架構，把很多加速器晶片協同起來一塊兒工作。分散式訓練的實際效能，高度依賴底層硬體的使用效率。

一個跨軟體、跨硬體的複雜工程誕生。

困難，前所未有。

05

在中國工程院的院士中，女院士的數量，約佔5%。

1957年出生的陳左寧，歲月堂堂忽六旬，依然在為中國高效能計算事業奔忙。

2020年初，她獲得了中國計算機學會女性科技工作者“CCF夏培肅獎”。

她演講的風格樸實，聲音利落，知識密集。

簡單地說，高效能計算的目標有三個，效能，效能，還是效能。現在多了一個跟大資料和人工智慧融合的任務。超級計算機有些瓶頸是和伺服器、小型機共同的，比如記憶體牆。

從某種角度講，超算和人工智慧是一個戰壕裡的戰友。

但是，陳左寧院士的觀點表達出這兩個戰友配合得並不默契。

“人工智慧所需要的能力，沒提升上去。超級計算機能夠提供大量的計算能力，但是人工智慧不需要。”

一位中科院高效能計算相關的研究員也在採訪中談道：

“超級計算機為數值計算設計，並不是為人工智慧設計。所以，AI用於現在的超算體系上不合適，沒辦法物盡其用，只能說是——‘能做’。”

陳左寧院士指出了方向：“經典高效能計算的環境可支援現有人工智慧模型演算法，但效能功耗和價效比都比較低，並非最適合的，需要創新體系結構和軟體架構。人工智慧不需要複雜的節點計算，也不要複雜的指令系統。體系結構的需求是高可擴充套件架構設計，更合理的對映。”

是戰友，就應該親密無間，生死之交。

但是，科學家的口氣中都帶了些勉強。

06

日月之行，若出其中。

星漢燦爛，若出其裡。

在華為內部資料中，一份題為《超算中心建設彙報》的PPT上寫著：

“Gartner主儲存魔力四象限中，華為儲存處於領導者象限。

華為儲存的全球增長率排第一。

華為儲存在中國區市場佔有率第一（IDC全快閃記憶體Market Overview資料顯示）。”

外部資料同樣如此。2020年9月29日，IDC釋出的《中國企業級外部儲存市場季度跟蹤報告，2020年第二季度》報告顯示：華為市場份額同比猛增8。9%至30%。

美國科技巨頭亞馬遜公司旗下雲計算服務平臺AWS的S3物件儲存服務是事實工業標準。

這種說法AWS官方絕對不會提。

但是可以觀察到，大多數物件儲存都有相容S3的介面，包括，國內的公有云（阿里、騰訊、華為），備份軟體廠商（Commvault公司等），硬體廠商（Netapp、EMC公司等）。

業內人士口頭禪是：“大家都有（與之對應的）S3介面。”

AWS和華為都是ARM的信徒，ARM也給高效能計算注入了活力。

如今，華為圍繞鯤鵬和昇騰晶片建造出屬於自己的“HPC+AI”的王國，全自研軟硬體。

首先，發揮晶片的算力要構建數學庫，華為自研全棧數學庫，遠在俄羅斯建立數學庫人才團隊。

其次，自建CANN庫和開源深度學習框架MindSpore。其中MindSpore，對標谷歌公司的TensorFlow。

再次，平臺層面有自研作業排程和叢集管理，從頭開發，一行一行程式碼寫，有加拿大研究院的參與。

最後，自研MPI+自研RoCE網路，效能逼近IMPI與IB結合的網路。

仰天一笑淚光寒，“自研”成為華為的畫風。

華為組織架構上，雲&計算BG，下面分為“雲BU”“計算產品線”“資料儲存與機器視覺產品線”，計算產品線裡包含了昇騰計算、鯤鵬計算子領域。

華為內部有大小云之分，雲與計算BG，暱稱“大雲”，雲BU，暱稱 “小云”。

曾在IBM任職多年，現任華為智慧計算HPC解決方案首席架構師的王飛在演講中也認可大資料，人工智慧和高效能計算，大趨勢是融合。

他談道：“現在建一個大規模超算，一般不會專門針對傳統單一HPC業務，肯定會考慮在上面執行多樣性的業務，比如人工智慧，大資料等。在一個大規模的叢集環境下，多樣性的業務，多樣性的負載，融合是未來發展趨勢。”

但是，更為關鍵的是，王飛用兩句話表達了長期以來的思考：

“多樣性的業務和多樣性的負載，使得我們需要多樣性的算力，在一個集群裡頭可能會使用CPU、GPU、NPU、FPGA等各種通用和專用加速晶片。而支撐這些業務的軟體平臺也需要多種，包括傳統的HPC排程平臺，AI深度學習平臺，大資料平臺、容器平臺等，業務的融合也將促使多種平臺軟體的融合，這正逐漸成為當前技術發展的趨勢。”

他冷峻的臉上，沒有太豐富的表情。

停頓了一下，他繼續說。

“以上這些，如何在一個集群裡能部署好，融合到一起，並且很好的工作，這是個困難的事情。”

07

大資料一輪，出現了變革性的系統、軟體和演算法。人工智慧對變革性技術的需求也絕少不了。

人工智慧是典型的稠密計算，傳統的科學計算和事務處理系統和軟體，該如何適應？

市場，從不為困難停留腳步。

拔劍須臾，兵家必爭。

自2017年起，人工智慧伺服器快速增長。

自2018年起，五花八門廠商全棧人工智慧系統現身於大大的廣告屏上。

在2019年、2020年高效能計算大會現場，隨手抽一張廠商廣告，HPC+AI字樣已經隨處可見。

演講中，會議上，AI+HPC討論不斷，麥克風轟隆隆，掌聲嘩啦啦，計時器叮叮咚。

2020年9月底，華為EI（企業智慧）部門正在進行專門的AI與HPC融合的立項準備工作。按此推論，整合AI和HPC兩側的資源，共同發力，會為應對趨勢有諸多好處。

華為在上海負責該專案的員工在採訪中表示：“暫時不方便透露。”

參與者摩肩接肘，咳唾相聞。

曾幾何時，CPU的發展以提高主頻為主要方向，因不能解決巨大的功耗問題而走到盡頭。

後來，科研與產業換了車道，重點突破多核CPU技術，這個轉折讓我們趕上了。並行處理技術成為所有人的難點，我們面臨的問題，國外也沒有很好地解決。

如今，白髮蒼蒼的老年人刷抖音都像上了發條，大街小巷的智慧手機的處理器都變為多核的了，不做平行計算不行。

平行計算技術已經處在一個全新的時代。對於AI訓練而言，多卡和多節點的支援變成硬性需求。

“下一個十年，將出現一個全新的體系結構的‘寒武紀大爆發’，學術界和工業界的計算機架構師將迎來一個激動人心的時代。體系結構的改進必須和並行演算法、並行軟體同步進行，而且越是高層的改進，效率提升就越大。”

李國傑院士2020年談道。

他強調：“因此，未來幾十年一定是平行計算的黃金時代。”

科技，要給歷史一個交代。

網際網路大廠盤踞網路流量入口，歷經大資料的洗禮，搶佔AI射門的最佳位置。

這類大廠在AI訓練時，分散式計算和平行計算所用的架構有何不同？

對於這個問題，我採訪了一流科技創始人，清華大學博士袁進輝。

袁博士先解釋了之前的情況，他說：“之前，在網際網路大廠，尤其是大資料、網際網路業務中，機器學習所使用的技術架構，不是HPC的架構。”

他轉折了一下：“但是，當深度學習起來之後，他們使用的架構就趨同了。

袁進輝博士總結道：“網際網路大廠針對大資料與人工智慧的深度學習叢集架構，從高效能計算的架構裡面借鑑了很多東西。比如，雙劍合璧的CPU+GPU異構計算是先出現在HPC領域的，因為深度學習本身的計算特點，高度並行，計算密集，用異構非常適合。”

他的觀點是：“現在看來，平行計算和分散式，網際網路大廠深度學習叢集架構和超級計算機已經非常類似了。”

一流科技公司是深度學習框架開源軟體廠商，對標谷歌TensorFlow。一流科技與之江實驗室聯合研發了深度學習平臺。

談到錢，超算和AI就找到了共同話題。

超算一開口，就是“億元起步”。

人工智慧，土豪隨意，絲毫不甘示弱。

全球排名第一的日本“富嶽”超級計算機造價約70多億元人民幣，用電量更了不得，一年滿負荷耗電量是2。4億度。

2019年，微軟亞洲研究院一出手就買60塊英偉達DGX-2超算，花費近兩億人民幣（據一位匿名研究員透露）。

再看看幾大研究機構，鵬城實驗室、之江實驗室、北京智源研究院，均由地方政府主導、出資，算力預算都是大手筆。

我在公開資訊中查到，2020年《鵬城雲腦Ⅱ擴充套件型專案資訊化工程第一階段專案》預算28。1億元，採購產品主體為華為AI叢集。

08

攝影：黃 淵

一切有如昨日。

欲行百里者心至千里，欲挑百斤者心受千斤。

誓師會上的淚光，胡偉武的“提頭來見”，錢德沛教授在“衡水講話”中的最後發問：

如何在外部限制與封鎖下，保持我國超級計算機的持續發展？

“這是必須回答的問題，自主可控不是應該鼓勵的可選項，而是唯一出路。‘為國分憂’，不僅寫在會議PPT上，也是寫在中國高效能計算從業者心底裡的話。”

國家對科技的投入前所未有，國家對創新的期盼前所未有。

我們的目標是：產業上不受制於人，居於全球價值鏈中高階。

【鈦媒體作者介紹：《親愛的資料》出品，作者為譚婧。】