對話南航計算機學院副院長、IAPR FELLOW張道強：如何高效提取腦影像的有效特徵？ ｜ CMAI 2022

近日，2022年醫學人工智慧大會（CMAI 2022）暨第二屆“中國醫學學術期刊發展”高階論壇召開。

本次高峰論壇邀請了多位頂尖醫院的放射科主任及人工智慧技術的權威專家，共同探討人工智慧技術在醫學影像中的臨床應用與科研進展，分享研究心得。雷峰網《醫健AI掘金志》作為本次大會的支援單位，全程參與嘉賓的演講內容與深度報道。

南京航空航天大學計算機學院副院長張道強教授作為本次大會的嘉賓，發表了主題演講。

2010至2012年，張道強曾在醫學影像AI領軍人物、上海科技大學生物醫學工程學院創始院長沈定剛教授的UNC IDEA Lab團隊中從事腦影象分類研究。2012年回國後，張道強一直專注於腦影像的智慧分析。沈定剛教授曾表示，張道強是青年學者中研究醫學影像AI最TOP的那一批人。

會後，雷峰網與張道強教授進行了一次對話。他表示，相比安防等行業，深度學習技術在醫學領域內的應用稍顯滯後。回國兩三年後，他開始將深度學習應用在腦疾病的醫學影像研究中。

談及腦疾病研究中面臨的問題，張道強表示，腦疾病非常複雜、精細且種類繁多，不同的腦疾病如阿爾茲海默症（AD）與抑鬱症等疾病之間也有相似之處，有些病人同時患多種腦疾病，常常難以分辨。

另一方面，用深度學習技術研究腦疾病，對高質量樣本的需求量非常大，但腦疾病領域非常缺少高質量、有標記的樣本。據張道強介紹，以AD為例，目前國際上最大的資料庫ANDI也僅僅收錄了一千例左右的樣本。

為了解決樣本量稀少的問題，張道強與多家醫院合作，收集了大量不同站點的影像資料，透過遷移學習、對比學習等技術進行處理，克服資料偏差。

“2012年我回國後就非常注重與醫院之間的合作，第一時間找到了南京本地的南京腦科醫院精神科進行合作，近年來又陸續與南京鼓樓醫院、山東大學齊魯醫院、清華長庚醫院、301醫院等多家醫院達成合作。”

張道強介紹，除影像資料分享外，其團隊還按照醫院需求提供演算法解決臨床問題、與醫院共同培養學生、共同研究新技術在醫學影像上的應用，進行了諸多合作。

沈定剛教授回國入職聯影智慧與上海科技大學後，張道強與聯影智慧和上海科技大學也有共同的研究相關課題、申報研究成果等。

除樣本問題外，腦影像特徵的提取也是研究中的難題之一。三維的腦影像體量十分龐大，往往難以從中提取出有效特徵。

為此，張道強提出多模態技術，對腦影像進行預處理，將影像中的一百多個腦區進行標記、配準，分割灰質、白質及腦脊液。

考慮到在AD研究中腦脊液對灰質的影響更大，他以一百多個腦區中的灰質體積作為有效特徵，從結構影像的幾百萬個特徵中篩選出一百餘個。

而針對功能影像PET（正電子發射型計算機斷層顯像），則是以每個腦區中的平均灰度值為有效特徵進行篩選。

據此，張道強構建起不同的核矩陣，在核矩陣的層次上透過多核的融合實現多模態的分類。

隨著深度學習技術的發展，張道強也逐漸將圖論、圖神經網路等前沿技術應用到腦影像的研究之中。

2018年7月南航成立人工智慧學院，與計算機科學與技術學院合署辦公，學院現有計算機科學與技術、軟體工程、網路空間安全3個一級學科博士點，院內師資一百二十餘人。

張道強介紹，“在人工智慧領域，南航在國內還是比較有影響的。”

張道強的博士生導師，中國人工智慧學會機器學習委員會主任陳松燦也在南航計算機學院任教，同時陳松燦還擔任著江蘇省人工智慧學會常務副理事長。

經過十餘年的發展，目前學院內進行醫學AI研究的團隊已有十餘人，包含腦疾病、骨科、超聲、磁共振、病理影象等多個領域。

南航計算機學院的學生近年來也在國際會議上嶄露頭角。2019年10月，博士後邵偉在MICCAI大會上展示了他在聯合基因影像資料進行預後預測上的研究工作，並獲得大會青年科學家獎。邵偉也是當年五位獲獎者中唯一國內的青年科學家。

在今年的MICCAI大會上，張道強課題組的博士生左英立同樣斬獲了青年科學家獎。

醫學影像領域的華人學者在國際學術界的身影越來越活躍，2020年以來，張道強當選IAPR Fellow、

李純明、李樂、蔣田仔等多位學者陸續當選IEEE Fellow。

張道強對此也深有感觸：“我十幾年前第一次參加MICCAI的時候，華人面孔還非常少，佔比只有四分之一左右。”

而最近幾年這一領域的華人學者明顯增多，今年的MICCAI會議上有多位華人學者獲得青年科學家獎，“這些事實都表明我國醫學AI的研究已經接近世界前沿水平了，甚至某些方向已經超越西方國家。”

張道強表示，醫學AI在國內的發展有更多的機會，“相比歐美國家，我們能夠獲取更多高質量的資料，加之政策支援，以及大體量的研究者不斷加入這一領域，我相信醫療AI在未來會發展得更好。”

以下是張道強教授的演講原文，雷峰網《醫健AI掘金志》進行了不改變原意的整理。

我是南京航空航天大學的張道強，今天我給大家分享的題目是《腦影像智慧計算以及若干應用的研究進展》。

首先我們來看為什麼要研究大腦？我們知道大腦是人體最複雜也是最重要的一個器官，如果我們把大腦比作一個可以計算的機器，大腦是我們已知的客觀世界裡最複雜的一個機器。

正因為如此，包括美國、歐盟以及中國在內的諸多國家對腦科學計劃都非常關注，中國的腦科學計劃也已經正式開始實施。計劃的主要構造都是大家熟知的，瞭解腦、模擬腦（即類腦智慧）、保護腦（即腦疾病的防治）等方面。

腦影像是研究腦科學一個非常重要的工具，根據維基百科的定義，腦影像包括各種各樣直接或間接對大腦的結構和功能進行探測的各種技術的總稱。

從這個定義我們也可以看出來，腦影像分為兩大類，一類是結構的腦影像，在醫院做檢查時的X光、CT以及核磁共振等都屬於結構的影像。

另外一類是功能影像，比如功能磁共振、PET等等。

這是磁共振以及其成像的顯示。

這是PET以及它的成像顯示。

我們其中一個應用就是圍繞腦疾病的診斷，重點研究阿爾茨海默病，也就是俗稱的老年痴呆症。

老年痴呆症簡稱AD，是最常見的一種腦疾病。到目前為止，這一疾病還沒有有效的治療手段，隨著疾病的發展，最終會導致人的死亡。

65歲以上的中老年人群體患病風險比較高，現在世界上有4000多萬、接近5000萬的AD患者。

據世界衛生組織的預計，到2050年，也是本世紀中葉，全球每85個人中可能會有一人患AD。

左下角是一個非常形象的示意圖，我們把一棵樹的樹葉比喻成神經元。

大家知道我們的神經元細胞和其他細胞不一樣，從人出生以後它的數量就不會再增加了，到了青年階段以後數量就會不停地減少。

中間的樹代表的是MCI，即輕度認知障礙，右邊的樹代表的就是AD。在這個階段，神經元細胞就像圖中的樹葉一樣，已經死亡了一大半，所以會對認知功能產生很大的影響。

這是患AD疾病的一些名人，包括政治精英、文豪以及科技界獲得諾獎科學家等很多權威人物。

第一張圖給出了正常人的半腦和AD患者的半腦的示意，左邊是正常的半腦。

我們對比來看的話， AD首先是導致大腦有非常明顯的萎縮。我們再進一步觀察和語言、記憶相關的一些腦區，會發現AD使大腦變得非常平滑。

正常人的大腦有很多腦溝、腦回，將表面拉伸後面積是非常大的，因為我們大腦要容納大約1000億個神經元，每個神經元平均要和大約1000個神經元細胞要產生連線，所有的神經元和神經元之間的連線都要容納在大腦之中。

第二張是微觀圖，顯示了我們現在比較公認的兩個和AD相關的特徵，一個是神經纖維的纏繞，另一個是澱粉樣的沉澱，都能夠透過生化檢測發現。

這是一位畫家早期的自畫像，以及患AD後每一年給自己畫的自畫像。

可以看出來，在這位畫家患AD之後，隨著疾病的進展，越到後期疾病對他的大腦的空間認知能力影響越大大，晚期時已經基本沒有完整的空間認知感。

另外我們還可以用眼動儀來揭示正常人和AD患者看同一張圖片時大腦的不同理解模式。

圖中不同的圓圈是人在看這張圖片時視覺焦點的位置、大小以及停留的時間。

這張圖是正常人的模式，首先關注圖片中感興趣的目標，比如建築物、沙灘上人等等，所以在這些地方停留的時間較長。

這張圖是AD患者的模式，他沒有去關注沙灘上的人、建築等目標，反而有很多時間集中在大海這些沒有太多意義的位置。

這條曲線給出了各種不同的生物標誌物對AD的診斷能力，橫座標是從正常到臨床前期，再到輕度認知障礙和最後的痴呆的時間變化，縱座標表示不同的生物標誌物對AD的檢測能力。

從這張圖我們可以看出來，一些影像相關的生物標誌物，包括PET、fMRI等都有很高的早期診斷能力。

與之相對比，圖中最下面的一條曲線是我們臨床上用的一個打分函式，如MMSE和ADAS-Cog，但這種方式一般需要在患者出現非常明顯的症狀之後，到晚期痴呆的階段量表上才會出現較大差異。

到了痴呆的階段，已經沒有有效的治療手段能讓患者恢復到MCI或正常狀態。所以我們一定要在MCI或更早期對這一疾病進行早診斷、早治療。

在MCI階段仍有一些手段能夠對大腦進行干預，延緩從MCI到AD的轉變，提高病人生活的質量。

從曲線圖來看，基於影像特別是多模態的腦影像技術對AD進行診斷是非常重要的，這方面也有很多的工作，時間關係我們在今天的報告裡面主要向大家彙報一大類：基於腦影像構建腦網路，再對腦網路進行挖掘、分析和分類，從而實現診斷的技術。

現在有一個新的提法叫做“腦連線組學”，Brain Connectomics，主要關注大腦的不同區域和區域之間的連線。

我們認為，包括疾病的患病機制在內的大量資訊，不僅僅取決於不同的腦區，更多的是取決於腦區之間的連線。

連線型別包括三類。

一類是結構連線，比如說如果我們有DTI影像就可以很方便地構建一個結構連線網路；更多的情況下可能是功能連線，比如我們拿到的一些磁共振資料，可以從上面構建功能的連線；還有一類叫做有效連線。

我們主要關注結構和功能的連線。

這是一張簡易的圖片，我們從腦影像出發，首先要建網，把腦網路構建起來。然後從腦網路中提取特徵，做特徵抽取、特徵選擇，最後利用分類器，將選擇好的特徵進行分類。

我們現在有一些非常高階的技術，比如現在非常火的圖神經網路就可以直接對腦網路進行學習。

這是比較早期大概10多年前，透過腦網路做個體分類的工作。

早期的工作主要還是基於我們圖論相關一些研究，在2011年這篇論文中，首先把影像構建成一個網路圖譜，然後提取每個圖譜的頂點區域性聚類係數，將其作為一個特徵。提取完所有的特徵後將其拉成一個向量，用支援向量機（SVM）進行分類。

在2014年左右，我們就提出使用機器學習中一個非常重要的概念graph kernel ，圖核，大家可以理解成是度量兩個網路之間的拓撲相似性，基於此我們也得到了不錯的效果。

但是在2014年工作中，我們是把機器學習中現成的圖核拿過來使用，但這個圖核有一個缺點：缺少特異性。

左邊圖片中的兩個圖形上有標籤做出的標註，如果去掉標籤將圖形反轉，兩個圖是同構的。但是在腦網路中的節點則具有唯一性，這是腦網路非常重要的一個特性。

我們考慮到節點唯一性這一特點後，在2018年研究工作中又構造了一個新型的圖核，可以根據腦網路進行定製。

這個圖核在MCI和正常人的分類，以及MCI早期轉變和不轉變的分類中也取得了不錯的效果。

在如何構建腦網路方面，我們把每個腦區的時間序列相加，得到每個腦區的平均時間序列，然後對不同腦區之間的平均時間系列做一個k型相關，以這一相關係數作為兩個網路連線連線矩陣的對應位置的值。

但這種方式也有一個非常明顯的缺點，無法反應兩兩之間的互動關係，不能刻畫二階或更高階以上關係。

我們還需要新的工具。在2016年的工作中，我們引進了超圖的概念。

彩色的部分就是一個超圖。超圖和簡單圖形的頂點是相同的，相比左邊的簡單圖形，超圖最主要的區別在於其邊緣部分變成了超邊，每條超邊可以有兩個以上的頂點相互連線。

超圖以每條超邊對應的幾個頂點的鄰接矩陣來表示，當超邊恰好只包含兩個頂點時，對應的數值是0，如果超邊包含的頂點數量大於2，對應的數值是1。

這是一個用超圖來實現基於超網路的腦疾病診斷的框架。首先從影像構建一個超網路，再從超網路中提取特徵，最後利用特徵進行分類。

我們在MCI資料上做了驗證。這裡的CN-CC是一個經典的簡單圖，體現其具體系數。HN-HCC是構建超圖後，將簡單圖的區域性聚類係數推廣到超圖中。

這三種不同的提取形式，都取得了非常大的進步。另外，我們將這三種特徵融合起來，才能得到高達百分之九十幾的精度，大大超過了傳統的簡單圖的特徵。

此外，超邊也可以作為一種新型的網路度量來表達正常網路與MCI網路之間的差異。

在2018年的工作，我們直接從加權的網路中進行特徵挖掘，提出了一種有序的模式。什麼是有序模式呢？

大家看中間的圖，每條邊都有權重，按照傳統的方式或前面提到的一些複合方法，都是要找一個閾值，比如小於0。5的邊緣就拋棄，這種方式損失了大量的資訊。

另外找一個合適的閾值其實也是非常難的，我們就直接對加權的網路進行挖掘。

我們提出的方法叫有序模式，考察任意兩條相鄰的邊，如果它滿足邊緣的權重的有序關係，就將這兩條邊做為有序模式。

我們從正常人的網路和患病的病人的腦網路中提取一個頻繁的有序模式，另外我們為了實現判別，還將正常人和患病的人腦網路中相似的頻繁模式篩除掉，只留下判別性的頻繁有序模式，將其作為特徵進行分類。

我們在兒童多動症患者的腦網路上進行了驗證，基於有序模式在加權網路上進行挖掘，不論是ACC還是AUC都得到了比傳統方法更好的效果。

另外像超邊一樣，如果得到有序模式，可以作為一種新型的一個網路生物標記來判別患病的人和正常人之間腦網路的差異性。

在此基礎之上，我們把有序模式的概念和圖核結合起來，提出一種新的基於有序模式的圖核，進一步提升了效能。下面就是展示有序模式如何構建圖核。

另外我們還借鑑了計算機網路中Hub的節點。在區域網中Hub節點如果被攻擊了，整個的區域網可能就會陷入癱瘓。

在我們的大腦網路裡面，海馬體等位置都屬於比較重要的腦區，我們透過演算法找出重要的節點，在此基礎上做進一步的網路分類。

當同時有結構網路和功能網路時，還可以將其進行融合，得到更好的分類效果。

另外，我們還可以研究網路，特別是功能網路的動態關係。

這裡我們採用了時間滑動窗構建不同的網路，每隔一個時間視窗構建一個網路，研究它的持續和動態關係。

在今年的最新工作中，我們還研究了透過挖掘一致性的連線組的特徵進行多中心、跨中心的分類。

在動態網路表示方面，我們在今年TMI上面也有最新的工作分享，時間關係這個地方就不再做進一步的介紹。

除了腦疾病診斷之外，在腦影像智慧計算或分析中，大家也比較關注將影像腦影像作為內表型，挖掘和基因之間的關聯，也就是藉助影像找出和AD易感相關的基因。

反過來透過基因也可以幫助找到AD相關的腦區或是子網路，以及表型上的資訊，現在可以聯合起來進行多模態的包括基因和影像的診斷。

影像遺傳的基因資訊主要是以單核苷酸多型性為主，簡稱SNP，是非常高維的資料。

因此對建模提出了非常高的要求，因為建模時輸入輸出的基因影像都是高維的。

我們在2018年的一篇基於統計學習的影像遺傳學方法的中文綜述中，將現有的影像基因關聯方法歸納為4類，第一類是多基因單腦區，第二類是單基因多腦區，第三個是多基因多腦區，第四個是多基因多腦區之間的動態關聯。

針對前面講的4類，我們分別開發了一些方法，時間關係不再做進一步的介紹，大家如果感興趣的話可以關注我們的論文進一步瞭解。

非常有意思的是，不只能做基因和影像、腦區之間的關聯，還可以將影像變成腦網路之後，找出基因和腦網路之間的關聯。

今年我們在自然通訊上有一個最新的工作，利用多模態的網路和基因做了一個用於精神分裂症的多基因風險相關的研究。

最後一個應用主要是關注腦解碼，和疾病沒有關係，主要是關注正常人的認知方面。

大家看右上角這個圖，被試者在看到不同的物體時，腦子裡會有不同的響應。

如果我們用fMRI將被試者做認知的過程記錄下來，比如說看到鞋子和貓的照片時，用fMRI記錄下過程，我們就知道這一段fMRI對應的是鞋子，另外一段對應的是貓。

從機器學的角度來講，我們收集了很多fMRI的樣本，對應的標籤就是影象的類別。我們可以構建一個分裂器，當分裂器訓練好以後，被試再看到新的圖片時，掃描被試的大腦並將fMRI傳入分裂器中，分裂器就會預測出被試者看到的影象，從而實現解碼。

這是對分類的解碼。還可以有比分類更加複雜的解碼，比如將看到的影象進行重建。

解碼的過程中有一個關鍵的挑戰：不同的被試之間差異非常大。

比如說左上角和左下角的兩張圖，同樣是看到一張人臉，第一個被試的相應模式在第二象限， 第二個被試在第三象限。對建築、動物等影象也可能有類似的結果。

這時我們就要進行Hyperalignment，透過一些配準使其進入同一空間，使不同的人對同樣的物體的響應在相似位置。

關於Hyperalignment有一個經典的描述，和機器學習的典型相關性分析CCA非常類似。

在2017年我們做了一個工作，就是推廣了Hyperalignment技術。

原始的Hyperalignment在fMRI空間中，我們的方法先將其推從fMRI空間推廣到高維空間，透過滲透神經網路將其對映到高維空間中，在高維空間中做Hyperalignment ，我們稱之為Deep Hyperalignment，也得到了較好的效果，具體細節我們不說了。

我們在公開的open fMRI的資料集對多種任務做了驗證，我們的Deep Hyperalignment的方法也得到了較好的結果。

圍繞Hyperalignment，我們最近幾年有些相關的工作。

比如在2020年我們採取了一種共享的空間遷移學習技術，對多站點的fMRI數進行分析，還開發了一個叫做easy fMRI的工具箱，對fMRI進行特徵提取、視覺化等處理，歡迎大家來試用這個工具，我們也把它開源了。

除分類的解碼之外，有些學者已經開始研究重建的解碼。

就像我們左圖所示，當被試者看到物體時對大腦進行掃描，將被試者看到的物體進行重建。

比如說右圖所示的阿拉伯數字6和9，對被試者的大腦進行掃描，將fMRI對應起來。透過深度神經網路來做學習對映。

我們在今年的TCDS上的工作，就結合LSTM等技術實現了較好的重建效果，透過演算法自動預測被試者看到的東西。