NeurIPS 2018掠影——talk介紹

本次NeurIPS的talk總共有7個：

Laura Gomes ： Accountability and Algorithmic Bias： Why Diversity and Inclusion Matters

這個talk更多的應該是為了照顧“政治正確”的需要，請來的演講者Laura是一位矽谷女性創業者，生於一個拉丁裔的單親家庭，之前在HP、Twitter和YouTube工作過，經歷很勵志也很有代表性。

Laura提到了之前工作時感受到的一些不公平和不公正，舉了一些例子，說明了如果diversity的問題不能很好的解決則將產生有biasd的演算法，然後就是有問題的產品，最終則會導向不道德的技術。平權現在在加州和矽谷強調了很多，作為目前幾乎成為“矽谷聖經”的AI技術，和平權扯上關係，也是讓人毫不意外了。

個人認為普世價值沒有問題，這個問題和環保問題一樣，很多時候是一個優先順序的問題和如何考量的問題（絕對的公平在不同維度下很難做到，在會後有一位element AI的女性僱員問了一個很有意思的問題：“如果同時有一男一女來你的公司應聘，女的比男的聰明很多，如果拒絕了女的，女的可以很容易再找到一個新的工作，如果拒絕了男的，他將很難再找到工作，這個職位現在只能招一個人，這時你會選擇誰？”我覺得這種問題就是沒有絕對正確和公平的答案的……）

Edward W Felten： Machine Learning Meets Public Policy： What to Expect and How to Cope。

如果說上一個talk是“政治正確”的產物的話，這個talk就是直接討論政治了，首先開篇是提到了機器學習和AI的巨大影響已經開始被公眾和政策的制定者們注意到了。然後Edward指出機器學習專家和政策制定者如果能很好的合作，那麼在政策制定領域有很大的發揮空間，他舉了一個法案投票的例子，對於該如何進行憲法修正的提案本質上一個NP難的問題，這個問題如果進行建模的話，是可以最佳化最終的選擇結果的。

Talk討論的重點在於機器學習專家和政策制定者之間如何更好的合作，Edward舉了一個請客吃飯的例子，指出最重要的是要將機器學習專家的知識和政策制定者的知識和偏好充分地結合。

Micheal Levin： What Bodies Think About： Bioelectric Computation Outside the Nervous System， Primtive Cognition， and Synthetic Morphology。

這個talk是我個人認為是比較有意思的一個talk，開篇就開宗明義，講的是在生物學的研究中發現，早在大腦出現之前，生物就已經可以計算了，細菌、植物和單細胞生物都展現出了學習方面的可塑性，身體的決策和記憶能力是以古老的早於神經的細胞間的生物電系統來作為媒介的，探索非神經的認知能力是發展健壯的新AI平臺的一塊巨大的令人興奮的處女地，同時他們在招募機器學習方面的專家和他們一起修復醫學智商進一步研究生物電學。（主要目的是跨場招人）

在這個talk中經常被拿來舉例子的是渦蟲（Planarian），估計這個生物是生物電學裡的明星，因為重生能力太強了，一般的斷肢修復這種就不用提了（包括割下腦袋重生之後還能儲存記憶）。最震撼的例子是在不修改基因的情況下，透過生物電刺激的方式就能讓渦蟲長出兩個腦袋，這簡直就是“肯德基6個翅膀8條腿的雞”的現實版。如果這項研究能推廣到更高等的生物身上去，乃至人類身上，人類的未來真得很難想象……（事實上作者提到已經在哺乳動物身上開始斷肢再生的實驗了，AI和基因學的倫理爭議本來就夠多了，沒想到還有一個生物電學躲在陰暗處默默發育……）

Joelle Pineau： Reproducible， Reusable， and Robust Reinforcement Learning。

這個talk提到了近幾年強化學習領域取得的巨大成果和蓬勃發展，同時也指出現今強化學習研究中的一些亂象。

比如目前許多最新的文章很少提供相應的引數使得實驗可以復現。而當環境和獎勵具有很強的隨機性時，一些方差較大的方法的結果會有很強的隨機性。另外，最終結果也可能因為具體領域或者實驗過程中的小擾動而出現不穩定的情況。Joelle在talk中呼籲大家按照她提供的清單來檢視和要求自己的工作，以使結果更加穩定可重現。

Ayanna Howard： Investigations into the Human-AI Trust Phenomenon。

這個talk關注的點感覺和“政治正確”也有點聯絡，主要關注的是如今智慧系統和人的互動越來越頻繁的情況下，人類可能會延續和人打交道時的習慣而對機器產生類似人一樣的信任關係，由此可能導致低估了服從機器建議或者命令的風險。然後由於系統的學習是透過模仿我們自己的思想過程和隱含偏見來學習的，因此之前的這種bias又會進一步導致信任或者過度信任的潛在風險。

Talk中舉了許多例子，發了很多動畫，包括有一個白人機器人在跳舞，大家會認為機器人在表達開心的情感，但是如果同樣的演算法，把機器人塗成黑色，大家就會覺得機器人在發怒。我覺得長期這個可能是一個課題，但是現在這個問題是否在已有的問題裡重要性很靠前，這個感覺是存疑的。Anyway，本來這些talk也是想講一些更偏前瞻的方向，所以看起來好像也沒毛病。

David Spiegelhalter： Making Algorithms Trustworthy： What Can Statistical Science Contribute to Transparency， Explanation and Validation？

演算法的可信度（就像題目說的那樣：透明度、可解釋性和有效性）目前算學術界的一個的比較明確的方向，之前感受不是很真切，但是這次在NeurIPS上就看到了一些相關的paper，也遇到了幾位研究這個方向的學生，看起來還是有相當一部分人在研究這塊的。（雖然感覺也是有點beyond the technical）。

這個talk主要站在機器學習用在醫學的領域來講可信度的問題。開篇就引用了Onora-O‘Neill（一位以研究信任而聞名的哲學家……從這些引用也可以看出這個方向還是真得蠻形而上的）的話，指出大家的目標不是增加信任而是要把可信程度披露出來。而披露的關鍵不僅要用演算法，還得要把演算法本身也解釋明白。David後面分別講了幾點（例子都很生動，包括泰坦尼克號生還者機率計算的例子和英國失業率報道的例子）：對於評估需要考慮評估質量和影響力，解釋結論的時候需要從多角度去解釋，對於不確定性需要更加自信地向受眾披露和溝通，另外還提到了為什麼很多人認為演算法得出的一些結果不公平（舉了一個健康評估的例子）。

說實話，我覺得這個talk整體還是務虛的風格，不過仔細想了下，至少在醫學領域，這個的確是一個需要關注的問題，比如未來AI診斷系統可以代替專家給出一些診斷結果，患者如何去採信其實是必然會面對的問題，如何做到像目前的西藥驗證試驗那樣讓人足夠信服，是後續醫療上的AI演算法在解決了準確率和召回率之外需要考慮的重要的一點。（雖然感覺前者目前看起來還是更難一些）。

Kunle Olukotun： Designing Computer Systems for Software 2。0。

這個talk是偏計算機底層體系結構的（NeurIPS真得是很有情懷），作者是計算機體系結構領域的一位大牛。

開篇先說了一下目前計算機領域大的趨勢，機器學習的大規模的成功和摩爾定律的減慢，然後解釋了一下software 2。0和software 1。0的不同：1。0是用具體程式語言寫的程式碼，需要專業知識，將專業的問題分解，設計相應演算法，然後組裝進系統。而2。0的核心就是透過最佳化給神經網路的模型引數賦值。（之前我倒是沒想過深度學習能取代所有的傳統軟體演算法。）作者舉了google的language translation的例子（程式碼量從50萬行減到了500行）說明了現在2。0因為各種優點（更容易構建和部署，成千倍以上的生產力，問題經典而集中）正在慢慢取代1。0。

而機器學習的速度和效果需要再提升就會面臨單晶片上摩爾定律的減慢和power wall（一般機器的功率上限），另外還需要解決效能和可程式設計性（或者可擴充套件性）的balance。他給的三個構成了“全棧解決方案”的方法分別是：基於ML演算法的最佳化、專門的程式語言和編譯器、硬體解決方案。在演算法最佳化中，作者舉了SGD演算法的例子，指出在一些類似推理的高準確率要求低精度的場景下（HALP-High Accuracy Low Precision）其實是可以透過最佳化演算法，降低計算所需的位數的，從而在不降低效果的情況下節省效能，後面還給了一批“relax”系列的演算法。專用的語言和編譯器也比較好理解，專門針對機器學習的演算法進行最佳化，建模路徑預測，提升並行度。硬體方面主要提了目前Google已經在做的TPU的嘗試和ASIC design。

最後作者展望了一下未來可能的方向，包括從指令集層面打破並行資料流的瓶頸，動態精度（HALP演算法的發展）等等。有意思的是在提問環節，有人問現在矽谷的硬體start up總共吸引了多少投資，Kunle提到中國和美國都投了很多，至少幾十億美元……