英特爾為開源注入創新力量 加速AI應用

作為快速增長的計算工作負載，人工智慧（AI）也是英特爾認為將對世界產生變革性影響的超級技術力量之一。然而，資料顯示，有超過一半的AI和資料科學專案無法真正部署到現實應用中，均以失敗告終。海量資料、無法完全相容的裝置加之各異的資料環境，無疑為AI的應用和落地設定了重重關卡。

基於此，秉承推動AI無處不在的美好願景，英特爾全面打造基於大資料AI開源專案BigDL，旨在助力從筆記本到雲，無縫擴充套件大資料 AI。日前，英特爾院士、英特爾大資料技術全球首席技術官戴金權應邀出席 China Apache Hadoop Meetup 2022，並在會上深入解析英特爾如何從如下三個領域著手，創新BigDL，助力開源發展。

打造高可擴充套件性

對資料科學家和開發者而言，高可擴充套件性不僅意味著如何能高效、快速地構建出端到端的分散式資料和AI的流水線，也同樣需要注重基礎架構部署。與理論不同，實踐中的科學家們更關注如何將AI技術應用部署到實際場景，其中包括建模、訓練、推理和對模型的最佳化等全流程，這意味著需要考慮端到端的流水線。基於此，英特爾在底層就開始進行資料切分、模型複製、引數同步等工作，讓資料科學家們能夠有統一的體驗，同時，英特爾亦將大規模分散式的工作透明化、抽象化，讓資料科學家們能夠高效開發AI流水線。而對於基礎架構，英特爾亦透過類似BigDL的專案，為使用者提供統一的大資料AI叢集/基礎架構。在同一個叢集、流水線、工作程式當中，對這些大資料系統進行資料訪問、分散式處理，在同一個流水線裡以記憶體計算的形式進行大規模分散式資料分割，再由這些深度學習、機器學習的系統對其進一步分析。

提升每個節點的效能效率

每當提及AI效能時，大多數人的第一反應是GPU或AI晶片，然而軟體最佳化能夠帶來的AI效能提升卻極易被忽視。英特爾透過軟體層面最佳化，如TensorFlow、PyTorch、MXNet等，可以帶來幾十倍、上百倍的效能提升，能夠更加高效地整合這些軟體。因此，可以認為構建一個免費的AI軟體加速器，在筆記本、CPU叢集上都能夠帶來效能上的極大提升。而且，現如今有大量的現代化CPU加速技術，如記憶體分配、指令集等，將這些技術整合在AI流水線中，也能夠大大提升AI效能。值得注意的是，英特爾不僅透過軟體大幅提升每個節點效能，亦能實現整合過程的透明性，使資料科學家的實操更加便捷。

構建安全可靠的資料處理環境

將AI應用從筆記本擴充套件到諸如雲環境中時，安全也是資料科學家非常關注的另一大問題。對當下大部分應用場景而言，隱私保護機器學習與大資料分析是執行在雲中非常重要的需求。這個安全保障不僅囊括瞭如同態加密、遠端驗證等軟體方面的安全保障，也需要類似可信執行環境等硬體安全保障，如英特爾 SGX技術具備持續增強的安全能力，可在記憶體等硬體中構建一個安全“飛地”，幫助保護程式碼和資料，防止資料在處理期間遭受惡意軟體攻擊和許可權提升型攻擊。因此，基於英特爾 SGX技術打造的BigDL PPML，能夠讓使用者即使沒有處於極度信任的公有或私有云中也仍然可以進行非常安全的資料分析和AI應用。

得益於高擴充套件性、效能提升和安全可靠的特性，BigDL能夠透過端到端大資料人工智慧管道，降低AI的准入門檻，不僅能夠讓資料科學家、工程師等更便捷、簡易地構建大規模分散式人工智慧解決方案，從而加速AI應用和部署，亦有助於挖掘更多AI潛力，為各行業發展注入新動能。