AI 編譯器技術分享會：上海交大/中科院計算所/微軟亞研/智源，他們來了！詳情 - 編譯器,人工智能,深度學習,數據集,機器學習超神經HyperAI 博客

4 場 Meetup、3 個城市、19 位嘉賓、1k+ 行業從業者、累計 100w+ 曝光， 2023 年 AI 編譯器社區小小刷新了一下存在感，我們在非常細分的領域裏找到了最為垂直的開發者和工程師，從 0 到 1 建立起一個個小據點，搭建交流平台、促成企內合作、連通生態上下游。

2024 年雖然已經過半，在大模型持久佔據技術圈「熱搜榜單」的今天，我們將於 7 月 6 日（週六）在中國科學院計算技術研究所， 舉辦 Meet AI Compiler 技術沙龍的第 5 期線下聚會。

本次 Meetup 分為技術分享和圓桌討論兩個環節，嘉賓分別來自上海交通大學、中國科學院計算技術研究所、微軟亞洲研究院、北京智源人工智能研究院，期待新的聚會能為大家帶來新的技術收穫，結交新的同行好友~

活動詳情

⏰ 時間：7 月 6 日（週六）13:30-18:00

地點：北京市海淀區科學院南路 6 號中國科學院計算技術研究所一層報告廳

人數：200（現場座位有限，請儘早報名）

報名：掃描下方二維碼報名

掃碼備註「AI 編譯器」加入活動羣：

議程：

嘉賓及議程

環節 1 分享嘉賓

分享主題： MLCEngine: A Universal LLM Deployment Engine

內容簡介：本次分享將介紹 MLCEngine，一個能夠在不同平台上 Universally Deployment 的 LLM 引擎。 MLCEngine 既在服務器上具備 high-throughput, low-latency 的 LLM serving 能力，同時又支持在各種本地環境下無縫部署當今高質量的大語言模型。

觀看本場分享，你將瞭解：

MLCEngine 的設計理念和使用方式
Universally Deployment 的意義
針對 LLM 推理引擎發展的思考

分享主題： ElasticRoom: Multi-Tenant DNN Inference Engine via Co-design with Resource-constrained Compilation and Strong Priority Scheduling

內容簡介： 運行時軟件中的 GPU 資源劃分機制已廣泛應用於作業調度程序和多租户計算系統，以提高資源利用率和吞吐量。然而，現有的 GPU 資源劃分機制在面臨批量異構 DNN 推理請求的時候無法同時提高 GPU 資源利用率並確保實時請求的低延時。我們提出了一種創新的多租户 DNN 推理引擎 ElasticRoom，它基於 TVM 構建了資源約束編譯並通過優先級調度同時實現高 GPU 利用率和實時請求的低延遲。

觀看本場分享，你將瞭解：

GPU 資源管理與任務調度
基於 TVM 的資源約束編譯

分享主題： 基於塊 (Tile) 抽象的高效深度學習編譯系統

內容簡介： 隨着深度學習算法和硬件的快速發展，業界對高效、快速的模型部署有了更高要求，深度學習編譯器成為了一種新的連接模型計算表達和底層硬件執行的途徑。然而，如何在不同硬件上高效支持快速發展的深度學習應用仍然存在很多挑戰。本次分享將介紹我們基於統一的塊 (Tile) 抽象，在深度學習編譯領域的一系列探索性工作。

觀看本場分享，你將瞭解：

基於塊 (Tile) 抽象的深度學習編譯棧
在深度學習應用場景，如何通過塊 (Tile) 抽象優化全局訪存效率
在深度學習應用場景，如何通過塊 (Tile) 抽象支持低精度深度學習計算

分享主題： 基於 Triton 的大模型算子庫 FlagGems 創新實踐

內容簡介：基於 OpenAI 的 Triton 語言，我們開發了高性能的通用算子庫 FlagGems，為 PyTorch 框架下的大模型提供推理與訓練加速。 針對 Triton 的編程特點，我們應用了運行時優化和自動代碼生成兩項技術創新，拓展了算子的表達能力，提高了算子的性能表現。

觀看本場分享，你將瞭解：

認識 Triton 編程語言，接觸 Triton 開源生態
瞭解 FlagGems 算子庫及其開發進展
瞭解 FlagGems 中應用的運行時優化技術和自動代碼生成技術

環節 2 圓桌環節

圓桌主題： Transformer 時代的跨異構芯片編譯優化

主辦方及合作伙伴

HyperAI超神經是國內領先的人工智能及高性能計算社區， 旨在通過提供數據集加速下載、在線教程演示、論文深度解讀、頂會日曆集成等多種基礎設施，助力中國的數據科學與⼈⼯智能⾏業的開發者、愛好者學習、理解、實踐，與社區⼀起構建⼈⼯智能的未來。目前超神經官網已經上線數千個經典及優質公開數據集和教程，並運營國內最活躍的 AI 編譯器社區，HyperAI超神經也是本系列活動的唯一主辦方。

訪問官網： https://hyper.ai/

OpenBayes貝式計算是國內領先的高性能計算服務提供商， 通過為新一代異構芯片嫁接經典軟件生態及機器學習模型，進而為工業企業及高校科研提供更加快速、易用的數據科學計算產品，其產品已被數十家大型工業場景或頭部科研院所所採用。

訪問官網： https://openbayes.com/

MLC.AI 社區成立於 2022 年 6 月，並由 Apache TVM 主要發明者、機器學習領域著名的青年學者陳天奇，帶領團隊上線了 MLC 線上課程，系統介紹了機器學習編譯的關鍵元素以及核心概念。

2022 年 11 月，在 MLC.AI 社區志願者的共同努力下，首個完整的 TVM 中文文檔上線，併成功託管至 HyperAI超神經官網，進一步為對機器學習編譯感興趣的國內開發者，提供了接觸並學習一門新技術的基礎設置——文檔。

MLC 線上課程： https://mlc.ai/

TVM 中文文檔： https://tvm.hyper.ai/

中國科學院計算技術研究所（簡稱計算所）創建於 1956 年，是中國第一個專門從事計算機科學技術綜合性研究的學術機構。 計算所研製成功了我國第一台通用數字電子計算機，並形成了我國高性能計算機的研發基地，我國首枚通用 CPU 芯片也誕生在這裏。

計算所是我國計算機事業的搖籃。伴隨着計算所的發展，先後為國家培養了幾百名我國最早的計算技術專業人員，在這裏工作或學習過的院士有二十餘位。隨着學科與技術發展，從計算所陸續分離出西安微電子所、計算中心、軟件所、網絡中心、微電子所和信工所等多個研究機構，孵化了聯想、曙光、龍芯、寒武紀等高技術企業。

中國計算機學會高性能計算專業委員會（Technical Committee of HPC ,China Computer Federation 縮寫 CCF TCHPC），於 2005 年經中國計算機學會批准成立，作為中國計算機學會下屬專業委員會，是高性能計算學術研究、組織高性能計算領域學術會議、產學應用服務的權威性機構。

本着「打造學術平台、促進產業交流、推進應用落地、平衡軟硬件生態、服務行業發展、溝通產學研用」原則使命，致力於推進中國高性能計算領域的研究與發展，構建高性能計算學術、產業合作交流平台，對支撐科技發展創新，促進社會進步，增強我國綜合國力和國際競爭力有着不可替代的重要作用和意義。