大模型理解與應(yīng)用研討會在北京大學召開

2024年11月24日，由跨媒體通用人工智能全國重點實驗室與北京大學王選計算機研究所共同主辦的大模型理解與應(yīng)用研討會在北京大學鏡春園 79 號甲多功能教室舉行。北京大學王選計算機研究所趙東巖研究員主持了此次研討會，并致開幕辭。

本次研討會聚焦于大規(guī)模語言模型，對通用人工智能的實現(xiàn)方式，大模型的編解碼方法，大模型價值觀對齊，垂域模型，科學智能大模型以及大模型知識調(diào)用等方向的前沿研究進行了討論與交流，邀請了清華大學孫茂松教授,北京理工大學黃河燕教授，中科院自動化所宗成慶研究員，復旦大學黃萱菁教授，哈爾濱工業(yè)大學秦兵教授，中科院軟件所韓先培研究員等國內(nèi)自然語言處理與大模型相關(guān)領(lǐng)域的優(yōu)秀學者進行了精彩報告，分享了團隊在相關(guān)領(lǐng)域的前沿研究工作、創(chuàng)新成果及發(fā)展趨勢，并與參會者深入探討了大規(guī)模語言模型領(lǐng)域當前面臨的挑戰(zhàn)以及未來的發(fā)展方向。

中科院自動化所宗成慶研究員作題為《大語言模型與腦神經(jīng)編解碼方法探索》的報告。宗成慶研究員首先介紹了為探索腦神經(jīng)編解碼機制而建立的多個數(shù)據(jù)集，揭示了神經(jīng)機制與語言理解之間的聯(lián)系。接著，他展示了一種基于預訓練語言模型的連續(xù)文本神經(jīng)解碼方法，并介紹了一種受腦認知機制啟發(fā)的大語言模型改進方案。宗成慶研究員認為，跨學科的融合，尤其是自然語言處理與神經(jīng)語言學的結(jié)合，將有助于推動相關(guān)科學問題的解決和技術(shù)的突破。

復旦大學黃萱菁教授作題為《面向科學智能的大模型知識拓展與能力增強》的報告。黃萱菁教授指出，盡管大模型通過海量數(shù)據(jù)預訓練存儲了大量知識，但由于其訓練目標僅限于下一個詞的預測，生成式框架下不可避免地存在幻覺現(xiàn)象。黃萱菁教授從知識存儲和認知兩方面分析了大模型知識邊界與幻覺現(xiàn)象的潛在關(guān)聯(lián)，并提出了探測大模型知識邊界的創(chuàng)新方法。此外，黃教授還以垂直領(lǐng)域大模型、數(shù)學推理大模型和智能體大模型為例，探討了如何通過思維鏈、指令微調(diào)、強化學習和自我進化等手段，注入領(lǐng)域知識，增強大模型在處理領(lǐng)域數(shù)據(jù)、理解用戶意圖和進行知識推理方面的能力。

哈爾濱工業(yè)大學秦兵教授作題為《大模型多元價值觀對齊》的報告。秦兵教授指出，隨著大模型在各行業(yè)的廣泛應(yīng)用，價值觀對齊已成為學術(shù)界和產(chǎn)業(yè)界關(guān)注的焦點。報告中，秦兵教授從大模型多元價值觀體系的構(gòu)建、不同層次價值觀的對齊方法，以及不同語言文化和價值觀之間的關(guān)系三個方面進行了深入探討，并進一步介紹了如何在全球化和多元文化背景下，確保大模型能夠有效對齊各種價值觀，促進跨文化和跨語言的理解與合作。

中科院軟件所韓先培研究員作題為《RAG：從外部記憶增強到知識自組織》的報告。韓先培研究員介紹了如何進行RAG實現(xiàn)大模型與外部知識的有效交互的評估，提出了RGB Benchmark作為衡量該交互性能的標準。此外，他還闡述了如何將外部知識轉(zhuǎn)化為參數(shù)化記憶（Self-Retrieval），以及如何按需結(jié)構(gòu)化組織知識（StructRAG）以幫助大模型進行推理。報告的最后，韓研究員分析了RAG技術(shù)當前面臨的挑戰(zhàn)，并展望了其未來的發(fā)展方向。

清華大學孫茂松教授作題為《從圖靈到維納——通用人工智能走向“知行合一”的新探索》的報告。孫茂松教授指出，人工智能從圖靈測試走向維納控制論，標志著其進入了全新的探索階段，智能體技術(shù)正成為OpenAI的核心戰(zhàn)略。報告總結(jié)了大模型的四項關(guān)鍵能力：語言生成、代碼生成、圖文及視頻生成能力，以及3D建模，為智能體技術(shù)的進步奠定了基礎(chǔ)。孫茂松教授還通過可交互數(shù)字人、元社會、RAG、ChatDev及交互式3D具身智能體平臺LEGENT等技術(shù)，探討了智能體的應(yīng)用場景，展望了“知行合一”的人工智能未來。

研討會的最后，趙東巖研究員組織了Panel Disscussion，與參會者一起討論大模型理解與應(yīng)用領(lǐng)域的重點問題。討論期間與會老師同學積極交流，氣氛活躍，提出了眾多深刻的問題并進行有效的探討。

大模型理解與應(yīng)用研討會的召開，旨在深入探討大模型理解與應(yīng)用領(lǐng)域的前沿問題。研討會涵蓋了多個領(lǐng)域的前沿技術(shù)，各位與會嘉賓提出了多個技術(shù)創(chuàng)新與應(yīng)用展望，對于熱點問題進行深入交流，共同展望大模型技術(shù)發(fā)展的未來。

同時，本次研討會為大模型的學術(shù)研究與應(yīng)用推廣提供了寶貴的思想碰撞平臺，推動大模型理解與應(yīng)用的進步與創(chuàng)新。