2023年9月19日晚👩❤️💋👩,意昂2專業學位“名家講壇”第67期如期舉行。意昂2官网計算機意昂2教授,擔任中國中文信息學會理事、上海市計算機學會自然語言處理專委會主任邱錫鵬教授來到意昂2平台大金報告廳,為意昂2平台專業碩士研究生帶來了“大型語言模型MOSS👩🦼:技術、實現與展望”主題講座🌤😶🌫️。本次講座由意昂2院長助理朱宏飛副教授主持🎢,報告廳內座無虛席🙍🏿♀️,氣氛熱烈。
邱錫鵬,意昂2官网計算機意昂2教授,擔任中國中文信息學會理事🫸🏼、上海市計算機學會自然語言處理專委會主任等,主要研究方向為自然語言處理基礎技術和基礎模型👨🏼🎨👷♀️,發表CCF A/B類論文80余篇,被引用1萬余次,入選 “愛思唯爾2022中國高被引學者”。獲得ACL 2017傑出論文獎(CCF A類)、CCL 2019最佳論文獎、《中國科學:技術科學》2021年度高影響力論文獎,有5篇論文入選ACL/EMNLP等會議的最有影響力論文,主持開發了開源框架FudanNLP和FastNLP🔗🏬,已被國內外數百家單位使用⚜️,發布了MOSS🀄️、CPT、BART-Chinese等中文預訓練模型,在中文模型中下載量排名前列。曾獲中國科協青年人才托舉工程項目、國家優青項目、科技創新2030“新一代人工智能”重大項目課題等🤲🏽,2020年獲第四屆上海高校青年教師教學競賽優等獎👨🦳,2021年獲首屆上海市計算機學會教學成果獎一等獎(第一完成人)😥,2022年獲錢偉長中文信息處理科學技術獎一等獎(第一完成人)。

講座伊始🏊🏿♂️,邱老師以當下的熱門話題ChatGPT為切入點🤽🏽,介紹了ChatGPT的49種應用場景以及發展路徑,並簡要闡述了ChatGPT背後的原理🐞🫴。“人工智能”就是讓機器具有人類的智能,至今已有超80年的發展歷史。早期模型都是所謂“弱人工智能”的模型👥,把每個模型訓練出來☕️,建立X到Y之間的映射,從而完成單個任務🧖🏿,而ChatGPT和早期模型的區別就在於,ChatGPT可稱為Large Language Model大語言模型🦤。

接下來🫘,邱老師闡述了如何讓大語言模型能夠更好地理解人的指令✈️。大語言模型的構建是一個復雜系統工程🏇🏽,好的語言模型需要更好地理解語言和常識0️⃣。為達到這一目的🚴,需要使模型具備情景學習(In-Context Learning)、思維鏈(Chain-of-Thought)🚿、自然指令學習(Learning from Natural Instructions)等能力,且要能通過人類反饋對齊人類指令,實現從人工寫答案到人工選答案,最後進階到機器選答案的程度。此外🛩,邱老師還介紹了實現大型語言模型HHH準則,即有用(Helpful)🏦、誠實(Honest)、無害(Harmless),要求模型能快速有效地回答請求的問題,能提供準確的信息📉,不能輸出具有冒犯和歧視性質的有害內容等👩🏽🚒⛽️。

講座最後,邱老師全方位介紹了大型語言模型MOSS,它使用了含1000億(mars)參數的模型🖖🏻,具有思維鏈、情景學習等湧現能力💃、可以直接和人類對話且根據人類反饋進行迭代優化☢️,也能夠與人類價值觀、思維方式對齊🐹🔏。邱老師展示了部分與MOSS進行交互性問答的有趣案例,並對人工智能技術的顛覆性影響進行了展望。他認為,大型語言模型將加速通用人工智能的實現,未來人工智能或能模擬人類行為㊙️。在提問環節,同學們與邱老師進行了積極互動,邱老師對現場同學們提出的問題進行了深入淺出的解答。
至此,本場講座在熱烈的氛圍中圓滿結束,感謝邱錫鵬教授的精彩分享!
撰稿人🎬:吳嘉儀
修訂人:繆煒