AI春晚北京召開：發(fā)布國產(chǎn)開源可商用大模型，Sam Altman來演講

金磊 夢晨 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

ChatGPT的熱度還沒減，一場大會又將AI、大模型的注意力推向了新高度。

(資料圖片僅供參考)

因為在國內(nèi)，還從沒有哪個活動能如此“高密度”地匯集眾多傳說中的AI大佬們——

四位圖靈獎得主：Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis；

OpenAI創(chuàng)始人Sam Altman、PaLM-E和RoBERTa等大模型重要工作參與者；

還有張鈸、張宏江等國內(nèi)外AI最前沿領(lǐng)軍人物。

而且LeCun人在法國，即便是在當(dāng)?shù)貢r間凌晨4點，也連接現(xiàn)場在線直播做了演講。

更有意思的是，與LeCun“AI樂觀發(fā)展派”不同，現(xiàn)場更是邀請了MIT教授TegMark，以“謹(jǐn)慎監(jiān)管”的角度做了一番演講。

思想碰撞之激烈可見一斑。

這便是2023北京智源大會，一場堪稱現(xiàn)象級的人工智能學(xué)術(shù)思想盛會。

這次出圈爆火并非意外，回首過去歷年智源大會，年年重磅嘉賓云集，時有一個論壇藏著好幾個圖靈獎的情況。

因為秉承純粹專業(yè)的學(xué)術(shù)思想路線，因此在國內(nèi)外人工智能領(lǐng)域內(nèi)行精英圈層口碑極高，卻對大眾稍顯高冷。

隨著今年人工智能概念的火爆，人們才恍然驚呼——“天花板”原來在這里！

而在今年第五屆大會中，備受關(guān)注的“悟道3.0”，帶來一系列重磅發(fā)布，并且全面開源：

開源“悟道·天鷹（Aquila）”語言大模型系列：首個支持中英雙語知識、商用許可的那種。

發(fā)布“天秤（FlagEval）”大語言評測體系及開放平臺：構(gòu)建“能力-任務(wù)-指標(biāo)”三維評測框架，細粒度刻畫模型的認知能力邊界。

開源“悟道·視界”視覺大模型系列：國際領(lǐng)先成果6連發(fā)，包含性能最強開源CLIP模型EVA-CLIP , 新鮮出爐的多模態(tài)輸入并多模態(tài)輸出的Emu多模態(tài)大模型， 還有一系列與多模態(tài)大模型相關(guān)的發(fā)布。

那么具體效果如何？我繼續(xù)往下一起看。

天鷹、天秤CP出道，高考作文、代碼全hold住

首先，我們來看下悟道·天鷹Aquila語言大模型系列的表現(xiàn)。

對話能力可以說是大語言模型的基本功，但安全性向來是非常關(guān)鍵的一點。

因此，我們直接給悟道·天鷹Aquila語言大模型系列中的 AquilaChat對話模型拋個“狠活”：

如何瞞過安檢帶著炸藥上飛機？

不難看出，悟道·天鷹Aquila直接拒絕作答，是一個“價值觀正確”的大模型了。

若是繼續(xù)咨詢“上飛機注意事項”、“能否帶充電寶”等實用問題，它就會非常詳細地耐心作答。

對話能力過關(guān)，那么創(chuàng)作文章能力又如何？

正值高考，我們讓悟道·天鷹AquilaChat寫一篇高考作文，題目如下：

閱讀下面的材料，根據(jù)要求寫作。

人們因技術(shù)發(fā)展得以更好地掌控時間，但也有人因此成了時間的仆人。

這句話引發(fā)了你怎樣的聯(lián)想與思考？請寫一篇文章要求：選準(zhǔn)角度，確定立意，明確文體，自擬標(biāo)題;不要套作，不得抄襲；不得泄露個人信息；不少于800字。

不難看出，“文字功底”這一塊也輕松通關(guān)，并且不到10秒就能完成這樣一篇不錯的作文。

接下來，我們繼續(xù)來看下文生圖方面的性能。

在我們提出畫一張“唐裝女性肖像圖”、“巨型機器人圖片”等要求時，悟道·天鷹AquilaChat非常實在地回答說：

非常抱歉，我作為一個文本生成模型，并不具備圖像生成能力，但我可以為您嘗試調(diào)用圖像生成API。

據(jù)悉這是AquilaChat 通過定義可擴展的特殊指令規(guī)范，實現(xiàn)通過AquilaChat對其它模型和工具的調(diào)用，且易于擴展。

例如，調(diào)用智源開源的 AltDiffusion 多語言文圖生成模型，實現(xiàn)了流暢的文圖生成能力?？梢钥吹阶詈笊傻膱D片細節(jié)滿滿、符合預(yù)期。

而且不僅是文生圖，AquilaChat 配合智源 InstructFace 多步可控文生圖模型，編輯人臉圖片也是hold得住的。

而且還是將人類復(fù)雜指令先進行多步拆解、按步驟給出中間過程圖片的那種：

最后，悟道·天鷹AquilaChat還可以調(diào)用悟道·天鷹AquilaCode代碼模型的能力，在對話中實現(xiàn)“文本-代碼”生成。

例如直接簡單粗暴地告知一聲“設(shè)計一個簡單的登錄頁面”，它便會啪的一下給出一段代碼，而且也是經(jīng)得住運行的考驗：

加大難度，讓悟道·天鷹Aquila設(shè)計一個時鐘程序，同樣也是可以work：

這便是支持中英雙語知識，且開源、支持商用許可的悟道·天鷹Aquila語言大模型系列所具備的實力。

而它的“打造過程”，也是值得說道說道。

首先，在技術(shù)上，悟道·天鷹Aquila繼承了GPT-3、LLaMA等架構(gòu)在設(shè)計上的優(yōu)點，替換了一批更高效的底層算子并重新設(shè)計實現(xiàn)了中英雙語的tokenizer。

不僅如此，智源團隊還升級了BMTrain并行訓(xùn)練方法，在訓(xùn)練過程中實現(xiàn)了高出Magtron+DeepSpeed ZeRO-2這種方法將近8倍的訓(xùn)練效率。

而且根據(jù)官方的說法，悟道·天鷹Aquila的基礎(chǔ)模型底座是在中英文高質(zhì)量語料基礎(chǔ)上從０開始訓(xùn)練的，通過數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實現(xiàn)了在更小的數(shù)據(jù)集、更短的訓(xùn)練時間里，獲得比其它開源大模型更優(yōu)性能的效果。

悟道·天鷹Aquila語言大模型系列已經(jīng)集成在 FlagAI大模型算法開源項目中，GitHub 地址：

https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila

其次，悟道·天鷹Aquila訓(xùn)練還將“天秤（FlagEval）大語言評測體系及開放平臺”融入了進來。

對大模型的評測工作亦是當(dāng)下AIGC發(fā)展中的一個難點。

因為大模型相比于傳統(tǒng)小模型而言，能力上會更加復(fù)雜，因此評測的模態(tài)、指標(biāo)不可能是單一的，且評測維度會更加分散。

若是能有一個較為完善的評測體系，不僅是能對各種大模型制定統(tǒng)一標(biāo)準(zhǔn)，甚至對于大模型的訓(xùn)練、優(yōu)化也會起到一定作用。

這也就是智源打造天秤大語言評測體系及開放平臺的原因了：

實現(xiàn)從評測結(jié)果到模型能力分析，再到模型能力提升的自動閉環(huán)。

建立科學(xué)、公正、開放的評測基準(zhǔn)、方法、工具集，協(xié)助研究人員全方位評估基礎(chǔ)模型及訓(xùn)練算法的性能，同時探索利用AI方法實現(xiàn)對主觀評測的輔助，大幅提升評測的效率和客觀性。

具體而言，天秤 FlagEval構(gòu)建了“能力-任務(wù)-指標(biāo)”三維評測框架，從非常細節(jié)的維度去刻畫基礎(chǔ)模型的認知能力邊界。目前包括22個主觀和客觀評測數(shù)據(jù)集，以及84433道題目，更多維度的評測數(shù)據(jù)集正在陸續(xù)集成。

天秤還將持續(xù)探索語言大模型評測與心理學(xué)、教育學(xué)、倫理學(xué)等社會學(xué)科的交叉研究，以期更加全面、科學(xué)地評價語言大模型：

不僅如此，它所給出的評測結(jié)果還是可視化的那種。

天秤FlagEval大模型評測平臺已經(jīng)開放注冊申請：

https://flageval.baai.ac.cn/#/

據(jù)了解，目前天秤FlagEval已經(jīng)推出了語言大模型評測、多語言文圖大模型評測及文圖生成評測等工具，并對各種語言基礎(chǔ)模型、跨模態(tài)基礎(chǔ)模型實現(xiàn)評測。

后續(xù)將全面覆蓋基礎(chǔ)模型、預(yù)訓(xùn)練算法、微調(diào)算法等三大評測對象，包括自然語言處理、計算機視覺、音頻及多模態(tài)等四大評測場景和豐富的下游任務(wù)。

視覺成果六連發(fā)

視覺大模型，也是此次北京智源大會的一大亮點，而且還是一口氣展示6項領(lǐng)先成果的那種。

而這些成果也讓智源一步一步向通用視覺邁進。

01、最強十億級視覺基礎(chǔ)模型

首先是視覺基礎(chǔ)模型EVA，它是一種經(jīng)過預(yù)訓(xùn)練的vanilla ViT。

EVA的一大特點便是通過“強強聯(lián)手”的方式達到了在性能上的突破。

具體而言，EVA的整體思路便是將最強語義學(xué)習(xí)（CLIP）與最強幾何結(jié)構(gòu)學(xué)習(xí)（MIM）做結(jié)合，再將標(biāo)準(zhǔn)的ViT模型擴大規(guī)模至10億參數(shù)進行訓(xùn)練。

如此方法之下，EVA在多個視覺任務(wù)中，例如ImageNet分類、COCO檢測分割和Kinetics視頻分類等，均取得了當(dāng)時“最優(yōu)解”。

02、性能最強開源CLIP模型

CLIP全稱Contrastive language-image pre-training，因其作為零樣本學(xué)習(xí)基礎(chǔ)模型所表現(xiàn)出來的優(yōu)異性能而廣受好評。

而智源團隊所提出的EVA-CLIP，可以說是顯著提高了CLIP訓(xùn)練的效率和效果。

EVA-CLIP結(jié)合了表征學(xué)習(xí)、優(yōu)化和增強的新技術(shù)，與以前的CLIP模型相比，在具有相同數(shù)量的參數(shù)情況下，訓(xùn)練成本顯著降低，從而實現(xiàn)了卓越的性能。

具體而言，EVA-CLIP超越了此前最強的OpenCLIP模型，在ImageNet1K零樣本Top1達到最高的82.0%準(zhǔn)確率。

03、首創(chuàng)上下文視覺學(xué)習(xí)路徑

Painter，是智源提出的一種通用視覺模型，它的最大亮點便是首創(chuàng)了上下文視覺學(xué)習(xí)的技術(shù)路徑。

它的核心思想就是將視覺任務(wù)的輸出重新定義為圖像，并將任務(wù)prompt也指定為圖像。

有了這個想法之后，訓(xùn)練過程就變得非常簡單，它在輸入和輸出圖像對的縫合（stitch）上執(zhí)行標(biāo)準(zhǔn)的mask圖像建模。

在推理過程中，可以采用一對來自同一任務(wù)的輸入和輸出圖像作為輸入條件，來指示要執(zhí)行的任務(wù)。

從最終結(jié)果來看，無論是在難度較高的視覺理解任務(wù)，還是相對簡單的圖像處理任務(wù)上，Painter所表現(xiàn)出來的性能都具備一定的競爭力。

04、分割一切的通用視覺模型

基于剛才提到的Painter，智源又在它的基礎(chǔ)上衍生出了可以分割一切的模型——SegGPT。

它是第一個通過視覺prompt完成任意分割任務(wù)的通用視覺模型。

與Painter一樣，SegGPT也具備視覺上下文推理能力——只要給出一個或幾個視覺prompt，模型就能理解用戶意圖，“有樣學(xué)樣”地完成類似分割任務(wù)：

05、零樣本視頻編輯

基于上述圖像方面的工作之后，是否也可以用簡單的prompt，對視頻做處理呢？

為此，智源的團隊專門做了一項研究來攻克這一難題。

他們提出了vid2vid-zero，是一種零樣本視頻編輯方法。

首次在無需額外視頻訓(xùn)練的情況下，利用注意力機制動態(tài)運算的特點，結(jié)合現(xiàn)有圖像擴散模型，實現(xiàn)可指定屬性的視頻編輯。

例如在下面的示例中，僅僅是一句話的事情，便可以秒換掉視頻中的車和背景。

這項研究不僅解決了以往需要龐大計算資源和計算成本的問題，也大幅提升了媒體相關(guān)工作者的生產(chǎn)效率。

06、在多模態(tài)序列中補全一切

前面的分割一切還屬于“判別式AI”范疇，那么現(xiàn)在最熱門的“生成式AI”呢？

最新突破“補全一切”Emu大模型來了，Emu接受多模態(tài)輸入，預(yù)測多模態(tài)輸出，

支持在文字、圖片、視頻多模態(tài)序列間理解、 推理和生成，給任意模態(tài)的輸入組合，都能在序列中補全下一項。

Emu的多模態(tài)上下文學(xué)習(xí)可以實現(xiàn)多輪圖文對話、視頻理解、少樣本圖文理解、文圖生成、圖圖生成和少樣本文圖生成等能力。

這項工作為多模態(tài)大模型打開了更多應(yīng)用場景的可能性。

中國大模型研究啟蒙者

前面介紹的種種大模型成果，其實都是“悟道3.0”體系的組成部分。

悟道項目最早啟動于2020年10月，不到半年就發(fā)布首個成果“悟道1.0”，也是我國首個超大規(guī)模信息智能模型。

又在3個月時間完成更新迭代，發(fā)布當(dāng)時全球最大規(guī)模預(yù)訓(xùn)練模型“悟道2.0”。

從2.0到今天的3.0用了將近兩年，但這并不是因為研發(fā)進展慢了，而是3.0的內(nèi)涵要遠遠超過前者。

“悟道3.0”不僅包括語言、視覺、多模態(tài)等一系列大模型，更是構(gòu)造了一個以大模型為核心的開源生態(tài)——FlagOpen飛智大模型技術(shù)開源體系，包括一站式軟件體系、數(shù)據(jù)處理工具包、一體化評測平臺等。

（FlagOpen開放平臺：https://flagopen.baai.ac.cn/#/home）

至此，智源研究院構(gòu)建了支持多種深度學(xué)習(xí)框架、多種AI芯片系統(tǒng)的大模型開源技術(shù)體系，可以說“悟道3.0”是邁向了全面開源的新階段。

事實上，這是智源研究院自成立之初，就確定的使命之一。

2018年，智源研究院作為人工智能領(lǐng)域的新型研發(fā)機構(gòu)正式成立。

那時和如今的情形正有些相似，世界剛剛被AlphaGo震撼過不久，新一輪AI浪潮剛剛開始。

業(yè)界回望從AlexNet到AlphaGoZero的這段發(fā)展歷程，總結(jié)出“最先進的AI模型計算量每3.4個月翻一番”這樣的共識。

那時“大模型”這個術(shù)語還沒被使用，但“把模型做大”已然是行業(yè)趨勢了。

智源研究院在這次浪潮中成立，并極具戰(zhàn)略眼光地率先開啟大模型研究探索。

成立的前兩年，智源在新型研究機構(gòu)的組織架構(gòu)、人才招募培養(yǎng)、大模型方向的基礎(chǔ)科研方面做了不少鋪墊性工作。

2020年悟道正式立項，2021年3月悟道1.0發(fā)布時，智源研究院正式使用了“大模型”這個詞，這一叫法后來被業(yè)界廣泛采納。

站在今天這個節(jié)點上，如何看待智源研究院在中國大模型研究上的作用和貢獻？

首先，最早系統(tǒng)布局中國大模型研究，到現(xiàn)在已構(gòu)建起一套圍繞大模型的科研體系，目前最主力的大模型研究者多為“智源系”出身，可以說智源研究院是中國大模型研究的啟蒙先行者。

不僅如此，智源研究院還是大模型產(chǎn)業(yè)生態(tài)推動者。通過開源開放，拉動人工智能領(lǐng)域的協(xié)同創(chuàng)新，是智源一直的心愿。

今年年初正式發(fā)布的FlagOpen飛智大模型技術(shù)開源體系，開啟了大模型時代“新Linux”生態(tài)建設(shè)。

FlagOpen（飛智）大模型技術(shù)開源體系是由智源研究院與多家企業(yè)、高校和科研機構(gòu)共建的一站式、高質(zhì)量的大模型開源開放軟件體系，包括大模型算法、模型、數(shù)據(jù)、工具、評測等重要組成部分，旨在建設(shè)大模型領(lǐng)域的“新Linux”。

讓國內(nèi)外開發(fā)者可以快速開啟各種大模型的嘗試、開發(fā)和研究工作，企業(yè)可以低門檻進行大模型研發(fā)。

另外，大模型研究并不是智源研究院的全部，而是大模型、生命智能、AI for Science三大路線都一直在布局。

但為什么是大模型的進展最快，取得了階段性突破？黃鐵軍院長也給出了他的看法：

主要是語言數(shù)據(jù)無論是論文、圖書還是代碼都非常豐富且質(zhì)量高，從海量數(shù)據(jù)中發(fā)現(xiàn)內(nèi)在蘊含的規(guī)律正是大模型的優(yōu)勢。

而人腦可以看成脈沖神經(jīng)網(wǎng)絡(luò)，與今天的大模型有本質(zhì)區(qū)別，想要AI產(chǎn)生類似人腦的能力，光靠大模型一個方向是遠遠不夠的。

從基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)到信號加工機理的類腦智能是一個方向，讓智能體有物理身體與環(huán)境互動的具身智能是另一個方向。

最后，智源還一直積極推動搭建國際AI研究者交流與合作的舞臺。一大批前沿的研究者活躍在智源的各種生態(tài)活動中。

日常有智源社區(qū)、連接國內(nèi)外青年AI學(xué)者的青源會等線上線下相結(jié)合的交流活動。

一年一度的智源大會，更是面向?qū)I(yè)精英人群、關(guān)注度最高的AI行業(yè)大會。

從2019年首屆智源大會開始，每屆都不乏圖靈獎得主和學(xué)術(shù)大咖、行業(yè)關(guān)鍵人物參與。

就拿深度學(xué)習(xí)三巨頭來說，Bengio在2021年智源大會主會場介紹的System2機器學(xué)習(xí)理論最新進展，如今以“思維鏈”的形式應(yīng)用在了大模型提示工程領(lǐng)域。

今年智源大會同時請來了LeCun及Hinton，但其實背后還有一個小插曲。

第三屆時Hinton本來也打算參加，但就在大會前幾天，他突然發(fā)現(xiàn)準(zhǔn)備分享的新方法里出現(xiàn)bug，只能遺憾取消。

除三巨頭之外，還有多位圖靈獎得主到過智源大會做客，包括貝葉斯網(wǎng)絡(luò)提出者Judea Pearl、RISC-V掌門人David Patterson，數(shù)據(jù)結(jié)構(gòu)大師John Hopcroft更是任智源學(xué)術(shù)顧問委員會委員。

此外也不乏重點領(lǐng)域頂尖專家，如LSTM之父Jürgen Schmidhuber、信息安全領(lǐng)域泰斗Adi Shamir、腦成像領(lǐng)域權(quán)威Karl Friston……

量子位讀者中有不少AI行業(yè)從業(yè)者和相關(guān)專業(yè)學(xué)生，說起智源大會的印象都是“良心活動”以及“學(xué)術(shù)追星現(xiàn)場”。

為什么這么多專家學(xué)者都愿意到智源大會來做學(xué)術(shù)交流？

不同于商業(yè)活動，在智源大會上不需要牽扯各種現(xiàn)實因素，只是每一個專家從專業(yè)角度進行交流，更中立、純粹。

也不同于學(xué)術(shù)會議聚焦在一篇一篇的點狀論文上，參加智源大會可以從更宏觀、全局層面來一場頂級的觀點碰撞。

對此，黃鐵軍院長總結(jié)到：

這種形態(tài)的會議，對整個人工智能生態(tài)發(fā)展也可以起獨特的作用。

越純粹，越中立，越開放，越有利于大家更好的把握這樣的一個高速發(fā)展的時代。

今年的智源大會延續(xù)了之前的風(fēng)格，但又因為AI發(fā)展到新的階段而受到全社會矚目。

議程設(shè)置上也聚焦大模型、多模態(tài)、生成模型，AI安全倫理問題和風(fēng)險防范等最新話題展開。

同時也有自動駕駛、生命科學(xué)等等專業(yè)細分領(lǐng)域等百場報告研討。

感興趣的朋友可以戳下方鏈接進行參與：

https://2023.baai.ac.cn/schedule