2021年1月11日，北京智源人工智能研究院發(fā)布面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型“文匯”，旨在探索解決當(dāng)前大規(guī)模自監(jiān)督預(yù)訓(xùn)練模型不具有認(rèn)知能力的問(wèn)題，這一項(xiàng)目由智源研究院發(fā)起的“悟道”攻關(guān)團(tuán)隊(duì)完成。

“文匯”模型不僅使用數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)建構(gòu)預(yù)訓(xùn)練模型，還將用戶行為、常識(shí)知識(shí)以及認(rèn)知聯(lián)系起來(lái)，主動(dòng)“學(xué)習(xí)”與創(chuàng)造。本次發(fā)布的“文匯”模型與1月初OpenAI剛剛發(fā)布的DALL·E和CLIP這兩個(gè)連接文本與圖像的大規(guī)模預(yù)訓(xùn)練模型類似，“文匯”模型能夠?qū)W習(xí)不同模態(tài)(文本和視覺(jué)領(lǐng)域?yàn)橹?之間的概念，可以實(shí)現(xiàn)“用圖生文”等任務(wù)，具有一定的認(rèn)知能力。“文匯”模型參數(shù)規(guī)模達(dá)113億，僅次于DALL·E模型的120億參數(shù)量，是目前我國(guó)規(guī)模最大的預(yù)訓(xùn)練模型，并已實(shí)現(xiàn)與國(guó)際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑。

智源研究院學(xué)術(shù)副院長(zhǎng)、清華大學(xué)計(jì)算機(jī)系唐杰教授認(rèn)為，GPT-3等超大型預(yù)訓(xùn)練模型在處理復(fù)雜的認(rèn)知推理任務(wù)上，例如開(kāi)放對(duì)話、基于知識(shí)的問(wèn)答、可控文本生成等，結(jié)果仍然與人類智能有較大差距。智源研究院院長(zhǎng)、北京大學(xué)信息技術(shù)學(xué)院黃鐵軍教授指出，“文匯”模型針對(duì)性地設(shè)計(jì)了多任務(wù)預(yù)訓(xùn)練的方法，可以同時(shí)學(xué)習(xí)文→文、圖→文以及圖文→文等多項(xiàng)任務(wù)，實(shí)現(xiàn)對(duì)多個(gè)不同模態(tài)的概念理解。經(jīng)過(guò)預(yù)訓(xùn)練的“文匯”模型不需要進(jìn)行微調(diào)就可以完成“用圖生文”等任務(wù)，對(duì)模型進(jìn)行微調(diào)則可以靈活地接入如視覺(jué)問(wèn)答、視覺(jué)推理等任務(wù)。

“文匯”模型應(yīng)用即將上線

目前，“文匯”已支持基于認(rèn)知推理的多種自然語(yǔ)言及跨模態(tài)應(yīng)用任務(wù)，部分應(yīng)用即將與搜狗、阿里巴巴、學(xué)堂在線、智譜.AI、循環(huán)智能等機(jī)構(gòu)合作上線。目前已有四個(gè)樣例應(yīng)用可用于展示模型效果。

(一)基于上傳圖片的開(kāi)放域問(wèn)答

本應(yīng)用基于圖片文本的多模態(tài)認(rèn)知預(yù)訓(xùn)練百億模型，可以支持用戶上傳圖片后，針對(duì)圖片內(nèi)容進(jìn)行提問(wèn)或生成圖片的一句話描述。如上傳圖片后詢問(wèn)“圖片中的電腦在水杯的什么位置?”或“生成對(duì)應(yīng)商品圖片的一句話描述”。將于未來(lái)大規(guī)模應(yīng)用于阿里的電商場(chǎng)景。

(二)Talk to Data，用語(yǔ)言操作數(shù)據(jù)可視化

本應(yīng)用基于數(shù)據(jù)可視化技術(shù)，通過(guò)將自然語(yǔ)言轉(zhuǎn)化為可視化查詢語(yǔ)句，從而達(dá)到“上傳圖表，輸入指令，輸出可視化圖像”的功能目標(biāo)。只需要一句自然語(yǔ)言的話，就可以實(shí)現(xiàn)數(shù)據(jù)的可視化自動(dòng)統(tǒng)計(jì)與查詢。

(三)基于預(yù)訓(xùn)練語(yǔ)言模型的詩(shī)詞創(chuàng)作應(yīng)用

本應(yīng)用可以基于輸入的詩(shī)歌題目、朝代、作者，生成仿古詩(shī)詞。與傳統(tǒng)基于規(guī)則或監(jiān)督學(xué)習(xí)的詩(shī)歌生成不同，這個(gè)應(yīng)用創(chuàng)作的詩(shī)歌來(lái)自于自然語(yǔ)言的生成，且無(wú)標(biāo)注數(shù)據(jù)進(jìn)行fine-tune，并且可以模仿任意詩(shī)人創(chuàng)作任意新穎題目的詩(shī)歌。

下面是基于模型自動(dòng)作詩(shī)的結(jié)果：

贈(zèng)抗疫英雄

君王歌里贈(zèng)英雄，百萬(wàn)雄師劈毒煙。

況是人民勤努力，更加眾志與國(guó)捐。

團(tuán)結(jié)團(tuán)結(jié)再團(tuán)結(jié)，萬(wàn)眾一心戰(zhàn)瘟神。

沔水橋邊香霧起，暗送瘟神過(guò)漢陽(yáng)。

(四)可控人設(shè)的開(kāi)放域問(wèn)答

本應(yīng)用支持用戶上傳問(wèn)題，并生成具有人物角色風(fēng)格的定制化文本回答。與傳統(tǒng)的開(kāi)放式問(wèn)答不同，“文匯”模型生成的答案具有人設(shè)的語(yǔ)言特色，問(wèn)答內(nèi)容趣味橫生。目前該應(yīng)用將計(jì)劃在搜狗的問(wèn)答場(chǎng)景中使用。

“悟道”項(xiàng)目下一步研發(fā)計(jì)劃

目前，“悟道”項(xiàng)目研究團(tuán)隊(duì)正在視覺(jué)等更廣泛的范圍內(nèi)，對(duì)大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法開(kāi)展探索研究，已經(jīng)啟動(dòng)了四類大規(guī)模預(yù)訓(xùn)練模型研制，包括“文源”(以中文為核心的超大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型)、“文匯”(面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型)、“文瀾”(超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型)和“文溯”(超大規(guī)模蛋白質(zhì)序列預(yù)訓(xùn)練模型)。2020年11月14日，智源研究院已發(fā)布了“文源”(以中文為核心的超大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型)第一階段26億參數(shù)規(guī)模的中文語(yǔ)言模型。下一步，智源研究院將聯(lián)合優(yōu)勢(shì)單位加快四類大規(guī)模預(yù)訓(xùn)練模型的研發(fā)進(jìn)度。特別是“文匯”模型，未來(lái)將著力在多語(yǔ)言、多模態(tài)條件下，提升完成開(kāi)放對(duì)話、基于知識(shí)的問(wèn)答、可控文本生成等復(fù)雜認(rèn)知推理任務(wù)的能力，使其更加接近人類水平。計(jì)劃在今年6月實(shí)現(xiàn)“中文自然語(yǔ)言應(yīng)用系統(tǒng)”“基于圖文增強(qiáng)和知識(shí)融入的圖文應(yīng)用系統(tǒng)”“基于認(rèn)知的復(fù)雜認(rèn)知系統(tǒng)”等一批各具特色的超大規(guī)模預(yù)訓(xùn)練模型，以期達(dá)到對(duì)國(guó)際領(lǐng)先AI技術(shù)的趕超，盡快實(shí)現(xiàn)我國(guó)在國(guó)際AI前沿技術(shù)研究的領(lǐng)跑。

關(guān)鍵詞： 超大規(guī)模新型預(yù)訓(xùn)練模型