近日，一款名為“元乘象 Chatlmg”的國產(chǎn) AI 模型吸引了眾多關(guān)注。它不僅支持文字聊天，還能看懂圖片上的內(nèi)容并根據(jù)圖片內(nèi)容回答問題。

據(jù)了解，“元乘象 Chatlmg”上線后十分火爆，關(guān)注微信公眾號“元乘象”就可以體驗該應(yīng)用。元乘象Chatlmg初體驗

如果給你一幅名畫圖片，可以想象一下，如果不知道這幅畫的名字，我們要怎么才能得到這些答案？首先，我們要把圖片輸入搜索引擎，從而根據(jù)匹配結(jié)果得到畫的名字，然后再拿著這個名字去搜想知道的信息。而且這些信息可能以大篇幅的形式彈出，需要你自己去找感興趣的段落。而借助“元乘象 Chatlmg”，我們只需要上傳圖片、提問題就可以了。

給“元乘象 Chatlmg”一張油畫的圖像，它可以迅速識別出圖片內(nèi)容是梵高的《星夜》，并做出鑒賞和評判。

甚至，它還能根據(jù)圖片編個故事，而且編的故事往往比較積極、陽光。如果你想聊聊藝術(shù)，“元乘象 Chatlmg”也能陪你聊，并告訴你藝術(shù)品背后的故事。

Chatlmg有一些對于生活比較實用的功能，比如美食建議，給出一些食材，它給出的建議，已經(jīng)是“美食達人”的水準。

“元乘象 Chatlmg”的這些能力不止可以用來閑聊，還可以用來寫各類建議、商品文案、旅游宣傳詞…… 這些都是可以商業(yè)變現(xiàn)的場景。

雖然結(jié)果可能不能直接拿來用，但用作參考還是很實用的。

當然，如果你對結(jié)果不滿意，還可以要求“元乘象 Chatlmg”重寫，完整體驗做甲方的感覺。

此外，我們還在測試過程中發(fā)現(xiàn)了一些有趣的現(xiàn)象。比如，如果“元乘象 Chatlmg”僅根據(jù)圖像和文字線索回答不出你的問題，它會讓你幫忙提供更多信息。在增加信息之后，它有可能給出正確答案。

此外，Chatlmg還有交往建議、穿搭建議、秒懂情緒、美食點評、藝術(shù)品鑒賞等一系列新潮、好玩、實用的功能應(yīng)用。

背后的技術(shù)與團隊

如今，大模型在 NLP 任務(wù)中取得了成功的應(yīng)用。但真實世界的數(shù)據(jù)模態(tài)是多樣的。在通用人工智能的發(fā)展過程中，多模態(tài)感知極為重要的一環(huán)，也是解鎖大模型技術(shù)應(yīng)用的關(guān)鍵。

據(jù)了解，“元乘象 Chatlmg”就是搭載了自研的百億級別參數(shù)多模態(tài)大模型，從而能讓我們像體驗的那樣能感知圖片并進行對話。

簡單介紹來說，目前元乘象 Chatlmg 大模型參數(shù)規(guī)模大概 150 億；數(shù)據(jù)方面目前主要是圖文對數(shù)據(jù)、VQA 數(shù)據(jù)等。而在訓(xùn)練過程中，該模型放開盡量少的可學(xué)習(xí)參數(shù)，從而保證在有限算力上的高效訓(xùn)練。

未來，除了當下的圖文互動外，該模型還將集成圖片生成的能力并加入視頻、音頻等多種模態(tài)，甚至與數(shù)字人等技術(shù)結(jié)合，開發(fā)出更生動立體的形象。

盧志武教授

值得一提的是，這個好玩的應(yīng)用來自中國人民大學(xué)高瓴人工智能學(xué)院教授盧志武帶領(lǐng)的團隊。盧志武教授曾主導(dǎo)設(shè)計了首個公開的中文通用圖文預(yù)訓(xùn)練模型文瀾 BriVL，并發(fā)表于 Nature Communications。該模型經(jīng)過6.5億弱相關(guān)中文圖文對的預(yù)訓(xùn)練，學(xué)習(xí)到獨特的中文語義理解能力并能很好地將中文語義與視覺信息聯(lián)系起來，尤其擅長讀取中文獨有的含蓄語義與圖片中的抽象概念。

免責(zé)聲明：市場有風(fēng)險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：