每經(jīng)編輯 李澤東

2月20日晚，據(jù)復旦大學自然語言處理實驗室消息，國內(nèi)第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發(fā)布至公開平臺，邀公眾參與內(nèi)測。

市場方面，復旦復華(600624)21日開盤即漲停，收報6.78元，總市值46.42億元。

【資料圖】

復旦復華隨后表示，MOSS為復旦大學研發(fā)，與公司無關(guān)。目前公司的主營業(yè)務為生物醫(yī)藥、軟件和園區(qū)三大板塊，未參與MOSS研發(fā)。

據(jù)了解，MOSS可執(zhí)行對話生成、編程、事實問答等一系列任務，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。這條路徑的走通，為國內(nèi)學術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗,將助力大語言模型的進一步探索和應用。

據(jù)悉，MOSS開發(fā)的過程也包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。不同之處在于，復旦團隊采用了不同的技術(shù)路線，通過讓MOSS和人類以及其他對話模型都進行交互，顯著提升了學習效率和研發(fā)效率，短時間內(nèi)就高效完成了對話能力訓練。

2月20日，復旦團隊發(fā)布國內(nèi)首個類ChatGPT模型MOSS，復旦MOSS公開后，引起不少網(wǎng)友關(guān)注，由于瞬時訪問壓力過大，MOSS服務器昨晚還被網(wǎng)友擠崩潰了。

2月21日，MOSS官網(wǎng)發(fā)布公告稱，MOSS還是一個非常不成熟的模型，距離ChatGPT還有很長的路需要走。我們一個學術(shù)研究的實驗室無法做出和ChatGPT能力相近的模型，MOSS只是想在百億規(guī)模參數(shù)上探索和驗證ChatGPT的技術(shù)路線，并且實現(xiàn)各種對話能力?！拔覀冏畛醯南敕ㄖ皇窍雽OSS進行內(nèi)測，以便我們可以進一步優(yōu)化，沒有想到會引起這么大的關(guān)注，我們的計算資源不足以支持如此大的訪問量，并且作為學術(shù)團隊我們也沒有相關(guān)的工程經(jīng)驗，給大家造成非常不好的體驗和第一印象，在此向大家致以真誠的歉意?！惫孢€解釋名稱源于《流浪地球》。據(jù)了解，在MOSS完成初步驗證后，團隊會將MOSS的經(jīng)驗、代碼、模型參數(shù)開源供大家參考。

根據(jù)復旦大學計算機科學技術(shù)學院官網(wǎng)的介紹，邱錫鵬教授于復旦大學獲得理學學士和博士學位。研究方向為自然語言處理、深度學習，發(fā)表CCF-A/B類論文70余篇。主持開發(fā)了開源自然語言處理工具FudanNLP、FastNLP，獲得了學術(shù)界和產(chǎn)業(yè)界的廣泛使用。指導學生多次獲得中國人工智能學會優(yōu)博、中國中文信息學會優(yōu)博、微軟學者、百度獎學金、上海市計算機學會優(yōu)博等。

邱錫鵬的研究方向是，圍繞自然語言處理的機器學習模型構(gòu)建、學習算法和下游任務應用，包括：自然語言表示學習、預訓練模型、信息抽取、中文NLP、開源NLP系統(tǒng)、可信NLP技術(shù)、對話系統(tǒng)等。

邱錫鵬的知乎賬號顯示，他于2月21日凌晨關(guān)注了問題“復旦團隊發(fā)布國內(nèi)首個類ChatGPT模型MOSS，將為國內(nèi)大語言模型的探索和應用帶來哪些影響?”，但未做任何回復。

圖片來源：平臺截圖

據(jù)上觀新聞，邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國內(nèi)科研團隊有能力克服技術(shù)上的重要挑戰(zhàn)?！盡OSS研發(fā)項目得到了上海人工智能實驗室的有力支持。后期，這項工作將通過開源方式和業(yè)界社區(qū)分享。

每日經(jīng)濟新聞綜合公開資料、上觀新聞、MOSS官網(wǎng)

關(guān)鍵詞： 自然語言處理 語言模型