大模型，作為人工智能領(lǐng)域的革新先鋒，正引領(lǐng)著一場深刻的技術(shù)變革，其影響力已超越技術(shù)范疇，預(yù)示著人工智能、科學(xué)探索乃至人類社會(huì)的全面重塑。在全球科技競賽中，大模型成為各國爭奪焦點(diǎn)，戰(zhàn)略地位堪比20世紀(jì)的太空競賽，開啟大國科技新角逐。因此，深入了解大模型的各個(gè)方面變得尤為重要。

大模型的誕生、發(fā)展與應(yīng)用

大模型，是一類基于深度學(xué)習(xí)架構(gòu)、在海量數(shù)據(jù)上訓(xùn)練、能夠處理多種任務(wù)的基礎(chǔ)模型。與傳統(tǒng)AI模型相比，其顯著特征在于參數(shù)量大、數(shù)據(jù)量大、計(jì)算量大，是多重技術(shù)交叉融合的產(chǎn)物。其前身是歷經(jīng)數(shù)十年研究的語言模型，廣泛應(yīng)用于機(jī)器翻譯、語音識(shí)別等領(lǐng)域。隨著神經(jīng)網(wǎng)絡(luò)的再次興起，2000年神經(jīng)語言模型誕生，隨后2017年神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer橫空出世，融合了神經(jīng)語言模型、機(jī)器翻譯、序列建模及分布式技術(shù)。這一系列創(chuàng)新及對(duì)AI通用和泛化能力的追求推動(dòng)了GPT系列的快速發(fā)展，從2018年至2020年，GPT一至三代相繼問世。2022年，ChatGPT憑借其卓越性能，將大模型推向公眾視野，成為AI發(fā)展的新里程碑。

大模型作為新興而迅速發(fā)展的技術(shù)，已跨越至多模態(tài)領(lǐng)域，涵蓋語言、語音、視覺等，并細(xì)化為通用、行業(yè)及任務(wù)特定模型，其在信息交互上的創(chuàng)新尤為顯著，引入了長上下文窗口（大模型能夠編碼的最長序列）、檢索增強(qiáng)及智能體等機(jī)制，極大增強(qiáng)了信息處理能力。這一技術(shù)不僅豐富了數(shù)字世界的應(yīng)用場景，如聊天機(jī)器人、AIGC等，還延伸至無人駕駛、人形機(jī)器人等物理世界領(lǐng)域，展現(xiàn)出強(qiáng)大的賦能潛力。在科學(xué)研究中，大模型不僅輔助工程設(shè)計(jì)、技術(shù)創(chuàng)新等應(yīng)用科學(xué)，更推動(dòng)基礎(chǔ)科學(xué)探索，加速了自動(dòng)化、智能驅(qū)動(dòng)的科學(xué)研究新范式的形成?？梢哉f，大模型既支撐了高端科學(xué)研究，也助力了傳統(tǒng)產(chǎn)業(yè)的轉(zhuǎn)型升級(jí)與降本增效?！?023企業(yè)數(shù)字化年度指南》調(diào)研數(shù)據(jù)顯示，超過63%的企業(yè)視大模型與AIGC技術(shù)為戰(zhàn)略資源，首要目的在于降本增效，廣泛應(yīng)用于研發(fā)創(chuàng)新、辦公效率提升、客戶服務(wù)、市場營銷等多個(gè)領(lǐng)域。同時(shí)，大模型在工業(yè)設(shè)計(jì)、芯片設(shè)計(jì)、人形機(jī)器人等多個(gè)行業(yè)的應(yīng)用案例也充分證明了其廣闊的應(yīng)用前景與市場潛力，正逐步成為推動(dòng)社會(huì)進(jìn)步與產(chǎn)業(yè)升級(jí)的重要力量。

大模型背后的關(guān)鍵技術(shù)

是什么造就了大模型如此強(qiáng)大的能力？從大模型的發(fā)展實(shí)踐看，其背后有三項(xiàng)關(guān)鍵技術(shù)。

一是大模型底層的神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer。Transformer最初提出主要是為了解決序列建模中的循序計(jì)算問題，即只有前面的詞元（自然語言處理中的最小語義單位）計(jì)算后才能計(jì)算后面的詞元。循序計(jì)算極大束縛了模型的并行計(jì)算能力，使得語言模型、機(jī)器翻譯等序列模型難以大規(guī)模擴(kuò)展。Transformer架構(gòu)巧妙地利用了自注意力機(jī)制，不僅大幅度提升了模型的并行計(jì)算能力，而且顯著提升了模型的長距離依存關(guān)系建模能力（語言模型的關(guān)鍵挑戰(zhàn)）。并行計(jì)算能力使Transformer可以在大規(guī)模數(shù)據(jù)上進(jìn)行快速訓(xùn)練，而長距離依存建模能力極大強(qiáng)化了Transformer對(duì)語言等序列數(shù)據(jù)內(nèi)部復(fù)雜依存關(guān)系的學(xué)習(xí)和表征能力。兩項(xiàng)能力的疊加，使Transformer開啟了“后臨詞元預(yù)測”范式模擬人類智能的大門。

二是基于自監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練技術(shù)及擴(kuò)展法則。Transformer雖然具有強(qiáng)大的并行計(jì)算和表征能力，但要使其學(xué)習(xí)和模擬人類智能還需要解決兩個(gè)重要問題：如何將人類多樣化的智能統(tǒng)一表征，如何訓(xùn)練模型使其高效學(xué)習(xí)人類智能。針對(duì)第一個(gè)問題，GPT將各類任務(wù)統(tǒng)一表示為生成式問題，無論是寫作、翻譯、問答等典型生成式問題，還是推理、規(guī)劃、問題求解等非典型生成式任務(wù)，都?xì)w聚到生成式AI的統(tǒng)一框架中，在這個(gè)統(tǒng)一框架中，基于后臨詞元預(yù)測的語言模型成為天然的技術(shù)路線。統(tǒng)一表征不僅使AI不需要為不同任務(wù)設(shè)計(jì)不同的模型（傳統(tǒng)弱人工智能模式），而且還極大提升了AI模型在不同任務(wù)間的遷移能力、泛化能力。對(duì)于第二個(gè)問題，語言模型的后臨詞元預(yù)測模式使自監(jiān)督學(xué)習(xí)成為模型訓(xùn)練的首選，在可大規(guī)模獲取的人類語言數(shù)據(jù)上，后臨詞元本身就存在，因此模型可以充當(dāng)自己的“教師”，采用“教師強(qiáng)制”方式進(jìn)行自監(jiān)督訓(xùn)練。區(qū)別于傳統(tǒng)人工智能有限的有監(jiān)督數(shù)據(jù)，自監(jiān)督數(shù)據(jù)規(guī)模龐大且易于獲取。這不僅使模型可以學(xué)習(xí)豐富的人類知識(shí)，同時(shí)也要求模型的容量（參數(shù)量）足夠大。在給定算力規(guī)模前提下，如何選擇模型的參數(shù)規(guī)模及訓(xùn)練數(shù)據(jù)規(guī)模，使模型能訓(xùn)練到最優(yōu)性能？業(yè)界經(jīng)過反復(fù)實(shí)踐，總結(jié)出了擴(kuò)展法則，用以指導(dǎo)模型與數(shù)據(jù)規(guī)模的協(xié)同擴(kuò)展。

三是后訓(xùn)練階段的精調(diào)和對(duì)齊技術(shù)。經(jīng)過預(yù)訓(xùn)練的大模型，如同學(xué)習(xí)了大量知識(shí)和百般武藝的“學(xué)生”，但不知該如何運(yùn)用。為了解鎖預(yù)訓(xùn)練模型的知識(shí)和能力，通常需要進(jìn)行后訓(xùn)練，即采用少量的有監(jiān)督數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型進(jìn)行精調(diào)，使其能夠理解人類的意圖，遵循人類的指令，對(duì)齊人類的價(jià)值觀。業(yè)內(nèi)目前廣泛采用的后訓(xùn)練，通常包括兩個(gè)主要部分：有監(jiān)督精調(diào)（模仿學(xué)習(xí)人類給出的示范樣例）及人類反饋強(qiáng)化學(xué)習(xí)（基于人類反饋的偏好數(shù)據(jù)進(jìn)行強(qiáng)化學(xué)習(xí)）。后訓(xùn)練的成本通常遠(yuǎn)小于預(yù)訓(xùn)練成本，同時(shí)，后訓(xùn)練也是解鎖模型能力、保障模型智能向善的關(guān)鍵階段，因此，業(yè)界對(duì)后訓(xùn)練寄予厚望。

大模型的突破點(diǎn)與創(chuàng)新方向

模型架構(gòu)、預(yù)訓(xùn)練與后訓(xùn)練，既是大模型的關(guān)鍵所在，也是未來重點(diǎn)突破的方向。Transformer架構(gòu)雖潛力強(qiáng)大，但其是否為最優(yōu)的智能學(xué)習(xí)架構(gòu)尚待驗(yàn)證，能否承載全部的智能學(xué)習(xí)任務(wù)亦存爭議。預(yù)訓(xùn)練領(lǐng)域，高昂成本促使我們尋求更高效的數(shù)據(jù)學(xué)習(xí)方法，同時(shí)，模型規(guī)模與性能間的最優(yōu)平衡，以及模型、數(shù)據(jù)與計(jì)算三者間的理論關(guān)系，亦需深入探索。后訓(xùn)練領(lǐng)域，是否存在新的方法，偏好數(shù)據(jù)是否真能代表人類意圖和價(jià)值傾向，預(yù)訓(xùn)練+后訓(xùn)練是訓(xùn)練現(xiàn)有架構(gòu)的最優(yōu)模式嗎？這些都是值得思考和亟待突破的地方。

除此之外，還有四個(gè)重要研究方向有待深入探索（與以上三個(gè)方向存在一定的交叉），其突破可能關(guān)系到大模型能否躍遷到人工智能的新階段。一是類人推理能力。大模型的推理能力有待進(jìn)一步加強(qiáng)，復(fù)雜問題的類人推理能力是大模型現(xiàn)階段最期待的突破方向之一。二是AI合成數(shù)據(jù)能力與模型的自我迭代能力。隨著模型規(guī)模的不斷擴(kuò)大，人類數(shù)據(jù)可能很快被大模型用盡，AI合成的數(shù)據(jù)，成本既低廉，又可源源不斷生成。但如何生成高質(zhì)量數(shù)據(jù)，使大模型能夠自我學(xué)習(xí)、自我迭代，甚至實(shí)現(xiàn)弱模型合成數(shù)據(jù)監(jiān)督（訓(xùn)練）強(qiáng)模型，將是大模型未來突破數(shù)據(jù)限制的重要方向。三是自我發(fā)現(xiàn)和創(chuàng)新能力。人類不僅能夠?qū)W習(xí)已有知識(shí)，也可以創(chuàng)造新的知識(shí)，未來要實(shí)現(xiàn)完全自動(dòng)化科學(xué)研究，大模型需要具備創(chuàng)造新知識(shí)的能力。四是可擴(kuò)展的監(jiān)督。在復(fù)雜任務(wù)上、人類難以提供監(jiān)督數(shù)據(jù)的任務(wù)上（如未解的科學(xué)難題），大模型仍需要與人類目標(biāo)和價(jià)值對(duì)齊，這就要求監(jiān)督是可擴(kuò)展的。該能力是前沿人工智能實(shí)現(xiàn)智能向善、安全治理的關(guān)鍵技術(shù)。

我國大模型技術(shù)的進(jìn)展情況與發(fā)展路徑

盡管我國在大模型技術(shù)方面初期存在一定滯后，但近一年來發(fā)展迅速，不僅在研究領(lǐng)域取得了顯著成果，還在產(chǎn)業(yè)應(yīng)用上展現(xiàn)出了強(qiáng)勁實(shí)力。國內(nèi)相繼開源了通義千問等大模型系列，這些成果在國際大模型開源領(lǐng)域中僅次于美國，形成了廣泛的影響力。在產(chǎn)業(yè)應(yīng)用層面，我國多個(gè)大模型的中文能力已經(jīng)超越GPT-3.5，它們在數(shù)字人、人形機(jī)器人等前沿領(lǐng)域，以及能源、交通、醫(yī)療、政務(wù)、農(nóng)業(yè)、金融等多個(gè)傳統(tǒng)及新興行業(yè)中，都實(shí)現(xiàn)了豐富的落地應(yīng)用，推動(dòng)了各行各業(yè)的智能化發(fā)展。

為鞏固并提升我國在這一領(lǐng)域的國際競爭力，可以從以下布局和規(guī)劃著手。第一，進(jìn)一步提升以大模型為代表的前沿人工智能在國家科技和產(chǎn)業(yè)發(fā)展中的戰(zhàn)略地位，成立人工智能工作小組，領(lǐng)導(dǎo)AI產(chǎn)研咨詢委員會(huì)，統(tǒng)籌資源，制定AI政策和計(jì)劃，推進(jìn)人工智能技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展。第二，重點(diǎn)規(guī)劃和建設(shè)前沿人工智能相關(guān)的國家基礎(chǔ)設(shè)施，包括超級(jí)智算網(wǎng)絡(luò)、通用及行業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施、大規(guī)模人工智能軟件基礎(chǔ)平臺(tái)、人工智能安全與測評(píng)基礎(chǔ)設(shè)施、大模型開源平臺(tái)等。第三，開展大模型關(guān)鍵理論和技術(shù)攻關(guān)，啃硬骨頭，探新疆域，研發(fā)經(jīng)得起實(shí)踐考驗(yàn)的硬核技術(shù)。第四，培育和建立大模型創(chuàng)新發(fā)展生態(tài)，形成大模型技術(shù)創(chuàng)新氛圍，鼓勵(lì)耐心資本敢投廣投大模型硬核技術(shù)創(chuàng)業(yè)企業(yè)。第五，重視人工智能人才培養(yǎng)和成長，培養(yǎng)一批具有長遠(yuǎn)眼光和實(shí)戰(zhàn)經(jīng)驗(yàn)的AI戰(zhàn)略型人才、技術(shù)型人才、交叉復(fù)合型人才等。第六，重視人工智能安全治理，既要設(shè)計(jì)頂層治理策略，更要推動(dòng)底層安全技術(shù)的創(chuàng)新突破。第七，積極開展國際合作，建立新型人工智能國際組織和機(jī)構(gòu)，吸收新理念，合研新技術(shù)，與發(fā)展中國家共享AI紅利。第八，推動(dòng)前沿人工智能行業(yè)、國家、國際標(biāo)準(zhǔn)建設(shè)，形成標(biāo)準(zhǔn)體系，以標(biāo)準(zhǔn)建設(shè)護(hù)航人工智能產(chǎn)業(yè)發(fā)展。