2023年9月，習近平總書記首次提出“新質生產力”，為新時代科技創(chuàng)新和高質量發(fā)展提供了根本遵循和科學指引。同年12月，中央經濟工作會議明確提出，“要以科技創(chuàng)新推動產業(yè)創(chuàng)新，特別是以顛覆性技術和前沿技術催生新產業(yè)、新模式、新動能，發(fā)展新質生產力”。新質生產力就是代表新技術、創(chuàng)造新價值、適應新產業(yè)、重塑新動能的新型生產力，人工智能恰恰是新質生產力的重要組成部分?，F在，大模型正在驅動新一輪科技革命和產業(yè)變革，中國科技企業(yè)亟須“All in AI”（全方位人工智能），創(chuàng)新發(fā)展大模型技術，保證大模型安全向善可信可控，為現代化產業(yè)體系建設注入新動能。

大模型未來發(fā)展的“一個趨勢”

大模型的發(fā)展要順勢而為，在人人都能使用大模型的情況下，垂直化是大模型發(fā)展的一個重要趨勢。具體可以概括為六個方面的垂直化：一是行業(yè)深度化，在通用大模型的基礎之上做行業(yè)數據的訓練；二是企業(yè)個性化，做大模型要跟某個企業(yè)的內部知識緊密融合；三是能力專業(yè)化，一個模型解決一個專業(yè)領域的問題；四是規(guī)模小型化，企業(yè)專有模型用百億模型即可，訓練、調試、部署的成本都會大幅降低；五是部署分布化，將來大模型既可部署在云上，也可部署在終端；六是所有權私有化，企業(yè)大模型的所有權和控制權完全由企業(yè)所有。

也就是說，大模型要想真正賦能千行百業(yè)，就要找準剛需和痛點，重點發(fā)展專業(yè)化、垂直化、小型化、低成本的行業(yè)大模型和企業(yè)大模型，實現大模型的深度垂直定制。具體來說，就是以基礎大模型為底座，面向企業(yè)具體業(yè)務場景需求，通過數據篩選、模型訓練、精調、掛接內部系統(tǒng)和API（應用程序編程接口）、交付，最終形成一個或多個融合企業(yè)內部數據和知識、連接企業(yè)內部系統(tǒng)、滿足企業(yè)特定業(yè)務需求的專有模型。

大模型安全風險的“三個問題”

安全與發(fā)展是一體之兩翼、驅動之雙輪。作為新型數字化技術，大模型是一把“雙刃劍”，在帶來生產力提升、掀起新工業(yè)革命的同時，也帶來前所未有的安全新挑戰(zhàn)和新課題。大模型的安全風險可以簡單劃分為技術安全、內容安全、人類安全三個問題。

一是技術安全問題。它主要是以大模型技術自身引發(fā)的安全問題為主，如網絡安全、數據安全、生成內容安全。網絡安全主要指“漏洞”問題，數字化時代的典型特征之一便是“一切皆可編程”，由此帶來的后果則是“漏洞無處不在”，沒有攻不破的網絡，人工智能算法、模型、框架等都存在漏洞。另一個突出問題是大模型的算法安全，如特有的提示注入攻擊，就是通過設計問題，繞開大模型的安全規(guī)則限制。此外，大模型還存在“幻覺”和知識模糊的問題，經常會“一本正經的胡說八道”，并由此衍生出生成內容安全問題。這類“幻覺”問題一旦在企業(yè)級場景中出現則更為致命，因為大模型開的“藥方”、寫的法律文書完全無法讓人相信。

二是內容安全問題。目前，對大模型的控制、濫用、誤用和惡意應用日益迫近并已開始帶來惡劣影響。近年來，隨著AIGC（生成式人工智能）技術的成熟，我們可以明顯感知到，人工智能換臉、人工智能換聲等新型網絡詐騙手段逐漸肆虐，逼真程度讓人防不勝防。此外，大模型大幅降低了網絡攻擊的門檻，編寫惡意代碼、釣魚郵件、勒索軟件等不再是少數黑客的專利。最近，有外國網民發(fā)現，不論告訴ChatGPT怎樣一組打亂順序、不符合語法的單詞，它都可以通過這些提示詞，快速生成勒索軟件、鍵盤記錄器等惡意軟件，這是因為人類的大腦可以理解不符合語法的句子，人工智能同樣也可以。這些指令可以完美地繞過傳統(tǒng)的安全過濾器。

三是人類安全問題。這類問題主要是大模型的可控性。隨著“AI Agent”（人工智能體）等模式的成熟，大模型不僅能思考，還能通過調用企業(yè)內部的API、函數，使其長出“手和腳”，發(fā)展成操作能力。當大模型的參數足夠多，就像人類大腦中的一千萬億個神經元被一百萬億個神經網絡連接，最終出現了智慧涌現一樣。如果將來某一天大模型誕生了自主意識，很可能給人類生存安全帶來不可估量的風險。

目前，擔心人類安全挑戰(zhàn)可能為時尚早，但是對技術、內容的安全挑戰(zhàn)必須加以重視。安全和數據隱私保護是當前人工智能發(fā)展迫切需要解決的問題。

保障大模型安全的“四個原則”

當前，人工智能安全已成為全球性的重大前沿問題，經過大量的實踐和研究，360提出了大模型的安全四原則，即安全、向善、可信、可控。這四個原則既是構建原生安全大模型的宗旨，也是360自研大模型遵循的基本原則。

安全原則，核心是解決漏洞問題。一個典型人工智能系統(tǒng)由大量軟件組成，是一個復雜的生態(tài)鏈。以大模型系統(tǒng)為例，在構建和部署的過程中，除了本身的代碼外，經常會涉及代理框架、向量數據庫，以及基礎的機器學習框架、訓練管理平臺、優(yōu)化加速框架等。一旦某個環(huán)節(jié)存在漏洞，就會直接影響人工智能應用和服務的安全。因此，保證大模型系統(tǒng)安全，降低網絡攻擊、數據泄露、個人隱私泄露風險，提升安全應對能力至關重要。360一直關注人工智能安全研究，涉及整個軟件生態(tài)鏈的安全，包括安全大腦框架，解決網絡攻擊、數據竊取、數據泄露等問題，并曾在多個大模型應用服務、代理框架、向量數據庫等發(fā)現漏洞，涉及Web類、邏輯類、內存類多種漏洞類型。

向善原則，就是要保證大模型不作惡。提升大模型應對提示注入攻擊能力，保證生成內容符合社會道德倫理和法律要求，避免大模型被用于生成違規(guī)內容、偽造圖片、偽造視頻、惡意代碼、釣魚郵件等，主要是保證大模型的輸出符合內容安全標準。解決方案可以采用“小模型監(jiān)控大模型”，由風控引擎“把關”用戶端的輸入和模型端的輸出，將所有內容安全風險數據一網打盡。一方面，堅持能力向善，在輸入控制上，要保證大模型使用合法數據進行訓練，攔截各類提示注入攻擊，防范網絡層面和內容層面的有害輸入，防止安全過濾機制被輕易地繞過；另一方面，堅持內容向善，在輸出控制方面，對內容進行合法合規(guī)檢測和過濾，確保內容健康向善。

可信原則，針對的是大模型的“幻覺”問題。如何解決大模型“幻覺”問題，目前，業(yè)界在這方面還沒有取得實質性的技術突破。一個過渡性解決方案是：通過搜索增強和知識增強兩種方式，對大模型輸出的內容進行校正。搜索引擎在“事實保障”方面的準確性優(yōu)勢能為大模型“糾偏”；企業(yè)內部的知識系統(tǒng)、知識圖譜等相對成熟的知識架構可被用來對大模型進行知識增強，以彌補大模型在預訓練階段的知識不足以及知識模糊，大幅降低大模型產生“幻覺”的概率。

可控原則，就是要把大模型“關在籠子里”。由于大模型不是萬能的，暫時還無法替代現有系統(tǒng)，所以，在策略上要堅持“副駕駛”模式，確保“人在回路”，大模型調用外部資源的規(guī)則由人制定，重要決策由人做出，并對大模型的行為做全過程監(jiān)控審計，對Agent框架設置安全約束。例如，不能讓大模型接管郵件系統(tǒng)、自動收發(fā)郵件。同時，還要讓大模型與現有的系統(tǒng)和業(yè)務場景保持適當的隔離，不能直接把核心的API交給大模型，而是待時機成熟之后，才可讓大模型與內部系統(tǒng)對接，發(fā)展Agent模式，打造企業(yè)內部的智能中樞，自動執(zhí)行完成復雜的指令，但必須要在安全上加以限制。簡而言之，一方面，把人的能力賦予大模型，讓大模型變得更強大，高效學習人類的工作流程和技巧；另一方面，要對大模型進行必要約束，規(guī)定大模型可以做什么、不可以做什么，并且對全過程進行管理，實現大模型的真正安全可控。

循道而行，方能致遠。360將繼續(xù)致力于大模型安全研究，以數字安全和人工智能大模型為雙主線業(yè)務，為大模型產業(yè)的平穩(wěn)健康發(fā)展貢獻力量，為現代化產業(yè)體系建設打造新質生產力工具。