摘 要:人工智能正改變著人類的生產(chǎn)生活方式,在賦能經(jīng)濟(jì)社會發(fā)展的同時也引發(fā)了多方面的風(fēng)險,包括人工智能引發(fā)的國家競爭力風(fēng)險、技術(shù)安全風(fēng)險、網(wǎng)絡(luò)安全風(fēng)險、經(jīng)濟(jì)社會風(fēng)險和意識形態(tài)風(fēng)險等。我國應(yīng)堅(jiān)持包容審慎的監(jiān)管方式,強(qiáng)化國家安全意識,在加強(qiáng)頂層設(shè)計(jì)、大力推進(jìn)人工智能發(fā)展的同時,建立并逐步完善人工智能風(fēng)險國家治理體系,促進(jìn)我國人工智能健康有序安全發(fā)展,提高我國在人工智能領(lǐng)域的國際競爭力。
關(guān)鍵詞:人工智能 國家安全 網(wǎng)絡(luò)安全 意識形態(tài)風(fēng)險
【中圖分類號】TP-9 【文獻(xiàn)標(biāo)識碼】A
人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。加快發(fā)展人工智能是我們贏得全球科技競爭主動權(quán)的重要戰(zhàn)略抓手,是推動我國科技跨越發(fā)展、產(chǎn)業(yè)優(yōu)化升級、生產(chǎn)力整體躍升的重要戰(zhàn)略資源。人工智能依靠其通用性、多模態(tài)和智能涌現(xiàn)能力,與千行百業(yè)深度融合,在引發(fā)生產(chǎn)方式、技術(shù)創(chuàng)新范式、內(nèi)容生成方式和人機(jī)關(guān)系等多領(lǐng)域深刻變革的同時,也帶來諸多風(fēng)險。
黨的十八大以來,以習(xí)近平同志為核心的黨中央把發(fā)展人工智能提升到戰(zhàn)略高度。習(xí)近平總書記指出:“我們要深入把握新一代人工智能發(fā)展的特點(diǎn),加強(qiáng)人工智能和產(chǎn)業(yè)發(fā)展融合,為高質(zhì)量發(fā)展提供新動能。”同時強(qiáng)調(diào):“要加強(qiáng)人工智能發(fā)展的潛在風(fēng)險研判和防范,維護(hù)人民利益和國家安全,確保人工智能安全、可靠、可控。”[1]為確保人工智能安全、可靠、可控,我國逐步加強(qiáng)對人工智能發(fā)展的規(guī)范和治理。例如,2019年6月,國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》;2023年10月,中央網(wǎng)信辦發(fā)布《全球人工智能治理倡議》。在大力發(fā)展人工智能、提升我國在人工智能領(lǐng)域國際競爭力的同時,也要對人工智能帶來的技術(shù)安全風(fēng)險、網(wǎng)絡(luò)安全風(fēng)險、經(jīng)濟(jì)社會風(fēng)險、意識形態(tài)風(fēng)險,以及伴隨的倫理、法律和安全問題進(jìn)行約束和監(jiān)管,建立并逐步完善人工智能風(fēng)險治理體系,推動人工智能安全、健康、有序發(fā)展。
國家安全視角下的人工智能風(fēng)險
人工智能技術(shù)逐步進(jìn)入實(shí)用階段,賦能千行百業(yè),創(chuàng)造出新的產(chǎn)品、服務(wù)和商業(yè)模式,為人類社會發(fā)展帶來重大改變。作為一種追趕人類智能的特殊技術(shù),人工智能對社會發(fā)展的推動力、對社會倫理與秩序的沖擊力,以及其些作用背后的復(fù)雜性,都是人類既往的技術(shù)發(fā)明所不具備的。這其中蘊(yùn)含著許多前所未有的、不容小覷的風(fēng)險。
國家競爭力風(fēng)險。人工智能是發(fā)展新質(zhì)生產(chǎn)力的重要引擎,不僅是經(jīng)濟(jì)的推動力,而且在科技創(chuàng)新、國防建設(shè)中都發(fā)揮著重要作用。當(dāng)前,我國人工智能技術(shù)發(fā)展迅速,人工智能領(lǐng)域的學(xué)術(shù)論文和發(fā)明專利都居國際前列,但在人工智能原創(chuàng)性技術(shù)領(lǐng)域與美國還有一定的差距,諸如ChatGPT、Sora等里程碑式技術(shù)創(chuàng)新均最早出現(xiàn)于美國,我國尚處于“跟跑”階段。近年來,以美國為首的西方國家實(shí)施“小院高墻”政策,意圖對我國人工智能的發(fā)展進(jìn)行系統(tǒng)性打壓,對我國造成不利影響。目前,我國的人工智能發(fā)展在人才、數(shù)據(jù)、算力等方面尚難打破西方霸權(quán)的壟斷。例如在人才方面,2019年全球頂尖人工智能研究人員中中國研究人員占10%,2022年這一比例增加到26%,美國仍然吸引最多的人工智能人才[2]。在數(shù)據(jù)方面,截至2024年,美國Common Crawl開源數(shù)據(jù)集每月對全網(wǎng)爬取會增加大約386TB的數(shù)據(jù)[3],其每月增量比我國多數(shù)開源數(shù)據(jù)集的總量還大。在算力方面,國產(chǎn)芯片的計(jì)算速度與世界頂尖水平相比還有不小差距;與圖形處理器(GPU)配套的國產(chǎn)編程環(huán)境及軟硬件生態(tài)尚未成熟,制約了算力效率。整體而言,我國人工智能產(chǎn)業(yè)創(chuàng)新生態(tài)與國際人工智能產(chǎn)業(yè)創(chuàng)新生態(tài)相比尚有很大提升空間。
技術(shù)安全風(fēng)險。一是人工智能“黑箱效應(yīng)”可能生成偏誤信息,從而誤導(dǎo)使用者。人工智能模型存在非透明性的算法“黑箱”局限,使用者難以觀察模型從輸入到輸出的過程。當(dāng)數(shù)據(jù)來源良莠不齊時,特別是有人使用特殊設(shè)計(jì)的輸入數(shù)據(jù)對訓(xùn)練模型進(jìn)行對抗性攻擊時,人工智能模型生成內(nèi)容的事實(shí)解釋性以及可理解性缺失,不僅使得輸出信息秩序紊亂、傳遞內(nèi)容扭曲失真,也使得審查和糾正偏見、錯誤或不當(dāng)行為變得困難。再者,由于植根于人類社會根深蒂固的偏見以及因話語權(quán)不同導(dǎo)致的數(shù)據(jù)資料分布不均衡,人工智能模型訓(xùn)練的數(shù)據(jù)是有偏的,導(dǎo)致人工智能模型對某些人群或事物作出不公正或不均衡推斷。二是人工智能模型訓(xùn)練需要運(yùn)用大量個人、企業(yè)和組織的數(shù)據(jù),存在隱私和國家機(jī)密泄露風(fēng)險。人工智能生成文本、圖像和視頻所需的大量數(shù)據(jù)可能涉及敏感的國家信息、商業(yè)信息和個人信息,在大范圍應(yīng)用時經(jīng)常面臨數(shù)據(jù)過度采集、竊取、泄露和濫用風(fēng)險[4]。三是人工智能技術(shù)研發(fā)與應(yīng)用過程中存在知識產(chǎn)權(quán)侵犯和知識生產(chǎn)生態(tài)破壞等風(fēng)險。隨著人工智能技術(shù)的快速發(fā)展,人工智能在藝術(shù)作品、科學(xué)研究、發(fā)明創(chuàng)新等領(lǐng)域的應(yīng)用愈發(fā)深入,這些活動涉及到版權(quán)、專利權(quán)、商標(biāo)權(quán)等多個方面知識產(chǎn)權(quán)。如何在知識產(chǎn)權(quán)、原創(chuàng)性等方面平衡技術(shù)使用和創(chuàng)作者權(quán)益目前仍存在爭議,包括但不限于人工智能生成作品的版權(quán)歸屬和保護(hù)范圍、人工智能作為發(fā)明者的專利申請資格等問題。
網(wǎng)絡(luò)安全風(fēng)險。一是人工智能技術(shù)可能引發(fā)新型、難以管控的網(wǎng)絡(luò)犯罪。人工智能技術(shù)能夠提高網(wǎng)絡(luò)攻擊的隱秘性,降低高級網(wǎng)絡(luò)攻擊的技術(shù)門檻[5],拓寬網(wǎng)絡(luò)犯罪的時空范圍,使犯罪從傳統(tǒng)的個體或小團(tuán)伙作案變?yōu)槠占奥矢咔业统杀镜幕顒樱瑫r也使得國際網(wǎng)絡(luò)攻擊、滲透更加易發(fā)多發(fā),加大了我國對網(wǎng)絡(luò)攻擊預(yù)防和溯源的難度。二是深度偽造等技術(shù)誘發(fā)傳統(tǒng)犯罪模式升級。人工智能的深度應(yīng)用涉及經(jīng)濟(jì)利益、保密利益、使用性能等多重維度,當(dāng)技術(shù)被惡意利用、大規(guī)模生成誤導(dǎo)性信息,將帶來智能詐騙風(fēng)險。這種手段比傳統(tǒng)的網(wǎng)絡(luò)釣魚和電話詐騙更具欺騙性和破壞力。還有惡意用戶通過公開或非法手段收集資料,利用深度偽造技術(shù)制作虛假甚至淫穢圖片或者視頻傳播,侮辱霸凌他人。三是人工智能技術(shù)風(fēng)險可能引發(fā)網(wǎng)絡(luò)空間衍生災(zāi)變。隨著人工智能技術(shù)與網(wǎng)絡(luò)空間的深度融合,人工智能的本體風(fēng)險有可能隨著網(wǎng)絡(luò)空間特別是物聯(lián)網(wǎng)的泛在互聯(lián)而加以放大,衍生演化出網(wǎng)絡(luò)空間的重大災(zāi)變[6],給物理世界帶來巨大風(fēng)險。無人機(jī)、無人駕駛汽車、醫(yī)療機(jī)器人等無人化智能系統(tǒng)設(shè)計(jì)缺陷可能直接威脅公民生命權(quán)和健康權(quán)[7]。例如,2018年Uber自動駕駛汽車凌晨撞死行人事故即起因于Uber系統(tǒng)將行人判定為塑料袋等漂浮物,導(dǎo)致未能及時剎車。
經(jīng)濟(jì)社會風(fēng)險。一是人工智能對簡單重復(fù)性勞動所產(chǎn)生的替代作用或?qū)⒁l(fā)技術(shù)性失業(yè)。人工智能使得部分勞動密集型制造業(yè)實(shí)現(xiàn)了自動化生產(chǎn),從而替代這部分行業(yè)中的勞動力[8]。當(dāng)人工智能適用于工業(yè)設(shè)計(jì)、藥物研發(fā)、材料科學(xué)、信息服務(wù)等領(lǐng)域,其發(fā)展伴隨的大規(guī)模技術(shù)性失業(yè)或?qū)⒁l(fā)全球結(jié)構(gòu)性失業(yè),成為經(jīng)濟(jì)社會的不穩(wěn)定因素。二是人工智能的技術(shù)依賴加深致使認(rèn)知淺層化風(fēng)險加劇。人工智能的深度應(yīng)用將減少人類主動思考的機(jī)會,并限制了其視野和思維深度,或?qū)⒃斐烧J(rèn)知能力缺陷。例如,Sora等生成式人工智能的應(yīng)用將會抑制學(xué)生抽象邏輯和批判性思維的發(fā)展,給科學(xué)和教育事業(yè)帶來巨大挑戰(zhàn)[9]。三是技術(shù)復(fù)雜性帶來的數(shù)字鴻溝和信息繭房加劇社會階層分化。不同社會群體在理解和使用人工智能技術(shù)方面存在顯著差距的問題普遍存在。技術(shù)采納者在通過人工智能技術(shù)不斷優(yōu)化效率、積累資源和權(quán)力的同時,致使技術(shù)知識或信息匱乏者被不斷邊緣化,從而引發(fā)社會不公平現(xiàn)象。此外,憑借人工智能算法繪制“數(shù)字臉譜”以精準(zhǔn)迎合個體視覺偏好與信息需求的行為,加強(qiáng)了“信息繭房”的回音壁效應(yīng)。用戶長時間處于同質(zhì)化信息空間,容易對固有觀念產(chǎn)生偏執(zhí)認(rèn)同,滋生排他性傾向,進(jìn)而誘發(fā)群體極化現(xiàn)象,導(dǎo)致經(jīng)濟(jì)社會不穩(wěn)定。
意識形態(tài)風(fēng)險。一是人工智能語料差異內(nèi)嵌意識形態(tài),具有價值取向不可控風(fēng)險。大模型訓(xùn)練語料庫中的意識形態(tài)差異很有可能被利用生成大量“可信”文本,以加深對客觀事實(shí)認(rèn)知的分歧。2023年5月8日,布魯金斯學(xué)會評論文章《人工智能的政治:ChatGPT和政治偏見》指出ChatGPT存在政治偏見[10]。華盛頓大學(xué)、卡內(nèi)基梅隆大學(xué)和西安交通大學(xué)的一項(xiàng)研究發(fā)現(xiàn),不同的人工智能模型具有不同的政治偏好,OpenAI的GPT-4是最左翼自由派,Meta的LLaMA是最右翼[11]。具有不同國家立場的人工智能產(chǎn)品在敏感事件或國際關(guān)系等問題上容易生成具有預(yù)設(shè)傾向的內(nèi)容,其傳播將潛移默化地影響年輕一代的價值觀,或?qū)槲鞣絿蚁蛭覈M(jìn)行意識形態(tài)滲透及干涉提供便利,威脅社會意識形態(tài)安全。二是人工智能技術(shù)帶來的創(chuàng)作者責(zé)任缺失導(dǎo)致各種假信息泛濫,蠱惑社會人心。技術(shù)黑箱導(dǎo)致確定人工智能系統(tǒng)行為的道德法律歸屬變得復(fù)雜,由此帶來創(chuàng)作者責(zé)任缺失。隨著人工智能的發(fā)展和應(yīng)用,虛假新聞制作和傳播的成本變得更低。借助人工智能文本、音頻、視頻大模型,惡意用戶制造大量真假難辨的假信息,篡改歷史,偽造事實(shí),煽風(fēng)點(diǎn)火帶節(jié)奏,為吸引眼球不擇手段。假信息泛濫可能導(dǎo)致人們對數(shù)字內(nèi)容的真實(shí)性產(chǎn)生普遍懷疑,影響社會信任與秩序。三是新型“數(shù)字殖民”引發(fā)意識形態(tài)偏移風(fēng)險。在國家對于數(shù)據(jù)和算法依賴程度日益增強(qiáng)的情況下,領(lǐng)先掌握新一代人工智能技術(shù)的國家憑借技術(shù)優(yōu)勢占據(jù)規(guī)則和標(biāo)準(zhǔn)制定主導(dǎo)地位,這種技術(shù)霸權(quán)可能產(chǎn)生新的“數(shù)字殖民地”。
人工智能風(fēng)險的治理策略
我國應(yīng)堅(jiān)持包容審慎的監(jiān)管方式,在大力發(fā)展人工智能的同時,加強(qiáng)對關(guān)鍵性風(fēng)險的治理,統(tǒng)籌技術(shù)發(fā)展和規(guī)范引導(dǎo),防范化解各種風(fēng)險,構(gòu)建安全與發(fā)展兼容的人工智能治理生態(tài)。
加強(qiáng)頂層設(shè)計(jì)和系統(tǒng)性治理。一是堅(jiān)持系統(tǒng)性謀劃和整體性推進(jìn),制定人工智能發(fā)展與治理規(guī)劃。對人工智能的發(fā)展趨勢和應(yīng)用前景進(jìn)行綜合研判和分析,以系統(tǒng)觀念協(xié)調(diào)好人工智能發(fā)展和安全。在發(fā)展方面,發(fā)揮新型舉國體制優(yōu)勢,建立人工智能產(chǎn)業(yè)良性發(fā)展生態(tài),通過技術(shù)預(yù)見識別關(guān)鍵技術(shù)和市場需求,重點(diǎn)布局,推動人工智能安全有序發(fā)展。在安全方面,國家層面上成立專家委員會或咨詢委員會,遴選人工智能技術(shù)、倫理、法律、安全等領(lǐng)域的專家,并和社會公眾代表一起,對人工智能的風(fēng)險治理提出前瞻性建議,提升全方位多維度綜合治理能力。二是構(gòu)建完備法律體系,推進(jìn)制度建設(shè)。加快建立健全協(xié)調(diào)安全與發(fā)展、統(tǒng)籌效率和公平、平衡活力與秩序、兼顧技術(shù)和倫理的法律法規(guī)體系,推動人工智能監(jiān)管制度體系建設(shè);依法出臺人工智能發(fā)展與治理的地方性法規(guī)和地方政府規(guī)章,引導(dǎo)創(chuàng)意者公平、安全、健康、有責(zé)任地將人工智能技術(shù)用于地方特色創(chuàng)新活動中,更有針對性地滿足地方需要。三是加快成立負(fù)責(zé)任人工智能技術(shù)的職能管理機(jī)構(gòu),加強(qiáng)政策引導(dǎo)與監(jiān)管。建議成立專門的監(jiān)管機(jī)構(gòu),通過制定有關(guān)人工智能技術(shù)開發(fā)和應(yīng)用的政策,確保技術(shù)發(fā)展符合社會公共利益和道德標(biāo)準(zhǔn);制定人工智能技術(shù)開發(fā)和應(yīng)用的標(biāo)準(zhǔn)和規(guī)范,確保技術(shù)安全性、透明性和公平性;建立人工智能風(fēng)險評估與預(yù)警機(jī)制,防止技術(shù)濫用和潛在危害。
降低數(shù)智社會轉(zhuǎn)型對民眾的沖擊。一是持續(xù)謹(jǐn)慎觀察人工智能帶來的“數(shù)字鴻溝”與失業(yè)風(fēng)險,通過綜合性應(yīng)對措施維護(hù)社會穩(wěn)定。加強(qiáng)人工智能教育與普及,緩解數(shù)字鴻溝,提高民眾對人工智能技術(shù)的認(rèn)知與應(yīng)用能力;密切關(guān)注人工智能技術(shù)發(fā)展可能帶來的結(jié)構(gòu)性失業(yè)、技術(shù)性失業(yè)與非對稱性失業(yè)等“創(chuàng)造性破壞”,建立失業(yè)預(yù)警制度,加大就業(yè)指導(dǎo)培訓(xùn),提供稅收優(yōu)惠,出臺兜底性失業(yè)保障政策。二是面向未來培養(yǎng)新型技術(shù)治理和社會治理協(xié)同的復(fù)合型人才。在高校設(shè)置跨學(xué)科課程,支持人工智能相關(guān)學(xué)科建設(shè),大力培養(yǎng)人工智能技術(shù)人才和管理人才,獎勵優(yōu)秀人才和團(tuán)隊(duì),為人工智能技術(shù)發(fā)展與治理提供人才儲備;建立終身學(xué)習(xí)機(jī)制,提供系統(tǒng)化的人工智能技術(shù)職業(yè)培訓(xùn),鼓勵在職人員持續(xù)學(xué)習(xí)人工智能新技術(shù)以適應(yīng)快速變化的技術(shù)環(huán)境。三是推動包容性技術(shù)發(fā)展的同時加強(qiáng)網(wǎng)絡(luò)安全保護(hù)。在人工智能技術(shù)研發(fā)和應(yīng)用過程中充分考慮老年人、殘疾人等弱勢群體的特殊需求,設(shè)計(jì)和開發(fā)符合其使用習(xí)慣和能力的人工智能產(chǎn)品和服務(wù),避免擴(kuò)大“數(shù)字鴻溝”;建立健全數(shù)據(jù)保護(hù)法律法規(guī),明確數(shù)據(jù)收集、存儲、處理和共享規(guī)范,提高數(shù)據(jù)全生命周期的安全性;加大對網(wǎng)絡(luò)犯罪的打擊力度,組建專業(yè)的網(wǎng)絡(luò)安全執(zhí)法隊(duì)伍,提升技術(shù)偵查能力,及時發(fā)現(xiàn)和遏制網(wǎng)絡(luò)犯罪活動;提升企業(yè)信息安全責(zé)任,推動企業(yè)采取有效措施防止數(shù)據(jù)泄露和濫用;通過多種渠道和形式,向公眾普及信息安全知識和防護(hù)技能,提高民眾的信息安全意識和防范能力。
構(gòu)建人工智能技術(shù)風(fēng)險治理體系。一是夯實(shí)人工智能公共數(shù)字基礎(chǔ)設(shè)施一體化平臺建設(shè),完善數(shù)據(jù)資源體系。加強(qiáng)對數(shù)據(jù)中心、超算中心、智能計(jì)算機(jī)中心等基礎(chǔ)設(shè)備建設(shè),夯實(shí)數(shù)字基礎(chǔ)設(shè)施安全;加快推進(jìn)數(shù)據(jù)共享平臺建設(shè),制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,建立高質(zhì)量國家級數(shù)據(jù)資源庫,以解決人工智能大模型的數(shù)據(jù)質(zhì)量及算法偏見問題。二是前瞻布局人工智能大模型的風(fēng)險防御技術(shù)體系,鞏固發(fā)展人工智能技術(shù)底層架構(gòu)以保障產(chǎn)業(yè)生態(tài)安全。針對人工智能全生命周期關(guān)鍵環(huán)節(jié)進(jìn)行風(fēng)險預(yù)判,打造動態(tài)升級、科學(xué)前瞻的防御技術(shù)體系,通過精準(zhǔn)安全防范措施建立人工智能技術(shù)安全保障體系;在算法安全、數(shù)據(jù)安全、模型安全、系統(tǒng)安全、應(yīng)用安全等方面加強(qiáng)前沿安全技術(shù)研發(fā),并推動關(guān)鍵核心技術(shù)應(yīng)用;加強(qiáng)對芯片、集成電路等基礎(chǔ)產(chǎn)業(yè)的保護(hù)力度,推動國家和企業(yè)重點(diǎn)開發(fā)自主可控的人工智能技術(shù),夯實(shí)核心技術(shù)安全。
完善人工智能國家治理體系。一是技術(shù)與制度雙向賦能治理機(jī)制設(shè)計(jì)。面對飛速更迭的人工智能技術(shù)與復(fù)雜多樣的國家治理應(yīng)用場景,需加強(qiáng)技術(shù)應(yīng)用與制度創(chuàng)新的協(xié)同治理,依靠制度設(shè)計(jì)引導(dǎo)技術(shù)方向的同時,通過技術(shù)發(fā)展幫助完善制度設(shè)計(jì)從而提升治理能力。二是加強(qiáng)人工智能意識形態(tài)風(fēng)險的治理,大力開展人工智能內(nèi)容識別民眾素質(zhì)教育,培養(yǎng)民眾對人工智能獲取的信息自覺進(jìn)行多源驗(yàn)證;開發(fā)人工智能生成式內(nèi)容溯源技術(shù),高概率辨識可疑內(nèi)容的來源;建立生成式人工智能信息失真檢查和披露平臺,把正確信息及時公示于社會。三是積極推動人工智能治理國際平臺建設(shè),參與國際規(guī)則制定。積極與國際社會合作,建立人工智能技術(shù)聯(lián)盟,防范算法世界政治霸權(quán)和數(shù)據(jù)跨境安全風(fēng)險;建立廣泛、權(quán)威的國際對話機(jī)制,依托共建“一帶一路”倡議、金磚國家、上合組織、東盟等具有國際影響力的多邊機(jī)制,合理助力后發(fā)國家進(jìn)步,促進(jìn)人工智能全球治理成果的普惠共享;總結(jié)國內(nèi)人工智能治理經(jīng)驗(yàn)并強(qiáng)化國際交流,在促進(jìn)互信共識的過程中,推動多方、多邊主體間形成公開報告、同行評議等協(xié)同機(jī)制的標(biāo)桿示范,切實(shí)推動人工智能治理原則落地[12]。
【本文作者為 楊曉光,中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院研究員; 陳凱華,中國科學(xué)院大學(xué)公共政策與管理學(xué)院特聘教授、國家前沿科技融合創(chuàng)新研究中心副主任。本文受國家自然科學(xué)基金重大項(xiàng)目(T2293771)及中國科學(xué)院重大咨詢項(xiàng)目(2022-ZW14-Z-027)的資助;中國科學(xué)院科技戰(zhàn)略咨詢研究院博士研究生薛澤華、助理研究員張超對本文亦有貢獻(xiàn)】
注釋略
責(zé)編:周素麗/美編:石 玉