【摘要】當前，生命科技和人工智能等前沿科技的倫理風(fēng)險日益引起國際社會的高度關(guān)切，我國的科技倫理治理正在走上制度化發(fā)展之路。為了更好地推進我國科技倫理治理工作，我們必須切實把握作為科技倫理治理重點的前沿科技的特征，揭示其所呈現(xiàn)出的一系列深層次倫理風(fēng)險，從而進一步加強對科技社會系統(tǒng)的結(jié)構(gòu)性特征的理解，探索和重構(gòu)風(fēng)險認知的底層邏輯。其一，充分認識新興科技驅(qū)動的科技社會系統(tǒng)的革命性變化，以此理解前沿科技深層次倫理風(fēng)險的結(jié)構(gòu)性實質(zhì)。其二，立足前沿科技倫理治理的開放性實踐，將科技倫理的風(fēng)險認知和規(guī)范視為相關(guān)群體不斷更新的集體認知和工作假設(shè)。其三，強調(diào)前沿科技風(fēng)險認知的系統(tǒng)性與可塑性，賦予科技和創(chuàng)新更大的可能性空間。由此，我們可以得出樹立科學(xué)認知的倫理邊界、設(shè)置合理的倫理法律門檻、形成具有開放性和整體性的治理機制、增進公眾科技倫理素養(yǎng)以及遵循相稱性原則等面向深層次科技倫理風(fēng)險的預(yù)控和應(yīng)對之道?！娟P(guān)鍵詞】科技倫理  科技倫理治理  深度科技化  深層次倫理風(fēng)險  系統(tǒng)思維

【中圖分類號】B82-057/TP18                【文獻標識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2024.01.009

段偉文，中國社會科學(xué)院哲學(xué)所科技哲學(xué)研究室主任、研究員，科學(xué)技術(shù)和社會研究中心主任，中國社會科學(xué)院大學(xué)哲學(xué)院教授、博導(dǎo)，上海人工智能實驗室顧問。研究方向為科學(xué)哲學(xué)、技術(shù)哲學(xué)、信息哲學(xué)、科技倫理、科學(xué)技術(shù)與社會。主要著作有《信息文明的倫理基礎(chǔ)》《可接受的科學(xué)：當代科學(xué)基礎(chǔ)的反思》《網(wǎng)絡(luò)空間的倫理反思》等。

問題的提出

2023年11月初，首屆全球人工智能安全峰會在英國召開，來自美、英、歐盟、中、印等多方代表就人工智能迅猛發(fā)展引發(fā)的風(fēng)險與機遇進行了深入探討。其間，我國提出的《全球人工智能治理倡議》系統(tǒng)闡述了人工智能治理的中國方案，會議發(fā)布的《布萊奇利宣言》凸顯了對前沿人工智能的超強技術(shù)能力和未來風(fēng)險的關(guān)切。

實際上，對于正在進行中的前沿科技可能導(dǎo)致的人類生命安全與社會倫理風(fēng)險的關(guān)注至少可以追溯至1975年生物學(xué)家暫?；蛑亟M研究的決定。尤其是21世紀以來，納米、人工智能、基因科技、合成生物學(xué)等顛覆性科技方興未艾，科技已成為無處不在和人類須臾不可離的強大力量，但同時也帶來了越來越多亟待應(yīng)對的科技倫理風(fēng)險。為此，世界各國對科技倫理問題及其治理日益重視，我國從國家層面相繼頒布了《關(guān)于加強科技倫理治理的指導(dǎo)意見》和《科技倫理審查辦法（試行）》等規(guī)范性文件，明確了邁向高水平科技自立自強之路應(yīng)該遵循的倫理原則、治理框架和審查機制。

縱觀由近年來出現(xiàn)的基因編輯、人類動物嵌合體、人臉識別、算法推薦、腦機接口、深度合成以及ChatGPT等生成式人工智能所引發(fā)的倫理爭議，不難看到，前沿科技的風(fēng)險不單是技術(shù)能力的增強所誘發(fā)的違背既有倫理和法律的技術(shù)濫用等問題，更在于新技術(shù)能力的涌現(xiàn)對既有技術(shù)社會系統(tǒng)的沖擊所導(dǎo)致的結(jié)構(gòu)性價值沖突和深層次倫理風(fēng)險。換言之，所謂深層次倫理風(fēng)險是指，由于前沿科技研發(fā)越來越多地涉及對人、自然和社會的根本性、全局性的改變，前沿科技的發(fā)現(xiàn)和創(chuàng)新必然引起各種復(fù)雜的價值倫理矛盾，由此造成的倫理風(fēng)險是結(jié)構(gòu)性的，往往既難以通過一般的風(fēng)險收益比較加以權(quán)衡，也不能訴諸簡單的倫理原則加以有效規(guī)范。因而科技倫理治理要真正做到“倫理先行”，必須對前沿科技研發(fā)活動中的深層次倫理風(fēng)險有較為系統(tǒng)的認知，進而從科技創(chuàng)新的整體層面分析其原因，尋求具有全局性和預(yù)見性的應(yīng)對之道。

前沿科技研發(fā)中的若干深層次倫理風(fēng)險

大致而言，當前具有突破性發(fā)展并伴隨著巨大倫理風(fēng)險的科技前沿主要集中在生命科學(xué)、醫(yī)學(xué)、信息科技與人工智能等領(lǐng)域，它們也是我國在國家層面推動科技倫理治理的主要關(guān)切。2019年以來，我國先后通過一系列的舉措啟動科技倫理治理體系建設(shè)：一是，成立國家科技倫理委員會及生命科學(xué)、醫(yī)學(xué)和人工智能分委會，由此推動了區(qū)域、部門和機構(gòu)的科技倫理委員會的建立；二是，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于加強科技倫理治理的意見》，提出倫理先行、依法依規(guī)、敏捷治理、立足國情、開放合作等治理要求，明確了增進人類福祉、尊重生命權(quán)利、堅持公平公正、合理控制風(fēng)險、保持公開透明等倫理原則；三是，生命科學(xué)、醫(yī)學(xué)和人工智能分委會提出各自領(lǐng)域倫理高風(fēng)險科技活動清單，如對人類生命健康、價值理念、生態(tài)環(huán)境等具有重大影響的新物種合成研究，侵入式腦機接口用于神經(jīng)、精神類疾病治療的臨床研究，對人類主觀行為、心理情緒和生命健康等具有較強影響的人機融合系統(tǒng)的研發(fā)等；四是，加強科技倫理審查工作，2023年2月，國家衛(wèi)生健康委、教育部、科技部、國家中醫(yī)藥局四部委聯(lián)合印發(fā)了《涉及人的生命科學(xué)和醫(yī)學(xué)研究倫理審查辦法》，10月，科技部等十部門聯(lián)合發(fā)布《科技倫理審查辦法（試行）》，兩個辦法將推動開展科技活動的高校、科研與醫(yī)療衛(wèi)生機構(gòu)、企業(yè)等層面的科技倫理（審查）委員會的建立，在常規(guī)審查的同時建立需要開展專家復(fù)核的科技活動清單制度，對可能產(chǎn)生較大倫理風(fēng)險挑戰(zhàn)的新興科技活動實施清單管理；五是，中國科協(xié)會同相關(guān)部門、機構(gòu)、群體正在發(fā)起籌建中國科技倫理學(xué)會，以加強我國的科技倫理研究和政策咨詢工作；六是，在數(shù)字治理領(lǐng)域積極有為，繼算法備案、深度合成管理等辦法之后，國家互聯(lián)網(wǎng)信息辦公室聯(lián)合國家發(fā)展改革委等六部門正式公布了《生成式人工智能服務(wù)管理暫行辦法》。當然，數(shù)字技術(shù)和人工智能法律規(guī)制和監(jiān)管如何應(yīng)對人工智能的開放性倫理挑戰(zhàn)需要在實踐中不斷展開系統(tǒng)研判，更有待通過試驗性的治理實踐不斷探索前行。

當前，我國科技倫理治理的主要策略是，堅持促進創(chuàng)新與防范風(fēng)險相統(tǒng)一，客觀評估和審慎對待科技倫理風(fēng)險，強化對科技活動的全生命周期的風(fēng)險評估和監(jiān)督管理，預(yù)見和防范可能出現(xiàn)的具有嚴重影響的不確定性風(fēng)險。為了更有效地貫徹實施這一策略，還應(yīng)對以下7個方面的深層次科技倫理風(fēng)險有所認識。

由科學(xué)認知活動缺乏倫理邊界意識所造成的突發(fā)風(fēng)險。依照一般看法，“科學(xué)無禁區(qū)、技術(shù)有邊界”，但這一觀念已經(jīng)跟不上認知、智能等前沿科技領(lǐng)域倫理風(fēng)險日益加劇的趨勢。在合成生物學(xué)、基因編輯、腦機接口等領(lǐng)域，科學(xué)研究和實驗本身就涉及對生命和智能過程的干預(yù)，基礎(chǔ)研究和轉(zhuǎn)化應(yīng)用研究如同“旋轉(zhuǎn)門”而難以絕對區(qū)分，特別是認知和神經(jīng)等前沿科學(xué)研究可能會極大地影響人的自主、認知、隱私乃至精神等生命權(quán)利。例如，涉及對青少年群體的心理和行為的干預(yù)和誘導(dǎo)的研究，其倫理風(fēng)險不僅僅是這類研究是否會對青少年的身心造成顯見的傷害、由此獲得的知識會不會被濫用和惡意使用，更在于研究者能不能意識到這類研究本身是否合乎倫理（換言之，是否會遭受不合倫理的質(zhì)疑）、是不是要有一個邊界和限度。特別是在運用全新的技術(shù)干預(yù)人的生命和精神時，縱使對其中所涉及的倫理問題缺乏系統(tǒng)深入的認知，研究者至少應(yīng)有一種倫理規(guī)則意識和邊界意識。由此，相關(guān)主體才可能從一般科技倫理和生命倫理原則出發(fā)，通過討論和對話制定具體科技活動中的防護措施和限制措施。更重要的是，在遇到科技倫理敏感問題時，這種規(guī)則意識和邊界意識會促使研究者將相關(guān)討論推進到科學(xué)共同體、社會公眾乃至國際社會層面，從而使這類技術(shù)研發(fā)應(yīng)用可能帶來的深遠倫理影響得到深入探討，相關(guān)的責任與權(quán)利問題也可由此得以提出。例如，隨著腦機接口等神經(jīng)與認知技術(shù)的發(fā)展，在這類技術(shù)應(yīng)用于神經(jīng)認知系統(tǒng)尚處于發(fā)育和不穩(wěn)定階段的青少年時就應(yīng)有更嚴格的邊界。還要注意的有，可記錄大腦活動的神經(jīng)技術(shù)會不會影響人的精神與思想隱私等問題，作為應(yīng)對是不是應(yīng)該相應(yīng)地賦予人們思想隱私權(quán)等神經(jīng)權(quán)利，[1]或者劃定神經(jīng)技術(shù)對人的精神干預(yù)的必要底線。而實際上，這種邊界意識和底線意識的缺失在科研人員中并不罕見。

當前，倫理高風(fēng)險科技活動清單的制定和復(fù)核機制固然為涉及倫理敏感性的科技活動設(shè)定了具體邊界，但如果科研人員和管理者不能在認識上形成倫理邊界意識，那么高風(fēng)險清單所設(shè)定的具體邊界很可能僅被當作合規(guī)的標準；如果相關(guān)人員不會在研究中主動認識和探索應(yīng)有的倫理界限，科技界就有可能再次發(fā)生基因編輯事件之類嚴重踐踏倫理底線和紅線的惡性事件，出現(xiàn)突發(fā)性科技倫理風(fēng)險。值得指出的是，所謂邊界意識并不是簡單的禁區(qū)意識，而是在認識上強調(diào)：一方面，應(yīng)將存在高倫理風(fēng)險的科學(xué)研究限定在現(xiàn)有科學(xué)認知和技術(shù)手段可控的范圍內(nèi)，為科技風(fēng)險設(shè)定安全邊界；另一方面，要充分認識到前沿科技領(lǐng)域涉及的倫理敏感問題，在認真厘清可能的倫理爭議的基礎(chǔ)上，劃定目前不應(yīng)該逾越的倫理邊界。顯然，對前沿科技倫理邊界更為積極、主動，全面和動態(tài)的探究，是堅持促進創(chuàng)新與防范風(fēng)險相統(tǒng)一的關(guān)鍵，也是實現(xiàn)敏捷治理的基礎(chǔ)。

前沿科技對生命權(quán)利的深遠影響所引發(fā)的不可逆風(fēng)險。在大數(shù)據(jù)、人工智能、元宇宙、深度合成等前沿科技研發(fā)應(yīng)用中，經(jīng)常出現(xiàn)數(shù)據(jù)泄露、隱私侵犯等倫理風(fēng)險，危及人的生命、隱私、尊嚴以及其他合法權(quán)益；很多數(shù)據(jù)的采集具有侵略性，海量數(shù)據(jù)一旦出現(xiàn)信息安全和倫理問題，很難通過刪除數(shù)據(jù)等方法對相關(guān)違背倫理和法律的研發(fā)應(yīng)用造成的后果進行矯正。例如，ChatGPT等生成式人工智能通過采集海量的網(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練大模型，產(chǎn)生大量文字、圖片和視頻內(nèi)容，其中存在諸多有爭議的侵權(quán)行為，但由于其機制的復(fù)雜性和過程的不透明性，很難逐一確認和維權(quán)。對這種具有全局影響的顛覆性創(chuàng)新所帶來的不可逆風(fēng)險，現(xiàn)有倫理法律規(guī)范和監(jiān)管措施難以應(yīng)對。而這一倫理困境表明，前沿科技的倫理和法律研究應(yīng)建立在更為系統(tǒng)深入的科技哲學(xué)、歷史、文化、社會學(xué)和人類學(xué)等跨學(xué)科研究之上。

類似地，在生命醫(yī)學(xué)領(lǐng)域，基因編輯和人類動物嵌合體研究雖然具有極大的有益前景，但也存在高度不確定性的風(fēng)險。特別是在涉及人類種系的生殖技術(shù)和賦予動物具有接近人類智能的人類動物嵌合體研究中，必須認識到冒失地改變?nèi)祟惢蚩赡茉斐傻牟豢赡骘L(fēng)險。認識到這些不可逆的風(fēng)險，一方面，有助于相關(guān)研發(fā)和應(yīng)用更加負責、透明和可問責，走向更具倫理可接受性和社會穩(wěn)健性的研究與創(chuàng)新；另一方面，有助于對具體的不可逆風(fēng)險展開系統(tǒng)深入的研究，推進理論、方法和工具創(chuàng)新，探尋更加安全和更符合人類長遠與共同利益的研究路徑。

前沿科技研發(fā)目標與人的權(quán)益的結(jié)構(gòu)性沖突導(dǎo)致的倫理兩難。近年來，在內(nèi)容推薦、金融風(fēng)控、生物特征識別等領(lǐng)域出現(xiàn)了過度采集數(shù)據(jù)、行為操縱、信息繭房、大數(shù)據(jù)殺熟、算法歧視等在倫理和法律層面存在爭議的問題，相關(guān)部門在數(shù)字平臺治理和金融科技治理層面推出了一系列規(guī)范和監(jiān)管措施，起到了較好的治理效果。但值得指出的是，其背后存在著數(shù)據(jù)驅(qū)動的智能技術(shù)原理和現(xiàn)有社會倫理法律之間的結(jié)構(gòu)性沖突。一方面，內(nèi)容推薦等必須建立在對大數(shù)據(jù)的采集與分析之上；另一方面，這些數(shù)據(jù)所反映的是人們的行為記錄和生物特征。也就是說，兩者之間的沖突是結(jié)構(gòu)性的，必然會導(dǎo)致倫理兩難。例如，元宇宙和自動駕駛技術(shù)必然以采集人和場景中的相關(guān)數(shù)據(jù)為前提，這將在一定程度上與隱私保護和信息安全相沖突。這種結(jié)構(gòu)性的沖突使得由此造成的倫理風(fēng)險難以從根本上得到治理。如果不深入探討如何解決這些結(jié)構(gòu)性的矛盾、如何通過形成新的倫理和法律規(guī)范突破這種倫理兩難，則不難想象，隨著情感識別等新應(yīng)用的普及，類似的結(jié)構(gòu)性沖突和由此造成的倫理兩難將持續(xù)存在，而且更具爭議性。

值得指出的是，當前生成式人工智能的發(fā)展正在推動一場知識生產(chǎn)方式的革命，文字、圖片、視頻不再僅僅作為網(wǎng)絡(luò)和媒介內(nèi)容，而成為大規(guī)模自動化知識生產(chǎn)的原料。由此就帶來了知識產(chǎn)權(quán)保護和發(fā)展新的知識生產(chǎn)引擎之間的結(jié)構(gòu)性沖突，對內(nèi)容的不同理解——作為知識生產(chǎn)原料的人工智能生成內(nèi)容與作為信息安全監(jiān)管對象的網(wǎng)絡(luò)媒介內(nèi)容——正在導(dǎo)致一種新的倫理兩難。類似地，不難預(yù)見，運用自動化智能系統(tǒng)提高效率和“機器換人”之間的沖突，可能會成為未來幾年不得不應(yīng)對的科技社會難題。

物理世界與數(shù)字世界界限模糊所引發(fā)的“真相”消失的倫理困境。近年來出現(xiàn)的虛擬現(xiàn)實、元宇宙、深度合成和生成式人工智能，使得物理世界（真實）與數(shù)字世界（虛構(gòu)）的界限日漸模糊，特別是虛擬影像的逼真度越來越高，引發(fā)了“真相”消失的社會倫理困境。從現(xiàn)實世界的角度來看，隨著這些技術(shù)的發(fā)展，它們很容易被用來混淆偽造的內(nèi)容和真實的事實，甚至可用于虛構(gòu)對特定事件和歷史的虛假集體記憶，從而干預(yù)人們的社會認知，操控人的意識和精神，即有可能導(dǎo)致大規(guī)模的偽造真相和意識操控等社會認知倫理和精神倫理層面的顛覆性影響。

然而，數(shù)字技術(shù)的發(fā)展又是未來科技社會的趨勢，從認知對象到認知過程的虛擬化趨勢越來越顯著，虛擬的生活和實踐越來越多地可以與物理世界的生活相互替代，虛擬世界中的“不良”行為對人在現(xiàn)實世界中的倫理和道德的影響日益成為莫衷一是但又必須直面的真問題。同時，越來越多的內(nèi)容將由計算機和人工智能生成，因此，很難再通過“真實”和“虛假”的嚴格區(qū)分應(yīng)對“真相”消失的倫理困境。更為復(fù)雜的是，在科學(xué)研究和金融科技等實際應(yīng)用中，合成數(shù)據(jù)既可以用于造假，也可以用于矯正樣本不足等帶來的數(shù)據(jù)偏差，已經(jīng)很難用真和假來區(qū)分真實數(shù)據(jù)與合成數(shù)據(jù)的合倫理性。

智能社會系統(tǒng)中的人機信任問題及其倫理風(fēng)險。當前，在智能客服、自動駕駛和醫(yī)療人工智能應(yīng)用中出現(xiàn)的人機信任問題值得關(guān)注。在智能化早期，自動化和智能化系統(tǒng)的技術(shù)問題和服務(wù)質(zhì)量問題可能會導(dǎo)致安全事故和人身傷害的發(fā)生，引起人們對技術(shù)的不信任感，而這顯然會影響對前沿科技發(fā)展的社會認可和接受。人們對機器缺失信任顯然不利于科技更好地賦能社會發(fā)展，但如何增進人們對機器的信任，則一方面需要數(shù)字和智能技術(shù)不斷提升其透明度和可解釋性，另一方面要從社會學(xué)、心理學(xué)、人類學(xué)和哲學(xué)等多學(xué)科入手，加強對人機行為和心理的研究，由此探尋增進人機信任和人機共生的綜合性的技術(shù)和社會舉措。

但同時，對機器的過度信任也存在著深層次的倫理風(fēng)險，特別是人們在面對機器人等存在擬人化傾向的智能設(shè)備時，會誤以為它們是有意識的主體。隨著數(shù)字人、對話機器人技術(shù)的進步，這種擬人化的情感投射變得更加強烈，有可能導(dǎo)致人們出現(xiàn)認知上和心理上對自動化智能系統(tǒng)的過度依賴。例如，生成式和對話式人工智能很容易被不恰當?shù)禺斪髦R權(quán)威、道德權(quán)威和精神權(quán)威。因此，特別是在將人工智能用于青少年的陪伴、學(xué)習(xí)和心理引導(dǎo)時，必須考慮到由此可能引發(fā)的倫理風(fēng)險。

由科技社會系統(tǒng)的難以問責所帶來的倫理風(fēng)險。隨著生命醫(yī)學(xué)與人工智能等前沿科技的發(fā)展，整個社會日漸發(fā)展為一種整體性的復(fù)雜的科技社會系統(tǒng)，從個人的醫(yī)療、就業(yè)到國家的戰(zhàn)略決策，各項事務(wù)越來越多地取決于一個包括人和機器在內(nèi)的復(fù)雜的決策系統(tǒng)。一旦出現(xiàn)某些問題，因為存在人類和機器多種智能體的參與，往往難以追責。例如，某個自動化智能系統(tǒng)因為誤判而決定對某一區(qū)域采取不必要的限電措施，或某個智能評分系統(tǒng)對某些考生試卷的自動化評分出現(xiàn)了差錯，最后很難找到負責任的主體。隨著自動化智能決策系統(tǒng)的普及，很可能會出現(xiàn)數(shù)字官僚主義和智能化官僚主義等新的官僚主義的表現(xiàn)形式。

國際科技霸權(quán)主義所帶來的國際政治倫理風(fēng)險。近年來，美國在科技領(lǐng)域?qū)χ袊扇〉?ldquo;脫鉤”“禁售”等所謂“去風(fēng)險”等打壓策略正在形成一股國際科技霸權(quán)主義的逆流。值得關(guān)注的是，在生成式人工智能的發(fā)展過程中，中國地區(qū)的用戶在很多應(yīng)用軟件（包括自動翻譯軟件）上無法注冊，這無疑是科技霸權(quán)主義的表現(xiàn)。近期，在芯片、量子計算和核聚變領(lǐng)域，美國明顯存在搶占制高點、鞏固計算霸權(quán)和形成新的能源霸權(quán)的盤算。在21世紀前20年全球化作為世界主流時期，我國科技在一段時間采取了跟隨與合作戰(zhàn)略，西方一方面存在將中國視為沒有規(guī)則的“野蠻的東方”的偏見，但另一方面也出現(xiàn)了將不合倫理規(guī)范的研究拿到當時科技倫理監(jiān)管制度尚不健全的中國和其他地區(qū)的“倫理傾銷”。在美國推行《芯片與科學(xué)法案》、不斷采取“小院高墻”等政策的影響下，美國對我國在價值觀和倫理上的偏見和質(zhì)疑將進一步擴大，并且會與意識形態(tài)糾纏在一起。對此，我們應(yīng)有清晰的認知，應(yīng)立足人類命運共同體和更具美好的科技未來的大視角，從事實和學(xué)理層面予以必要的應(yīng)對。

新興科技驅(qū)動的科技社會系統(tǒng)的革命性變化

在現(xiàn)代社會中，科學(xué)、技術(shù)和工程從來都不是孤立存在的子系統(tǒng)，而是無遠弗屆地存在和融入于整個社會之中。前沿科技并不是一種外在于社會的力量或動能，其創(chuàng)新發(fā)展實質(zhì)上是在科技與社會乃至文化相互交織的科技社會系統(tǒng)中進行的。毋庸置疑，為了進一步認識前沿科技可能引發(fā)的一系列深層次倫理風(fēng)險，需要進一步從系統(tǒng)論、整體論的維度把握前沿科技所驅(qū)動的新興科技社會系統(tǒng)中正在發(fā)生的革命性變化。尤其值得關(guān)注的有以下幾點。

技術(shù)空間與技術(shù)圈的出現(xiàn)。隨著前沿科技的發(fā)展，一種全新的技術(shù)空間和技術(shù)圈正在形成。技術(shù)空間不僅包括由技術(shù)拓展或介入的物理空間與生命結(jié)構(gòu)，如可觀測宇宙、納米尺度、基因組等，更重要的是在物理空間之外形成了虛擬的信息空間和數(shù)字空間，如網(wǎng)絡(luò)空間、賽博空間以及近期生成式人工智能所形成的生成空間等。由此，技術(shù)在地球自然生態(tài)圈之上正在構(gòu)建自然過程中不存在的信息圈、知識圈乃至智慧圈，這些圈層都是由技術(shù)作支撐的，可以統(tǒng)稱為技術(shù)圈。自然生態(tài)圈與技術(shù)圈的交纏互構(gòu)決定了世界和人的存在與境況，決定了經(jīng)濟社會發(fā)展和國家競爭的總體空間。

虛擬認知與實踐方興未艾。如前所述，通過數(shù)據(jù)采集和信息計算，人們用數(shù)據(jù)來刻畫世界和人，對其進行模擬、分析和干預(yù)，使認知、制造乃至生活與交往實踐超越物理空間和現(xiàn)實可能性的限制。因此，應(yīng)該從這一趨勢出發(fā)重新認識數(shù)據(jù)的內(nèi)涵，重新界定“真”與“假”、“虛”與“實”，在擁抱世界數(shù)據(jù)化和虛擬認知的同時，充分考慮其倫理風(fēng)險。

技術(shù)成為無形的自動化過程。技術(shù)系統(tǒng)的實時化、泛在化和微型化，使得技術(shù)無處不在、無所不及地嵌入到物理、生命乃至社會空間與過程之中，越來越隱而不現(xiàn)，使人難以覺察。當我們?nèi)找嫔钤谶@種技術(shù)世界之中時，無疑需要提升整個科技社會系統(tǒng)的穩(wěn)健性，防范系統(tǒng)性的科技倫理風(fēng)險。

人與機器間的差異日漸縮小。隨著人與機器的交互不斷深化，出現(xiàn)了人的機器化和機器的擬人化這種人機同化但又存在內(nèi)在沖突的趨勢。生成式人工智能所帶來的最根本性的挑戰(zhàn)，即人類可能最終無法區(qū)分機器人和人類。應(yīng)該看到，人們在未來所獲取的信息和知識將越來越多地通過機器自動生成，尤其是隨著人工智能越來越強大，人們可能最終無法分辨出人類和人工智能分別產(chǎn)出的信息與知識之間的差異，甚至人工智能的表達和說服能力將勝過人類。

在這些革命性的變化的推動下，構(gòu)建在技術(shù)社會系統(tǒng)之上的人類社會正在經(jīng)歷一場激進的變化。這些變化可能主要發(fā)生在生命醫(yī)學(xué)、數(shù)字與智能技術(shù)等領(lǐng)域，其主要表現(xiàn)是天然自然與人工自然的融合、人類智能與機器智能的整合。以合成生物學(xué)為例，正在研究中的回收工業(yè)廢物的“化學(xué)機器人”將插入現(xiàn)有細菌底盤來產(chǎn)生所需的代謝反應(yīng)。這種從新陳代謝到DNA的變化方向意味著，通過合成生物技術(shù)，分子生物學(xué)的中心法則變成了化學(xué)分子世界的部分真理。隨著時間的推移，化學(xué)機器人將利用代謝生物化學(xué)的調(diào)節(jié)可以驅(qū)動DNA變化的事實，將所需反應(yīng)的指令強制寫入細菌藍圖中。這種對生物學(xué)中信息流的科學(xué)思考方式的顛覆將使我們在碳捕獲、固氮和塑料降解等緊迫課題方面取得巨大飛躍，這進一步意味著整個行星正在邁向全新的人工化時期。[2]而生成式人工智能也正在從根本上改變著人類的社會生活和生產(chǎn)勞動，從導(dǎo)航、健康監(jiān)測、日常寫作到科學(xué)研究，人工智能助手可能成為人類須臾不可離的“技術(shù)伴侶”。雖然大多數(shù)技術(shù)專家認為目前還談不上奇點臨近，但的確是時候嚴肅思考我們究竟需要一個怎樣的人機共生的未來。

充分認識顛覆性前沿科技對技術(shù)社會系統(tǒng)的革命性影響，有助于發(fā)現(xiàn)結(jié)構(gòu)性的涌現(xiàn)特征，也是評估新興科技倫理未知風(fēng)險的關(guān)鍵。一般而言，大多數(shù)科技倫理分析往往關(guān)注創(chuàng)新對個人或群體的影響，而忽視其對社會基本結(jié)構(gòu)的影響。例如，在20世紀50、60年代，美國對州際公路系統(tǒng)的預(yù)期倫理分析可能會權(quán)衡快速個人交通的價值與致命車輛碰撞的危險，但卻沒有看到對汽油的旺盛需求將為美國在中東擴大軍事能力提供理由，從而導(dǎo)致了強大的軍工復(fù)合體的進一步構(gòu)建。而智能手機、短視頻和無人駕駛等技術(shù)在整體上所導(dǎo)致的社會生活層面的改變也與此類似。由此可見，新技術(shù)對社會基本結(jié)構(gòu)的影響通常是看似不相關(guān)的技術(shù)復(fù)合體之間協(xié)同相互作用的產(chǎn)物。因此我們不僅要研究單個技術(shù)的倫理和社會影響，還應(yīng)進一步關(guān)切各種技術(shù)綜合體在整個技術(shù)社會系統(tǒng)中產(chǎn)生的協(xié)同效應(yīng)。[3]最近，在有關(guān)前沿人工智能的風(fēng)險的討論中，人工智能帶來的生物、化學(xué)軍民兩用技術(shù)門檻降低所帶來的跨領(lǐng)域復(fù)合風(fēng)險備受關(guān)注。

前沿科技倫理風(fēng)險認知的底層邏輯

從國家戰(zhàn)略的層面來講，對前沿科技倫理風(fēng)險及深層次倫理風(fēng)險的認知事關(guān)重大，是相關(guān)科技、產(chǎn)業(yè)、社會、教育、環(huán)境、衛(wèi)生健康等各方面政策選擇和實施導(dǎo)向的基礎(chǔ)。展望未來，人類將進入深度科技化時代，科技影響的復(fù)雜性日益呈指數(shù)級上升，我們的智慧和意識能否跟上這一加速度，正在成為本世紀文明演進的首要難題。而應(yīng)對這一難題的關(guān)鍵，不應(yīng)僅依賴事后的反省，也不應(yīng)是簡單的禁止，而在于不斷總結(jié)和反思前沿科技倫理風(fēng)險預(yù)見、評估和審查中的方法和經(jīng)驗，不斷地發(fā)現(xiàn)、探索和重構(gòu)前沿科技倫理風(fēng)險認知的底層邏輯。

作為政策工具的科技倫理研究和風(fēng)險認知。前沿科技所導(dǎo)致的價值沖突和倫理抉擇往往是前所未有的，是傳統(tǒng)的道德哲學(xué)和倫理理論所沒有遭遇或處理過的問題。前沿科技倫理研究和風(fēng)險認知并不是單純的倫理學(xué)或應(yīng)用倫理學(xué)研究（盡管后者為前者提供了重要的學(xué)理基礎(chǔ)），也不僅僅局限于科技共同體的共識，而更多地是作為政策工具和問題導(dǎo)向的跨學(xué)科探究，是參與科技倫理治理的相關(guān)群體的集體認知——而這也是當前各國推動科技倫理與治理真正的挑戰(zhàn)性所在。

針對前沿科技倫理問題與風(fēng)險，基本的認知策略是，根據(jù)目前所掌握的科技倫理風(fēng)險相關(guān)事實及其未來的可能性，運用倫理、法律、社會、政治、經(jīng)濟、公共管理等領(lǐng)域已有的理論資源，對其中所涉及的倫理和法律等方面的價值問題（如權(quán)利、責任、公平等）展開分析，對利益相關(guān)者的具體風(fēng)險和收益加以權(quán)衡。

為了加強對科技活動的倫理規(guī)范，政府部門、行業(yè)、產(chǎn)業(yè)和科技共同體制定了科技倫理原則、規(guī)范、標準和指南，其中包括一般性的和通用的，而更多的是針對生命醫(yī)學(xué)、人工智能等專業(yè)和重點領(lǐng)域的。盡管這些文件是規(guī)范性的，但它們的形成只是科技倫理問題的跨學(xué)科共識和集體認知的第一步，因此它們可用作科技活動的倫理評估和倫理審查的參考框架和工作假設(shè)。換言之，科技倫理與創(chuàng)新一樣也應(yīng)該有一個從0到1的過程，相關(guān)規(guī)范的實際內(nèi)涵和認知價值需要通過科技倫理評估、審查等實踐才能得到落實、豐富、調(diào)整和發(fā)展。

前沿科技倫理風(fēng)險認知的系統(tǒng)性和可塑性。對前沿科技倫理風(fēng)險的全面與深入的認知建立在系統(tǒng)思維之上，不是單純的科學(xué)、技術(shù)、倫理認知及其組合，而是一種綜合性與系統(tǒng)性的認知。

其一，包括純科學(xué)在內(nèi)的現(xiàn)代科技活動都是在科技軍工復(fù)合體和科技金融復(fù)合體等復(fù)雜的科技社會系統(tǒng)中進行的，這些復(fù)合體或科技社會系統(tǒng)決定了科技活動的目標，特別是如果科技軍工復(fù)合體占主導(dǎo)地位，兩用研究勢必強化，科技倫理風(fēng)險會變得更加復(fù)雜。

其二，前沿科技所改變或顛覆的并不僅是單純的科學(xué)事實或技術(shù)現(xiàn)實，對前沿科技所帶來的全新事實或現(xiàn)實的認知和理解，應(yīng)該建立在科技社會系統(tǒng)與自然生態(tài)系統(tǒng)（生物圈）、信息傳播系統(tǒng)（信息圈）、社會政治經(jīng)濟文化系統(tǒng)（文明圈）和正在形成之中的萬物智能化系統(tǒng)（心智圈）的相互聯(lián)系和影響之上。

其三，科技倫理風(fēng)險與法律、安全、安保等風(fēng)險緊密相連，要從系統(tǒng)性的維度對其加以把握?？梢哉f，前沿科技風(fēng)險認知的最大障礙是科技專家、倫理法律公共政策專家和科技政策制定者的認知大多局限于領(lǐng)域知識，而這些領(lǐng)域知識難以與前沿科技帶來的系統(tǒng)性的全新現(xiàn)實相匹配。由此難免導(dǎo)致系統(tǒng)性無知，而無法識別科技、自然和人類系統(tǒng)之間復(fù)雜的互動糾纏。

其四，前沿科技的倫理價值取向離不開相關(guān)的科技文化背景，對它們的深入研究和了解是前沿科技倫理風(fēng)險認知必不可少的基礎(chǔ)。值得指出的是，當前生命科技和人工智能等領(lǐng)域的最新發(fā)展，與后人類主義和超人類主義等思想觀念有密切的關(guān)聯(lián)。例如，超人類主義相信人類可以通過科學(xué)和技術(shù)達到一種新的存在狀態(tài)——更聰明、更強大、更長壽，而有關(guān)人工智能長期風(fēng)險和生存風(fēng)險與有效加速主義之爭的背后是科技末世論與科技樂觀主義的對峙。

因此，前沿科技倫理風(fēng)險認知的宗旨是立足系統(tǒng)思維，超越簡單的技術(shù)樂觀主義和技術(shù)悲觀主義，賦予科技創(chuàng)新更大的可塑性。首先，通過對前沿科技所帶來的系統(tǒng)性新現(xiàn)實的科技倫理分析，最大限度地克服由系統(tǒng)性無知所引發(fā)的過于樂觀的幻想和過于悲觀的恐懼，從而使前沿科技的潛在風(fēng)險得以相對理性地澄清，也使得其中的不確定性和未知前景得以呈現(xiàn)。

其次，通過對前沿科技倫理風(fēng)險的系統(tǒng)性分析和認知，研究者與政策制定者應(yīng)據(jù)此更全面地了解、更明確地界定前沿科技倫理爭議中的關(guān)鍵問題，進而聚焦于這些問題，在恰當?shù)臅r機作出最大限度地減少潛在科技倫理風(fēng)險的政策選擇。一方面，研究者與政策制定者應(yīng)運用系統(tǒng)認知，在前沿科技倫理風(fēng)險的問題定義和解決方案的提出中掌握主動權(quán)，使科技倫理治理免受媒體炒作、新技術(shù)反對群體的激進立場以及大科技公司游說的負面影響；另一方面，研究者和政策制定者應(yīng)該充分認識到前沿科技倫理風(fēng)險往往涉及的是倫理兩難或道德困境，應(yīng)訴諸權(quán)衡、審度、調(diào)適等實踐智慧，而不是非善即惡的簡單抉擇。

最后，更為重要的是，前沿科技倫理研究和風(fēng)險認知賦予科技創(chuàng)新更大可塑性的關(guān)鍵在于研究者和政策制定者的系統(tǒng)認知能力與整體調(diào)控能力。轉(zhuǎn)基因技術(shù)的倫理爭議、劍橋分析干預(yù)美國大選等事件表明，對新技術(shù)的過早擔憂（如臉書等被指責為“全景監(jiān)獄”可能會干擾對科技倫理風(fēng)險的系統(tǒng)認知和理性對話）使社會公眾和政策制定者難以了解問題的全貌和未來更加豐富的可能性。[4]在另外一些情況下，媒體對丑聞的過度關(guān)注和人們對科技可能性的過度想象（如人工智能終結(jié)者）可能會轉(zhuǎn)移問題的焦點，不當放大人們的風(fēng)險感知。因此，研究者和政策制定者要保持必要的風(fēng)險認知定力，要將對倫理風(fēng)險的夸大及由此造成的恐慌心理和正在探討的倫理問題與風(fēng)險區(qū)分開來，致力于澄清具體科技活動中利益相關(guān)者的利害關(guān)系，在不同的價值觀之間（如隱私與安全）進行權(quán)衡與調(diào)節(jié)。

強調(diào)前沿科技風(fēng)險認知的系統(tǒng)性與可塑性，意味著理想的科技倫理風(fēng)險防范和科技倫理治理并不僅僅是人們常說的方向盤和剎車片，而更是建立在系統(tǒng)權(quán)衡之上的戰(zhàn)略性的塑造者。簡單地講，就是要認識到前沿科技倫理風(fēng)險以及我們對其認識的系統(tǒng)性、復(fù)雜性和未定性。而科技倫理治理的關(guān)鍵策略是從相稱性原則出發(fā)，在預(yù)防科技倫理高風(fēng)險和促進有益的科技創(chuàng)新之間保持必要的張力，為前沿科技構(gòu)造應(yīng)有的創(chuàng)新空間。因此，為了走向更具可塑性的科技倫理治理，負責任的創(chuàng)新既要最大限度地減少前沿科技可能的倫理風(fēng)險，又要避免過度科技倫理風(fēng)險防范抑制有益的前沿科技創(chuàng)新。而這無疑需要相關(guān)主體在實踐探索中反復(fù)磨合共識，不斷凝練智慧。

深層次科技倫理風(fēng)險的預(yù)控和應(yīng)對之道

當前，前沿和新興科技的發(fā)展日益走向一種我們尚未能把握其全貌的深度科技化時代，不論是其中所呈現(xiàn)的深層次的倫理風(fēng)險，還是新興科技驅(qū)動的科技社會的革命性變化，都表明我們要用一種更加開放和審慎的態(tài)度深化認識、預(yù)控和應(yīng)對可能出現(xiàn)的科技倫理風(fēng)險。

第一，要從樹立科學(xué)認知的倫理邊界意識入手加強科技倫理意識建設(shè)，通過科技、倫理、法律等交叉學(xué)科研究，探索前沿科技的倫理邊界和標準，形成自主的話語權(quán)。為了避免國際科技霸權(quán)主義置喙，建議通過扎實的學(xué)術(shù)研究和參與國際主流學(xué)術(shù)交流推進相關(guān)工作。為此，要進一步加強對科技倫理風(fēng)險的研究和評估，并將這方面的研究能力作為前沿科技創(chuàng)新的核心認知能力。相關(guān)關(guān)鍵能力包括三個方面：一是通過跨學(xué)科協(xié)同，對生命科技和人工智能前沿的具體研究的社會影響和風(fēng)險展開系統(tǒng)研究；二是通過跨領(lǐng)域探索，聚焦可能出現(xiàn)的跨領(lǐng)域復(fù)合性不確定風(fēng)險，如前沿人工智能與生命科學(xué)結(jié)合可能帶來的機遇與風(fēng)險等，對其程度和范圍作出相對準確的預(yù)見和評估；三是整合各學(xué)科和各領(lǐng)域，從領(lǐng)域、機構(gòu)和研究者等維度繪制前沿科技倫理風(fēng)險地圖，以此從總體上提升對前沿科技倫理風(fēng)險的系統(tǒng)認知。

第二，要將倫理規(guī)范、法律規(guī)制和技術(shù)解決方案三個維度結(jié)合起來，設(shè)置合理的倫理法律門檻，分級分類管理，構(gòu)建前沿科技倫理軟著陸機制，對深層次的科技倫理風(fēng)險展開系統(tǒng)性和整體性的治理。值得指出的是，對人工智能等可能出現(xiàn)生產(chǎn)力革命的前沿科技領(lǐng)域的監(jiān)管，應(yīng)該尊重科技規(guī)律和科技管理規(guī)律；對信息安全和內(nèi)容監(jiān)管設(shè)置的倫理法律門檻應(yīng)該分級分類，除了少數(shù)具有大規(guī)模社會動員和重大輿論影響的內(nèi)容外，應(yīng)該從容錯性的角度使得監(jiān)管適應(yīng)人工智能的超速發(fā)展；同時需要加強與科技和產(chǎn)業(yè)部門的協(xié)同治理，共同構(gòu)建前沿科技倫理軟著陸機制。應(yīng)該看到，在ChatGPT的開發(fā)過程中，OpenAI運用“人機價值對齊工程”在原理上解決了價值倫理沖突的調(diào)和與矯正，為前沿科技的深層次倫理問題的治理指出了一個可行的方向——人機和人類與技術(shù)的價值對齊工程化。

第三，為了不讓各種科技倫理原則規(guī)范束之高閣，應(yīng)該通過技術(shù)、管理和制度方面的解決方案，形成一套治理機制。其一，通過廣泛的調(diào)研和預(yù)見性研究與評估，建立和不斷更新前沿科技領(lǐng)域的科技倫理高風(fēng)險清單。應(yīng)通過這些清單的發(fā)布和審查復(fù)核，讓科技共同體、管理者和整個社會認識到具體的科技倫理風(fēng)險和倫理邊界所在。其二，可以從開源創(chuàng)新和開放科學(xué)的維度，要求具有較高科技倫理風(fēng)險的研究和創(chuàng)新活動在啟動階段公開注冊，通過數(shù)據(jù)開放存儲與共享，在研究實驗的全生命周期保持研究數(shù)據(jù)的透明性和可核查性，以便及時接受必要的倫理風(fēng)險評估和審查。其三，要從制度上設(shè)計不同部門不同規(guī)定之間的接口機制，如不同倫理審查辦法以及倫理委員會之間建立互操作、互認可等相互銜接和協(xié)同的機制。

第四，推進科技倫理研究、推動科技倫理傳播和教育的關(guān)鍵不僅在于科技倫理學(xué)、應(yīng)用倫理學(xué)和倫理學(xué)方面的研究、教育和傳播，更關(guān)鍵的是增進科技工作者和全民的系統(tǒng)思維與系統(tǒng)風(fēng)險認知能力，尤其是加強科學(xué)、技術(shù)、工程哲學(xué)、歷史、文化、政治、經(jīng)濟、社會等方面的交叉學(xué)科和跨學(xué)科研究，進而全面提升科技人員和社會公眾基于系統(tǒng)性認知的科技倫理素養(yǎng)。

第五，科技倫理治理要注重遵循相稱性原則，既要避免松懈，也要防止過于嚴格。國際科技倫理治理中非常重視的相稱性原則，其基本內(nèi)涵是既不忽視問題，也不夸大問題，而是要根據(jù)科技理論風(fēng)險的程度展開針對性的治理。包括聯(lián)合國教科文組織新近發(fā)布的《人工智能倫理問題建議書》等在內(nèi)的國際科技倫理指引中都強調(diào)了這一原則。從相稱性原則出發(fā)，一方面，科技發(fā)展不要“沖”得過快，科技活動的主體應(yīng)該認識到為了使科技倫理風(fēng)險可控，需要及時作出倫理回調(diào)；另一方面，在對科技企業(yè)的倫理治理、法律規(guī)制與行政監(jiān)管中，應(yīng)該致力于通過恰當?shù)谋O(jiān)管促使其及時作出必要的倫理回調(diào)，同時應(yīng)該避免過于嚴苛的處置。

（本文系國家社會科學(xué)基金重大項目“智能革命與人類深度科技化前景的哲學(xué)研究”的階段性成果，項目編號：17ZDA028）

注釋

[1]珍妮·戴爾：《拉斐爾·尤斯特：“我們必須盡早采取行動”》，2022年，https://www.unesco.org/zh/articles/lafeieryousitewomenbixujinzaocaiquxingdong?hub=83294。

[2]C. Preston, “Socrates Untenured: Ethics, Experts, and the Public in the Synthetic Age,“ Issues in Science and Technology, 2020(3).

[3]“Ethics in Technology Assessment,“ Issues in Science and Technology, 2020(2).

[4]薩姆·吉爾伯特：《好的數(shù)據(jù)：樂觀主義者的數(shù)字未來指南》，孟雁北譯，上海人民出版社，2023年，第145～156頁。

Deep Ethical Risks of Frontier Science and Technology and Responses to Them

Duan Weiwen

Abstracts: At present, the ethical risks of frontier science and technology, such as life science and technology and AI, have increasingly aroused great concern in the international community, and China's S&T ethical governance is embarking on the road of institutionalized development. To better promote China's ethical governance of science and technology, it is necessary to effectively grasp the characteristics of frontier science and technology as the focus of ethical governance of science and technology and reveal a series of deep ethical risks it presents. Thus, it is necessary to further strengthen the understanding of the structural characteristics of the sociotechnical system, and to explore and reconstruct the underlying logic of risk perception. Firstly, we should fully understand the revolutionary changes in the sociotechnical system driven by emerging science and technology, to understand the structural essence of the deep ethical risks of emerging technology. Secondly, based on the open practice of ethical governance of frontier science and technology, the risk cognition and ethical principles of science and technology are regarded as the collective cognition and working assumptions that are constantly updated by relevant groups. Thirdly, it emphasizes the systemic and plasticity nature of risk cognition in frontier science and technology, giving innovation a greater space of possibilities. As a result, we can find ways to prevent, control and cope with deep ethical risks of S&T, such as establishing ethical boundaries for scientific cognition, setting reasonable ethical and legal thresholds, forming an open and holistic governance mechanism, improving public S&T ethical literacy, and adhering to the principle of proportionality.

Keywords: ethics of science and technology, ethics and governance of science and technology, deep technologization, deep ethical risks, systems thinking