中國科學院心理研究所研究員 朱廷劭

【摘要】隨著算法技術在各個領域的應用越來越普遍，尤其在人文領域，不管是推薦系統(tǒng)，還是人力資源招聘，以及心理健康，都得到了很好的應用，并且取得了一定的成效。但是，在具體應用中，各類APP通過各類算法過度采集個人信息并加以無限制利用，將用戶綁定在他們所精心構筑的“牢籠”，由此引發(fā)數(shù)據隱私泄露、算法濫用以及技術至上等新問題層出不窮，給社會帶來一定程度的不良影響。因此，要完善相關法律約束算法的使用，提高執(zhí)法力度鼓勵算法向善，通過增強用戶自主性以消除不良心理效應，確保技術更好地為人服務，而不是帶來更多的問題。

【關鍵詞】算法計算 算法向善 心理效應

【中圖分類號】TP181 【文獻標識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2022.10.007

隨著時代的發(fā)展，信息技術尤其是人工智能與人們的日常生活和工作的結合越來越密切。一般來說，計算機為了完成特定的任務，需要遵循一定的算法。算法（algorithm）是指為了完成特定任務的計算步驟，用于計算、數(shù)據處理和自動預測推理。算法是為了解決特定的問題而提出的，問題來源就是輸入，而期望結果就是它的輸出。算法要求每個步驟都是明確的、可行的，這樣可以一定程度上確保對結果的預期也是確定的。算法步驟的明確并不代表算法所建立的輸入輸出之間的關系是明確可解釋的。當前，算法技術廣泛融入線上線下的各種應用場景，深入貼近人民生活。在提供各種便利性的同時，算法可能帶來的副作用，即“算法作惡”逐漸引起人們的重視，如何確保算法向善、技術向善的同時盡量遏制“算法作惡”是亟待解決的問題。

算法使用失范對社會造成不良影響

目前，新聞資訊、社交及短視頻等APP通過各類算法過度采集個人信息并加以無限制利用，將用戶綁定在他們所精心構筑的“牢籠”。由此引發(fā)數(shù)據隱私泄露、算法濫用以及技術至上等新問題層出不窮，給社會造成一定程度的不良影響。

數(shù)據濫用引發(fā)公眾的隱私擔憂。各類網絡應用APP可以采集海量的用戶數(shù)據，而用戶數(shù)據的濫用則會引發(fā)公眾對隱私泄露的強烈擔憂。2006年，美國在線（American On Line, AOL）為用戶搜索數(shù)據泄露一事向公眾道歉。此前，AOL的一個研究小組在網絡上公開了該公司約65.8萬匿名化處理后的用戶在3個月期間（同年3月1日～5月31日）所進行的搜索日志信息，約2000萬份左右，占同期搜索總量的0.3%。該研究小組的初衷是為了向學術研究人員提供一批真實數(shù)據進行算法比較，但是后來一些網站開始關注這批數(shù)據，并由此引發(fā)公眾對隱私信息泄露的巨大擔憂。

由于很多用戶把AOL作為互聯(lián)網入口，因此有些搜索關鍵詞就含有個人隱私信息，雖然用戶已經被匿名化處理，但是從某個用戶ID所做的一系列搜索，還是有可能找到其真實身份。比如某位用戶搜索了某個具體的人名，或者家庭住址的郵編。用戶可能同時又搜索了其他不愿意讓他人知道的信息，其中一名AOL用戶進行了下面一連串搜索：“how to kill your wife”（如何殺害你的老婆）；“murder photo”（謀殺圖片）和“www.murderdpeople.com”。當所有這一系列搜索行為都被公布，隱私就不復存在。這一事件在互聯(lián)網上招致鋪天蓋地有關泄漏個人隱私權利的批評。同年8月，AOL為用戶搜索數(shù)據泄露一事向公眾道歉，并解散了該研究小組。盡管相關信息已被撤下，但目前仍可以在互聯(lián)網下載。

算法濫用推波助瀾社會不公。算法濫用是人工智能自動化決策中，由數(shù)據分析導致的對特定群體的系統(tǒng)性的不公正對待，主要表現(xiàn)為性別歧視、價格歧視和種族歧視。為了追求商業(yè)利益最大化，算法有可能違背社會公平、道德和人性。比如，大數(shù)據殺熟，同樣的商品或服務，老客戶的價格反而高過新客戶。只推薦給人們能潛在帶來商業(yè)利益的東西，而不是最適合、最恰當?shù)臇|西。通過濫用人性弱點，過度激發(fā)誘導客戶，從而對算法投放的產品服務產生依賴。只考慮算法的最終效果，沒有考慮人性，將人“異化”為簡單的數(shù)據。算法的具體原理和參數(shù)只有運營企業(yè)的少部分人知道，會產生利益捆綁。有的企業(yè)可能利用算法作惡，通過發(fā)布吸引眼球的信息推薦虛假產品等。

2015年6月以來，亞馬遜全球員工數(shù)驟增，人力資源部需要拼命工作以招攬新員工。為此，公司建立了一個十幾人的團隊，開發(fā)AI算法簡歷篩選系統(tǒng)。團隊訓練了針對不同工種的計算機招聘模型，分析以往簡歷中出現(xiàn)的術語，并對常見技能進行重要性排序。但由于這些簡歷大部分是男性的，結果算法被訓練成了對女性求職者有偏見，會優(yōu)先選擇男性求職者。算法對簡歷上求職者提交的自我描述內容也有不同偏好，會更多向男性求職者簡歷中的高頻詞匯傾斜。性別偏見不是這類招聘模型唯一存在的問題。訓練模型所需的數(shù)據也存在問題，比如，很難對推薦的最終效果進行評估，使得一些不合格的求職者會被算法推薦。人們一直希望利用科技提高招聘效率、減少對招聘人員主觀看法的依賴，但是如何確保算法的公平和有效性，還需要很長一段時間來實現(xiàn)。

各種各樣的算法歧視廣泛存在。一是近年來，我國一些網購平臺利用大數(shù)據“殺熟”的現(xiàn)象屢見不鮮，利用老顧客的信任抬高價格，以謀取不正當利益。二是性別歧視。一些招聘平臺上的簡歷篩選算法，對男性求職者有著明顯的偏好，女性求職者的簡歷常常得分偏低。三是種族歧視。一些高薪工作廣告更多地向特定種族的人群推送，智能照相機在照相時提醒亞裔睜開眼睛等。此外，還有宗教信仰、經濟狀況、外貌等特征被惡意使用所造成的算法歧視。

技術至上未必好心辦好事。英國的一家慈善機構Samaritans在2014年10月發(fā)布了一個免費的Twitter插件——Samaritans Radar，允許Twitter用戶監(jiān)視彼此在社交媒體上發(fā)布的負面內容。在使用時，該應用自動掃描用戶在Twitter上關注的任何賬戶，一旦用戶發(fā)布了負面情緒的表達，它便會向注冊監(jiān)控該帳戶的用戶發(fā)送電子郵件警報，標記相關的推特，并聯(lián)系和提供支持的最佳指導方式。

盡管這款應用的出發(fā)點是好的，但上線不久便受到了大量網民聲討，因為被監(jiān)控的人從未得到通知或知情同意。許多Twitter用戶擔憂該應用可能引發(fā)極大的隱私問題，并且很容易被用于騷擾或跟蹤，因為用戶的粉絲列表中可能不僅有朋友，也有對他們有威脅的人（也許是危險的壞人）；另外，用戶擔心使用Samaritans Radar會讓人覺得發(fā)推文會被監(jiān)測，這對那些正在尋求支持的人來說不那么安全，可能會迫使有心理健康問題的人離開網絡。

除此之外，算法作惡的情況可能還有利用算法注冊虛假賬號、雇傭網絡“水軍”，實施虛假點贊、轉發(fā)等流量造假，或者鼓動“飯圈”粉絲互撕謾罵、刷量控評，等等?；蛘?，通過操縱干預熱搜、榜單等以各種“帶節(jié)奏”。一些算法服務商在開展個性化推薦、熱點榜單、信息發(fā)布等活動時，還存在影響網絡輿論的現(xiàn)象。我們應該看到，算法的合理使用會給人們的工作生活帶來極大便利，但是惡意使用即算法作惡則會造成不良社會影響，帶來嚴重的后果。

算法作惡的心理效應

算法自身不會對人們造成直接的危害，一般是通過算法的運行對人們的行為心理帶來影響，算法作惡背后的心理效應主要包括回音室效應、信息繭房和尖叫效應等。

高度同質化下沉默的螺旋?；芈暿倚怯尚睦韺W家凱斯·桑斯坦（Cass R. Sustein）提出，[1]指的是在一個相對封閉的環(huán)境上，一些意見相近的聲音不斷重復，并以夸張或其他扭曲形式重復，令處于相對封閉環(huán)境中的大多數(shù)人認為這些扭曲的故事就是事實的全部。網絡技術使得信息的傳遞和分享變得更加便捷簡單，但也在無形中打造出一個封閉的、高度同質化的“回聲室”，使得人們更重視跟自己的假設或信念一致的事例。“人以群分”，人們總是愿意跟意見相似的人為伍。

隨著各種網絡社交媒體的涌現(xiàn)與發(fā)展，互聯(lián)網空間的回聲室效應愈發(fā)凸顯。在社交網絡中，人們以社交對象作為信息來源。他們在選擇信息來源的同時，也就進行了信息的過濾。社交網絡在一定程度上強化了人群的分化，人們受社交圈以及自身的立場態(tài)度的影響，往往更愿意固守在符合自己偏好的圈子里，對一些與自己意見相左、志趣不合的人“取關”甚至“粉轉黑”。目前部分商業(yè)網站會根據用戶的搜尋結果，進一步提供內容相近的網絡信息，這種讓人產生“撓到癢處”的心態(tài)反而會帶來一定的問題。

網絡服務提供商通過算法分析，向用戶推送符合用戶偏好的信息，并不斷強化，其結果就是讓用戶陷入“同溫層”。當我們越喜歡看某一類的文章，算法就越會更多推送類似的內容，這導致我們越來越加深自己原本的想法，即便自己原本的想法可能并不都是正確的，這就是“同溫層效應”。傳播學研究發(fā)現(xiàn)，這種現(xiàn)象最終會形成“沉默的螺旋”，即只有主流意見發(fā)聲，且聲音越來越大，其他人則附和或沉默。在網絡虛擬世界，人們往往會偏好與自己立場、觀念接近的信息源，屏蔽或刻意避開自己厭惡的持相反意見者。算法則可以根據我們過往的行為留痕（比如，瀏覽、點贊等），把最對我們胃口的信息推送到我們面前，這更進一步加劇了信息“同溫層效應”。

算法作繭縛住用戶。信息繭房也是由凱斯·桑斯坦提出的，[2]在信息傳播中，因公眾自身的信息需求并非全方位的，而一般只注意自己選擇的東西和使自己愉悅的內容，久而久之，會將自身桎梏于像蠶繭一般的“信息繭房”中。信息繭房會加劇網絡用戶群體的極化，群體內的成員與外部交流會大幅減少，群體成員因為擁有相似的觀點和看法，內部趨同的特征愈發(fā)顯著，容易產生盲目自信、心胸狹隘等不良心理，并誘發(fā)極端思想和極端行為。

互聯(lián)網平臺的功能設置中，有時為了規(guī)避用戶的反對，將一些體現(xiàn)個人自主性的設置隱藏很深，一般用戶面對眼花繚亂的設置，很多情況下只能接受系統(tǒng)的缺省設置，將自主性完全交由平臺。這種情況下，個體會不自覺地陷入平臺算法推薦的信息中，對推薦內容感到高度滿意并很難感知到自身的信息受限。算法通過不斷培養(yǎng)用戶對平臺的依賴，久而久之，用戶信息接收維度變窄，獲取渠道單一，在單調的信息交互中形成特定的興趣習慣，讓人深陷“信息繭房”的桎梏。

眼球經濟的價值導向。尖叫效應是指在內容傳播中，通過非法剪拼改編的驚悚、惡搞等低俗內容，迅速引發(fā)人們的大量關注，無論是從滿足人們的獵奇心理，還是引發(fā)人們的指責批評，都能獲取高額的流量和點擊率[3]。依托大數(shù)據和人工智能，可以對用戶的網絡行為進行深度分析，在此基礎上將更多契合尖叫效應的信息提供給用戶，從而達到取悅受眾，擴大平臺用戶基數(shù)的目的。在關注為王、流量為王的導向下，這種效應會成為一種傳播的價值導向，吸引更多人制作違反道德、違反法律法規(guī)的內容，在眾多平臺的裂變式傳播下，對人們尤其是青少年的世界觀、人生觀、價值觀造成不良影響。如果平臺只是不帶價值評判的純數(shù)據篩選，其采取分析、歸納、推薦的算法無可厚非，但如果忽略了“價值判斷”，就會讓算法淪為尖叫效應的幫兇。

建議

技術的發(fā)展趨勢是不可逆轉的，“雙刃劍”效應不可避免，但是考慮到商業(yè)的逐利內驅力，如果寄希望于商業(yè)機構的自我約束，那無異于與虎謀皮。如何在充分發(fā)揮算法在人們日常生活和工作中的積極作用同時，對其潛在風險進行有效約束，是值得我們特別重視的問題。

完善相關法律約束算法的使用。目前出現(xiàn)的一些超級平臺，能夠通過手中掌握的用戶行為數(shù)據，實現(xiàn)對用戶偏好的準確把握，并且有能力實現(xiàn)信息的精準投放。在資本的驅使下，僅僅通過“向善”的宣教很難達到效果。因此，必須通過不斷完善相關的法律條文，約束算法在合規(guī)的范圍內被使用。

歐盟《通用數(shù)據保護條例》（General Data Protection Regulation, GDPR），是歐洲聯(lián)盟于2018年5月25日出臺的有關信息保護的條例。GDPR?向所有收集、處理、儲存、管理歐盟公民個?數(shù)據的企業(yè)，限制了這些企業(yè)收集與處理?戶個?信息的權限，旨在賦予歐盟公民對個人數(shù)據的更多控制權。GDPR規(guī)定企業(yè)必須獲得數(shù)據提供者關于其數(shù)據合法使用的明確授權，?戶也擁有隨時取消授權的權利。當獲取數(shù)據時所述的?的不再適?或?戶不再允許企業(yè)使?該數(shù)據，GDPR規(guī)定企業(yè)必須刪除?戶信息，同時將?戶的數(shù)據清除請求告知第三?處理機構。

2021年11月1日起施行的《中華人民共和國個人信息保護法》是我國首部專門針對個人信息保護的法律。個人信息是指以電子或者其他方式記錄的與已識別或者可識別的自然人有關的各種信息，不包括匿名化處理后的信息。個人信息保護法強調在處理個人信息時，應遵循“告知—知情—同意”的原則，即在處理個人信息前，以顯著方式、清晰易懂的語言真實、準確、完整地向個人告知相關事項，并應取得個人同意。該法明確規(guī)定不得過度收集個人信息，并加大了對侵犯個人信息行為的懲處力度。一旦發(fā)生侵害個人信息的行為，將對個人信息處理者適用過錯推定原則，不能證明自己沒有過錯的就應當承擔損害賠償?shù)惹謾嘭熑?，這將在很大程度上減輕個人維權的難度。

GDPR和個人信息保護法的實施對中國互聯(lián)?的沖擊是巨大的，將對現(xiàn)有的基于搜集個?信息和隱私驅動的營收模式產?重?影響，使得算法在合法范圍內被使用。“道高一尺，魔高一丈”，隨著技術的發(fā)展，也需要不斷完善相關法律法規(guī)，堵住不斷出現(xiàn)的算法作惡的新漏洞。

提高執(zhí)法力度鼓勵算法向善。加強行業(yè)自律，加強算法的道德和倫理建設是必要的。但是，在巨大利益的驅使下，仍然會有平臺游走在灰色的邊緣地帶。個人信息保護法需要全社會形成合力，形成針對個人信息不法使用的包圍圈。但是，法律的出臺僅僅是開始，法律的生命在于實施，權威在于執(zhí)行。只有在不斷的司法實踐中，實現(xiàn)持續(xù)一貫地對用戶信息的保護，并且通過對不法行為的嚴懲，才能達到立法的初衷。因此，應在立法的同時，加強執(zhí)法的力度，實現(xiàn)對相關平臺的有效震懾，使其不敢為。

網絡虛擬世界與現(xiàn)實世界的聯(lián)系越來越緊密，為宣傳個人信息保護提供了便利條件。依靠網絡手段，向大家宣講相關的法律知識，具有很好的傳達性。對于違法行為及其懲處的宣講，則可以讓更多的用戶了解到什么樣的行為是違法行為，從而在自己的生活工作中避免不法行為對自己的傷害，也同時達到了對潛在不法分子的有效警告。

通過增強用戶自主性以消除不良心理效應。大力保護用戶的個人自主性，平臺應該將個人自主性設置交由用戶，向用戶充分解釋各項自主性設置的功能，使得用戶能夠對平臺信息有更大的自主權。此外，在信息提供方面，平臺應該對所有的信息平等對待，而不應該設置排他性的使用條款；擴大算法的信息披露力度，即作為算法的相關主體及利益相關方應該披露算法的運行原理，使用過程中可能存在的偏見和漏洞以及可能對個人和社會造成的潛在危害。算法系統(tǒng)的設計、測試、運行表現(xiàn)及變動都需要留有記錄，全程監(jiān)測可審計。

為了實現(xiàn)網絡環(huán)境的風清氣正，必須糾正“算法沒有價值觀”的價值判斷。網絡平臺運營者應擔負起更多的責任，包括社會責任和法律責任。我們應該發(fā)揮算法向善的一面，防止其成為不良內容傳播的幫兇，以健康向上的價值觀來規(guī)范和指引算法應用，營造清朗的網絡空間。

注釋

[1]Jamieson K. H.; Cappella J. N., 2008, Echo Chamber: Rush Limbaugh and the Conservative Media Establishment, Oxford University Press.

[2]Sunstein, C. R., 2006,  Infotopia: How many minds produce knowledge, Oxford University Press.

[3]Duan, P.; Zhang, L.; Song, K. and Han, X., 2020, "Intelligent News—The Backbone of Smart Media Communication", In Communication of Smart Media, Springer, Singapore.

責 編／肖晗題

朱廷劭，中國科學院心理研究所研究員、博導，中國科學院行為科學重點實驗室副主任。研究方向為大數(shù)據心理學、 網絡挖掘、機器學習。主要著作有《大數(shù)據時代的心理學研究及應用》等。

Thoughts on Increasing Social Good in the Humanistic Application of Algorithmic Technology

Zhu Tingshao

Abstract: With the application of algorithmic technology in various fields becoming more and more common, especially in the humanities fields such as the recommendation system, human resource recruitment and mental health, it has been well applied and achieved certain results. But in the specific application, various Apps over-collect personal information through algorithms and make unlimited use of it, binding users to their carefully constructed "cage". This has led to emerging problems such as privacy leaking, algorithmic abuse and technological supremacy, bringing a certain degree of adverse impact to the society. Therefore, it is necessary to standardize the use of algorithms by improving the relevant laws, ramp up law enforcement to encourage increase of social good through algorithms, eliminate adverse psychological effects by enhancing user autonomy, and ensure that technology can better serve people rather than bring more problems.

Keywords: algorithmic calculation, algorithmic good, psychological effect