AI來襲，人類恐慌？

全球首部人工智能(néng)立法——歐盟《人工智能(néng)法》草案，拟于當地時間5月11日在歐洲議會進(jìn)行首次投票（關鍵委員會投票）。該草案要求ChatGPT等人工智能(néng)工具的開(kāi)發(fā)商披露在構建其系統時使用的版權材料，其适用範圍包括在歐盟區内運行的所有AI系統，無論其供應方來自當地還(hái)是英美等第三方國(guó)家。一旦通過(guò)，這(zhè)部法案將(jiāng)産生全球影響。

事(shì)實上，人工智能(néng)的崛起(qǐ)對(duì)人類社會既有治理機制帶來諸多挑戰，如何調整法律法規進(jìn)行應對(duì)是世界各國(guó)面(miàn)臨的共同問題。但總的來說，立法總是難免滞後(hòu)于技術發(fā)展，如何适應AI的快速甚至是跳躍性進(jìn)步，同時又防止阻礙AI技術的進(jìn)步，是法律界乃至整個人類社會面(miàn)臨的現實困境。

上海交通大學(xué)首批文科資深教授、中國(guó)法與社會研究院院長(cháng)、中國(guó)計算機學(xué)會（CCF）計算法學(xué)分會會長(cháng)季衛東特此爲《鳳凰周刊》撰文指出，我們(人類) 需要”采取未雨綢缪的對(duì)策以防患于未然，并且在試錯過(guò)程中找出擺脫悖論的進(jìn)路“。

以下爲季衛東教授文章全文， 文章原标題爲：《強人工智能(néng)的治理與法律挑戰》。

奇點再次成(chéng)爲輿論的焦點。

所謂“奇點”，在科技上指的是人工智能(néng)超越人類智慧的時刻。

七年前，當AI系統“阿爾法圍棋（AlphaGo）”擊敗來自韓國(guó)的圍棋世界冠軍李世石時，人工智能(néng)超越人類智能(néng)的預測似乎變成(chéng)了現實，曾經(jīng)引起(qǐ)一片騷動。在新冠疫情暴發(fā)前一年的那個夏天，油管（YouTube）用戶紛紛發(fā)現，該視頻網站上的機器人對(duì)戰場景都(dōu)被(bèi)自動删除了，于是又爆發(fā)出“機器覺醒”的驚呼。2022年6月，谷歌的一位軟件工程師還(hái)聲稱他研制的智能(néng)聊天機器人已經(jīng)産生了自主感情。到2023年3月17日，斯坦福大學(xué)教授米哈爾·科辛斯基公布了他的驚人發(fā)現：GPT-4不僅具有比以前更明顯的機器覺醒的迹象，還(hái)暴露出試圖擺脫人類控制的主觀動機和潛力。

諸如此類的事(shì)實不斷曝光，意味著(zhe)科技正在逼近奇點，甚至已經(jīng)越過(guò)奇點。也就是說，“強人工智能(néng)”似乎正在蹑手蹑腳地走進(jìn)人類的生活世界。

一般而言，所謂“弱人工智能(néng)”，隻是按人的指令完成(chéng)單項任務，沒(méi)有獨立的自我意識。但與此不同，強人工智能(néng)則被(bèi)認爲具有與人類同樣(yàng)的認知能(néng)力、抽象思考能(néng)力以及解決問題的能(néng)力，甚至有可能(néng)在智慧程度上超過(guò)人類。這(zhè)樣(yàng)就會産生AI與人類在智能(néng)上進(jìn)行比較或競争的壓力，進(jìn)而導緻對(duì)AI取代人類、傷害人類的憂慮。正因爲存在這(zhè)種(zhǒng)憂患意識，奇點才會不斷成(chéng)爲人們關注的熱點。

兩(liǎng)種(zhǒng)應對(duì)之道(dào)及其變化

雖然ChatGPT功能(néng)強大，但或許還(hái)算不上真正的“強人工智能(néng)”。不過(guò)，GPT-4乃至GPT-5則很不一樣(yàng)，在進(jìn)化過(guò)程中俨然醞釀著(zhe)重大質變。究竟應該怎樣(yàng)應對(duì)強人工智能(néng)，迄今爲止一直存在兩(liǎng)種(zhǒng)對(duì)立的思想立場。一種(zhǒng)主張在安全性獲得證明之前應該停止新的研發(fā)，可以稱之爲“風險預防至上”的原則。另一種(zhǒng)主張在危害性獲得證明之前還(hái)應該繼續研發(fā)，可以稱之爲“技術發(fā)展無須審批”的原則。在過(guò)去很長(cháng)一段時期，歐洲側重前一種(zhǒng)立場，美國(guó)側重後(hòu)一種(zhǒng)立場。

2023年1月25日，德國(guó)的“時光躍進(jìn)實驗室”的一名教授用示例和數據展示了ChatGPT易錯性

面(miàn)對(duì)生成(chéng)式人工智能(néng)ChatGPT橫空出世以及GPT-4引發(fā)的強AI研發(fā)競争，即便側重創新的美國(guó)也出現了更加強調風險預防原則的傾向(xiàng)。例如在2023年3月下旬，未來生命研究所發(fā)表了一封公開(kāi)信，呼籲所有AI實驗室立即暫停訓練比GPT-4更強的AI系統至少6個月，并獲得馬斯克等千名以上的科技界領袖和業界大佬簽名支持。3月30日，美國(guó)聯邦貿易委員會還(hái)收到來自AI和數字政策中心的舉報，要求對(duì)OpenAI及其新産品GPT-4展開(kāi)調查。

今年4月5日的《華盛頓郵報》還(hái)披露了一個更加令人不寒而栗的事(shì)實，加州大學(xué)洛杉矶分校尤金·沃洛克教授的實驗性研究發(fā)現，生成(chéng)式人工智能(néng)ChatGPT居然能(néng)夠捏造法學(xué)家性騷擾的醜聞及其信息來源，指名道(dào)姓進(jìn)行有鼻子有眼的诽謗。到4月下旬，圖靈獎得主傑弗裡(lǐ)·辛頓向(xiàng)谷歌提出離職以便能(néng)夠公開(kāi)對(duì)人類AI研發(fā)大戰以及強人工智能(néng)應用的風險表示憂慮，據說他還(hái)很後(hòu)悔開(kāi)發(fā)了基于神經(jīng)網絡的深度學(xué)習技術。這(zhè)些現象表明，專家和輿論都(dōu)在試圖發(fā)出警報并且給社會帶節奏。

中國(guó)在上述兩(liǎng)種(zhǒng)立場中究竟應該如何取舍？抑或在統籌兼顧之餘，持中庸之道(dào)？

強人工智能(néng)引發(fā)人類的三種(zhǒng)恐慌

不可否認，強人工智能(néng)若隐若現，正在人類社會甚至很多AI專家中引起(qǐ)某種(zhǒng)恐慌。概括起(qǐ)來說，主要存在如下三類恐慌：

第一，失業的恐慌。事(shì)實上，近幾個月來有些遊戲美術外包公司已經(jīng)在大批裁減美工畫師，因爲這(zhè)些工作由AI來做效率更高、成(chéng)本極低。在2023年5月初，好(hǎo)萊塢的劇作家們還(hái)舉行了頗有聲勢的罷工和遊行示威，抗議制片廠啓用AI系統創造劇本。但是，我們也要看到，即便強人工智能(néng)可以巧妙地處理差異，也仍然不能(néng)自己産生差異，因而不能(néng)像人類那樣(yàng)進(jìn)行靈光乍現的創新。另外，強人工智能(néng)也不能(néng)真正理解價值和文化的涵義，理解是人的本質屬性。在這(zhè)個意義上可以說，智能(néng)機器是無法完全取代人類的。人們認爲強人工智能(néng)能(néng)夠理解，其實隻不過(guò)是把預測當作理解了。ChatGPT盡管不能(néng)理解卻還(hái)可以進(jìn)行生動的對(duì)話，其實隻是借助網絡上不斷互動的自反身機制在進(jìn)行接龍式預測。意大利學(xué)者埃琳娜·埃斯波西托用“人工溝通”這(zhè)個術語來描述這(zhè)種(zhǒng)人機對(duì)話。因此，在這(zhè)裡(lǐ)更重要的問題并非機器取代人類，而是如何建構一種(zhǒng)幾乎無法避免的人機共存秩序。把這(zhè)個問題再轉換爲與失業恐慌密切相關的法學(xué)問題，那就是，在強人工智能(néng)時代，會否形成(chéng)少數科技精英對(duì)大多數賽博朋克們的絕對(duì)支配、對(duì)社會關系和社會分配又會随之産生什麼(me)樣(yàng)的影響。

2023年5月2日，編劇罷工的隊伍在派拉蒙影業公司前參加集會，呼籲提高薪資，要求公平的合約，拒絕給AI打工。

第二，失控的恐慌。過(guò)去的斬首行動以及持續了一年多的俄烏戰争都(dōu)證明，AI一旦用于目标識别、跟蹤和攻擊，就會左右作戰的決策和殺傷行動的結果。不言而喻，這(zhè)種(zhǒng)無需人類直接控制的自主武器系統非常精準和有效率，但也會導緻戰争自動化，會給人類帶來極大的風險和危害。目前國(guó)際社會正在探讨禁止或限制軍事(shì)AI系統的使用和發(fā)展，緻力于研發(fā)防範自主武器傷害的技術或機制。由此可見，除了各國(guó)制定人工智能(néng)研發(fā)的倫理和法律規則的努力之外，還(hái)需要爲相關國(guó)際公約的締結凝聚共識。另一方面(miàn)，除了自主武器傷害，還(hái)有那些包括網絡詐騙、誘餌釣魚、捆綁流氓軟件等在内的社會工程攻擊也構成(chéng)失控的典型場景。此外還(hái)有對(duì)知識産權制度的重磅沖擊所導緻的失控。例如楓丹白露歐洲工商管理學(xué)院的菲利浦·帕克教授爲一種(zhǒng)自動制作合理且信息豐富的書籍的技術方法申請了專利，這(zhè)意味著(zhe)不久就有可能(néng)看到AI生成(chéng)的書籍，本來似乎已經(jīng)塵埃落定的AIGC著作權制度安排或許會再起(qǐ)風波。又例如澳大利亞新南威爾士大學(xué)已經(jīng)有人利用GPT從科學(xué)文獻中獲取有用的知識實現了材料科學(xué)的重要發(fā)現，并且可以用于開(kāi)發(fā)新的材料和器件，因而AI for Science系統的發(fā)明權和專利權歸屬也將(jiāng)成(chéng)爲極其複雜的法律問題。

第三，失真的恐慌。使用過(guò)ChatGPT的人都(dōu)知道(dào)，這(zhè)個語言大模型在很多方面(miàn)顯示了令人驚豔的表達功能(néng)，但也頗有些油嘴滑舌不靠譜的地方，甚至還(hái)會人雲亦雲、不懂裝懂。當聊天智能(néng)系統在胡說八道(dào)時也能(néng)擺出一本正經(jīng)的樣(yàng)子，甚至引經(jīng)據典，這(zhè)就非常容易讓不明就裡(lǐ)的人們信以爲真。據研究報告顯示，ChatGPT將(jiāng)在2026年之前耗盡高質量語言數據，在2030-2040年間耗盡所有人類語言數據，從此AI合成(chéng)數據將(jiāng)徹底取代真實數據，成(chéng)爲訓練AI的重要資源。如果此後(hòu)喂食人工智能(néng)的主要數據養料是人工智能(néng)合成(chéng)數據，那麼(me)AIGC的可信度究竟如何、會不會讓虛假信息或臆造信息充斥網絡空間甚至壟斷人類溝通的語境就成(chéng)爲一個非常嚴重的問題。不言而喻，當然人類不斷獲得大量真假莫辨的信息并據此進(jìn)行溝通、做出判斷，那麼(me)文明的基礎就會坍塌。

對(duì)強人工智能(néng)應保持強風險意識

上述恐慌都(dōu)基于強人工智能(néng)的獨立自主性。有鑒于此，瓦拉赫、艾倫、斯密特在2012年發(fā)表的《機器道(dào)德》一文中早就提出了這(zhè)樣(yàng)的命題：“機器的自由度越大，就越有必要爲機器設立倫理的各種(zhǒng)标準”。這(zhè)些标準既包括對(duì)強人工智能(néng)進(jìn)行治理的元規則和具體規則，也包括形成(chéng)強人工智能(néng)系統自身道(dào)德能(néng)力的評價标準以及在多種(zhǒng)道(dào)德（例如自主決定、親屬關懷、健康維持、隐私保護等等）之間互相沖突時進(jìn)行排序和處理的機制。根據斯坦福大學(xué)HAI（人本人工智能(néng)研究所）發(fā)行的2023年報告，AI專家中73%都(dōu)相信AI將(jiāng)引發(fā)社會革命，但也有36%的人認爲AI有可能(néng)造成(chéng)核彈級别的不可逆災難。無論如何，正因爲存在那種(zhǒng)對(duì)小概率、大危害的強烈不安，我們才必須謀定而後(hòu)動。

實際上，ChatGPT也是AI網絡化的一個典型，有可能(néng)從根本上改變人與物質世界之間的關系。在萬物互聯的智能(néng)網絡之中，深度的機器學(xué)習會使AI離人類的介入和掌控越來越遠，算法變得越來越難以解釋、不可理解甚至無法控制，從而導緻強人工智能(néng)的大模型有可能(néng)反噬人類，構成(chéng)一個揮之不去的噩夢。在我看來，這(zhè)就意味著(zhe)人工智能(néng)治理的重點將(jiāng)從算法治理轉向(xiàng)模型治理。也就是說，人工智能(néng)治理的标準將(jiāng)從算法偏見最小化轉向(xiàng)模型濫用最小化——從此透明度算不了什麼(me)，預測的準确度將(jiāng)決定一切。沿著(zhe)這(zhè)樣(yàng)的思路來考慮對(duì)于強人工智能(néng)的監管，顯然，僅有集中化的備案和審查是力有不逮的，還(hái)需要引進(jìn)類似輿論監督或者鼓勵用戶投訴那樣(yàng)的分布式監管的機制設計方案，讓社會參與AI監管，及時終止深度學(xué)習模型的過(guò)度訓練及其濫用，并對(duì)人工智能(néng)生成(chéng)内容（AIGC）的可信度測驗采取某種(zhǒng)适當提前介入的方式。

2019年11月2日，美國(guó)空軍國(guó)民警衛隊第181情報聯隊的分析師們在印第安納州的一處空軍基地測試一個人工智能(néng)項目。

值得注意的是，正付諸歐洲議會讨論的歐盟人工智能(néng)法案最近追加了若幹規定，要求生成(chéng)式人工智能(néng)模型的設計和開(kāi)發(fā)也必須符合歐盟的法律和基本權利規範，包括表達的自由，同時也爲AIGC設立了版權規則；爲了确保AI的可信和安全，對(duì)相關科技風險設立了四個不同等級以便進(jìn)行分類監管；對(duì)AI企業的違規行爲則將(jiāng)采取非常嚴厲的制裁措施，罰款可以高達3000萬歐元或全球收入的6%。據報道(dào)，在2023年4月27日歐洲議會已經(jīng)彌合分歧，達成(chéng)了臨時政治協議，并決定在5月11日進(jìn)行關鍵委員會投票、在6月中旬進(jìn)行全體投票。按照這(zhè)個日程表，力争在2024年本屆議會屆滿前通過(guò)歐盟人工智能(néng)法案，頒布全球首個關于人工智能(néng)産品、服務以及決策的綜合性法律。幾乎同時，在日本高崎召開(kāi)的G7數字部長(cháng)會議于4月30日發(fā)表聯合聲明，強調應該對(duì)AI采取“基于風險”的監管，但同時也表示監管應該爲人工智能(néng)技術的發(fā)展保持一個“開(kāi)放和有利的環境”。

中國(guó)人工智能(néng)治理與法規的最新演變

事(shì)實上，以2021年《新一代人工智能(néng)倫理規範》爲标志，中國(guó)在不斷加強對(duì)人工智能(néng)開(kāi)發(fā)活動的治理，強調可信、可控、可問責以及敏捷應對(duì)的基本原則。以這(zhè)個規範性文件爲指導，有關部門著(zhe)手研究和制定算法倫理規範并推動人工智能(néng)産業界形成(chéng)共識，還(hái)試圖通過(guò)算法社區、行業聯盟等方式搭建公司内部治理框架和責任體系，以便在維持人工智能(néng)技術和産業的發(fā)展勢頭與有效防範各種(zhǒng)相關風險之間達成(chéng)某種(zhǒng)适當的平衡。

特别值得注意的是，中國(guó)政府在2021年啓動了人工智能(néng)産業的“清朗行動計劃”，當年側重算法濫用的專項治理，翌年又啓動了基于算法正義的綜合治理，試圖在三年左右的時間裡(lǐ)把相關的倫理原則、法律規則以及技術性測試、監管、評價方法都(dōu)落到實處。2022年3月1日頒布的《互聯網信息服務算法推薦管理規定》還(hái)确立了算法備案制，要求對(duì)社會有實質性影響的算法服務提供者必須在開(kāi)業十天之内提供算法自評估報告、公示内容等具體材料并履行備案手續，以确保監管部門能(néng)在源頭上控制人工智能(néng)風險。以聯合國(guó)科教文組織推出《人工智能(néng)倫理問題建議書》爲背景，中共中央、國(guó)務院在2022年3月20日還(hái)頒發(fā)了《關于加強科技倫理治理的意見》。

進(jìn)入2023年4月後(hòu)，随著(zhe)ChatGPT引發(fā)的全球性争議日趨尖銳，中國(guó)科技部及時公布了《科技倫理審查辦法（試行）》稿，就新型人工智能(néng)治理向(xiàng)社會投石問路。緊接著(zhe)，網信辦也有針對(duì)性地拿出了《生成(chéng)式人工智能(néng)服務管理辦法》草稿廣泛征求意見。這(zhè)些規範試圖通過(guò)備案制、安全評估、專家複核程序、明确責任主體、拟訂風險清單、進(jìn)行抽查核驗等方法加強監管，旨在防止人工智能(néng)技術的研發(fā)和應用失控。不過(guò)，上述規範文本如何與《網絡安全法》、《數據安全法》、《個人信息保護法》的既定内容進(jìn)行更缜密的銜接和整合，還(hái)有待進(jìn)一步推敲和改進(jìn)。

特别是《生成(chéng)式人工智能(néng)服務管理辦法（征求意見稿）》把重點放在制造虛假信息、暴露個人隐私、侵犯知識産權、造成(chéng)系統歧視、進(jìn)行網絡攻擊等風險的防範上；要求生成(chéng)式人工智能(néng)的研發(fā)者和利用者對(duì)預訓練和優化訓練的數據來源合法性負責；把算法安全評估和算法備案手續作爲提供相關服務的前置要件，并要求服務提供者設立用戶投訴處理機制，還(hái)必須履行用戶身份驗證義務、防沉迷義務、個人信息保護義務、避免使用歧視性内容的義務、及時處置違法信息的義務、提供安全穩健服務的義務、生成(chéng)内容審核和标識的義務、提高透明度義務等等，有的屬于新增義務類型。但這(zhè)些規定大都(dōu)有賴于在行政部門指導下，産品研發(fā)者、服務提供者進(jìn)行的自我審查和自我履行，還(hái)缺乏第三方獨立審計、測試以及強制執行的制度安排，也缺乏算法論證程序和問責程序的具體設計。

直面(miàn)自我指涉的法律和人工溝通的悖論

據報道(dào)，近來ChatGPT已經(jīng)開(kāi)始廣泛應用于司法和法律服務場景，包括全球四大會計師事(shì)務所的法律業務處理。2023年5月5日，世界頂級法商信息服務平台LexisNexis又推出了面(miàn)向(xiàng)法律界的生成(chéng)式AI系統Lexis+AI™️，旨在通過(guò)大語言模型實現法律和判例的高效檢索以及文書生成(chéng)自動化。顯而易見，這(zhè)樣(yàng)的人機對(duì)話會不斷加強法律系統自我指涉和意義自我繁衍的特征。如果在不久的將(jiāng)來，用來訓練AI的主要資源都(dōu)統統變成(chéng)了AI生成(chéng)的數據，通過(guò)ChatGPT等大語言模型進(jìn)行的法律溝通也將(jiāng)完全人工化，那就勢必形成(chéng)一個完全閉環的智能(néng)司法系統和人工溝通系統。在尼克拉斯·盧曼用“自反身”和“自創生”等概念所描述的這(zhè)種(zhǒng)狀态下，實際上法律推理過(guò)程很容易陷入無限循環、頻繁出現無法被(bèi)證明或證僞的陳述。于是乎，我們不得不追問究竟還(hái)能(néng)不能(néng)找到一個通用算法來判斷那些通過(guò)有限步驟就可以停止的程序？這(zhè)就是困擾計算機科學(xué)家和哲學(xué)家的圖靈停機問題。

另一方面(miàn)，随著(zhe)生成(chéng)式人工智能(néng)和強人工智能(néng)應用到規格化程度很高的法律領域，關于具體案件的溝通和判斷似乎進(jìn)入一個效率無限上升的軌道(dào)，但多樣(yàng)性的競争和發(fā)展機制卻被(bèi)鎖死，形成(chéng)無法自拔的困境或者“黑洞”，進(jìn)而導緻整個法學(xué)領域以及糾紛解決機制的簡化、停滞甚至倒退。這(zhè)就是人工智能(néng)科學(xué)領域的所謂“恐怖谷”效應。當人們借助ChatGPT來進(jìn)行檢索和内容生成(chéng)，試圖制定進(jìn)而實施關于強人工智能(néng)治理的法律規則時，會不會引起(qǐ)赫拉克利特式不可界定的悖論、會不會經(jīng)曆類似“恐怖谷”的詭異體驗、會不會引發(fā)更加複雜而棘手的社會問題？因自我指涉、不斷反饋的人工溝通而衍生出來的這(zhè)一切，都(dōu)需要計算法學(xué)研究者以及人工智能(néng)治理機制設計者采取未雨綢缪的對(duì)策以防患于未然，并且在試錯過(guò)程中找出擺脫悖論的進(jìn)路。