矽谷最特立獨行的 CTO。

Mira Murati 是 OpenAI 的一名老將(jiāng)。

她在 2018 年加入了當時還(hái)是非盈利研究所 OpenAI，在此之前 Murati 曾參與過(guò)特斯拉 Model X 的開(kāi)發(fā)。

擔任 CTO 的 Mira Murati 帶領團隊開(kāi)發(fā)出 ChatGPT、DALL-E 和最新的 GPT-4 等重要模型，幫助 OpenAI 轉型成(chéng)最具創新力的公司。

但在她看來，OpenAI 仍未實現他們最終的願景——打造通用型人工智能(néng)（AGI）。

OpenAI 在這(zhè)五年間發(fā)生翻天覆地的變化，這(zhè)篇文章還(hái)原了這(zhè)場變化的原因和其中的細節。

劃重點：

1. 目前我們仍未有一條的安全、可靠、符合标準的路徑去實現 AGI 系統。

2. OpenAI 采取了大量的措施避免 AI 模型出現認知偏見和安全問題。

3. 簽署一封公開(kāi)信并不能(néng)有效地建立安全機制或協調業内玩家。OpenAI 并沒(méi)有在訓練 GPT-5，未來六個月内也沒(méi)計劃這(zhè)樣(yàng)做。

4. OpenAI 爲了實現他們的願景調整了公司的架構，但是他們的員工并未因此而改變初心

2018 年，當 Mira Murati 加入 OpenAI 時，這(zhè)家位于舊金山的非盈利研究所在 AI 領域中已經(jīng)有了一點聲量，但還(hái)沒(méi)到現在這(zhè)般家喻戶曉的程度。 

她最近接受了美聯社的采訪，談到了 AI 保障和公司對(duì)未來概念的人工智能(néng)，即 AGI 的願景。以下是采訪摘要。 

Q: 對(duì) OpenAI 來說，人工智能(néng)意味著(zhe)什麼(me)？ 

A: 通常，人工智能(néng)意味著(zhe)高度自主的系統，能(néng)夠産生經(jīng)濟産出。換句話說，是可以在不同領域中做出共性判斷的系統，具備與人類同等的能(néng)力。 

基于這(zhè)個定義， OpenAI 的願景是安全地構建 AGI 系統，并找出如何以符合人類意願的方式構建它，使 AI 系統能(néng)依照人們的要求而運轉，理想情況下 AGI 應該造福盡可能(néng)多的人。

Q: GPT-4 和 AGI 之間是否存在一條清晰的路徑？ 

A:目前我們仍未有一條的安全、可靠、符合标準的路徑去實現 AGI 系統。我們實現這(zhè)一目标的途徑有幾個重要方向(xiàng)。

從研究角度來看，我們需要建立一種(zhǒng)強大的、與人類類似的理解能(néng)力的系統。雖然像 GPT-3 這(zhè)樣(yàng)的系統最初是針對(duì)文本數據進(jìn)行訓練，但我們所處的世界不僅僅是由文本構成(chéng)，還(hái)包括圖像等複雜的形式，因此我們需要引入其他形式的數據。 

同時，我們還(hái)要擴大這(zhè)些系統的泛化能(néng)力。GPT-4 是一個能(néng)力更強的系統，尤其在理解事(shì)物方面(miàn)，這(zhè)種(zhǒng)能(néng)力至關重要。如果模型能(néng)夠理解高層目标或比較模糊的方向(xiàng)，就可以爲其制定符合目标的計劃。與此相反，如果它連高層目标或方向(xiàng)都(dōu)無法理解，則很難與之保持一緻。 

因此，僅僅在實驗室閉門造車是不夠的，我們需要與現實世界有更多的接觸，了解這(zhè)個系統還(hái)存在那些弱點和突破點，并嘗試以低風險方式獲取盡可能(néng)多的反饋。 

Q: 你們采取了哪些安全措施呢？ 

A: 在系統運行的每個階段，我們都(dōu)會考慮幹預措施。在模型初步訓練階段，我們會删除某些數據。 

拿 DALL-E 作爲例子，我們需要調整訓練數據集中男女圖像的比例，以減少有害偏差問題。然而，這(zhè)種(zhǒng)調整必須非常小心，因爲可能(néng)會引入更多的偏差問題。因此，我們需要随時進(jìn)行審計。實際上，我們也從中發(fā)現了更多的偏見，因爲很多圖像是與性别相關的。 

針對(duì)這(zhè)種(zhǒng)情況，我們必須再次進(jìn)行調整，并特别小心，以了解每次幹預手段的影響。值得一提的是，在ChatGPT 模型的訓練中，我們使用了人類反饋的強化學(xué)習，以幫助模型更好(hǎo)地符合人類偏好(hǎo)。基本上，我們會加強被(bèi)認爲是良好(hǎo)行爲的行爲，然後(hòu)減少被(bèi)認爲是不良行爲的行爲。 

Q: 這(zhè)些系統應該受到監管嗎？ 

A: 是的，這(zhè)些系統應該受到監管。在 OpenAI，我們正在不斷與政府、監管機構和其他開(kāi)發(fā)這(zhè)些系統的組織進(jìn)行對(duì)話，至少在公司層面(miàn)上達成(chéng)一定程度的标準協議。 

在過(guò)去的幾年中，我們與大型語言模型開(kāi)發(fā)商一起(qǐ)開(kāi)展了一些工作，以對(duì)部署這(zhè)些模型的基本安全标準進(jìn)行對(duì)齊。 但我認爲還(hái)需要做更多的工作。政府監管機構應該積極參與其中。

Q: 最近一封号召停止建造比 GPT-4 更強大的 AI 模型的公開(kāi)信引起(qǐ)了很多關注。你對(duì)請願書及其關于 AI 風險的假設有什麼(me)看法？ 

A: 我認爲在複雜系統中設計安全機制是一項艱巨的任務。這(zhè)個過(guò)程中有許多細節需要考慮，因此請願信中提到的一些風險完全是合理的。 

在多年的時間裡(lǐ)，OpenAI 一直公開(kāi)讨論并研究這(zhè)些風險。然而， 我認爲簽署一封信并不是建立安全機制或協調業内玩家的最有效方式。同時，關于開(kāi)發(fā) GPT-4 或者 GPT-5 的一些言論是不正确的。我們并沒(méi)有在訓練 GPT-5，也沒(méi)有計劃在未來六個月内這(zhè)樣(yàng)做。

相反，我們花費了六個月的時間專注于 GPT-4 的安全開(kāi)發(fā)和部署。即便如此，我們依然采取大量的防護措施，并通過(guò)有序、緩慢的推出方式來向(xiàng)公衆開(kāi)放。我們隻向(xiàng)部分用戶開(kāi)放，并且也不會開(kāi)源。 

所有這(zhè)些都(dōu)是爲了證明安全機制和協調機制在任何 AI 系統或複雜技術系統中都(dōu)是非常棘手的問題，需要進(jìn)行認真思考、探索，并協調所有利益相關方。

Q: 加入 OpenAI 以後(hòu)，它發(fā)生了什麼(me)變化？ 

A: 當我加入 OpenAI 時，它是一家非營利機構。我認爲這(zhè)（AGI）是人類建造的最爲重要的技術，而且我也堅信像 OpenAI 這(zhè)樣(yàng)的公司最有可能(néng)确保它能(néng)夠順利推進(jìn)。 

但随著(zhe)時間的推移，我們發(fā)現由于這(zhè)些系統的昂貴性和需要大量的資金支持，我們需要調整結構。我們确保采用某種(zhǒng)激勵機制來維持我們的非盈利使命，因此我們采用了「有限利潤」的結構。 

但是， OpenAI 的員工仍然保持著(zhe)一緻的内在動機和使命，這(zhè)一點從一開(kāi)始就沒(méi)有改變。

然而，五年的時間裡(lǐ)，我們在思考部署和安全方面(miàn)的最佳策略上發(fā)生了很大的變化。這(zhè)可能(néng)是最明顯的變化，但我認爲這(zhè)是一個好(hǎo)的改變。 

Q: 你是否預料到了 ChatGPT 在 11 月 30 日發(fā)布前的反應？ 

A: 在此之前，其基礎技術已經(jīng)存在了幾個月。我們對(duì)于從已經(jīng)在使用 API 的客戶那裡(lǐ)得反饋，讓我們對(duì)模型的限制非常有信心，但是我們還(hái)是進(jìn)行了一些基礎模型的修改，使其适應對(duì)話中的應用。然後(hòu)，我們通過(guò)一個新的 ChatGPT 界面(miàn)將(jiāng)其提供給研究人員使用。 

這(zhè)個階段，我們一直在狹窄、可信賴的小組内部探索它，慢慢我們意識到我們遇到了瓶頸，而打破瓶頸的方式就是從更多的人身上獲得更多信息和數據。 

因此，我們希望將(jiāng)其擴展到更多人，并稱之爲研究預覽，而不是産品。我們的主要目标是收集有關模型行爲的反饋，并使用這(zhè)些數據改進(jìn)模型，使其更加貼近實際情況。 

我們沒(méi)有預料到人們會對(duì) AI 系統的交互表現出如此狂熱的興趣。在我們看來這(zhè)隻是一個研究預覽，我們也沒(méi)有預料到用戶數量和狂熱程度會達到如此之高。 

原文标題：Insider Q&A: OpenAI CTO Mira Murati on shepherding ChatGPT