AI能(néng)打敗AI嗎？

不久前，一張馬斯克嬰兒時期的照片在外網被(bèi)瘋狂轉發(fā)。

起(qǐ)因是一名博主在推特上發(fā)了張圖，并配文 “ 據報道(dào)，埃隆 · 馬斯克正在研究一種(zhǒng)抗衰老配方，但結果失控了。 ”

你别說，這(zhè)照片乍一看，還(hái)真挺容易被(bèi)唬過(guò)去的。

但隻要稍微用心辨别，就能(néng)看出來這(zhè)是成(chéng)年馬斯克的臉直接移植上去的， AI 味兒太沖了。

自打這(zhè) AI 大模型成(chéng)熟以後(hòu)，各種(zhǒng) AI 生成(chéng)的内容就在網絡上迅速泛濫。

像什麼(me)川建國(guó)同志退休後(hòu)的生活；

還(hái)有 “ 馬斯克投資 AI 失敗，賣燒烤還(hái)債 ”“ 馬斯克在廣州城中村擺攤的日子 ”“ 馬斯克 kiss 女機器人 ” 。

各種(zhǒng)梗圖層出不窮，開(kāi)局一張圖，内容全靠編的情況是愈演愈烈。

而在文本領域，不少學(xué)生借著(zhe) AI 寫論文、寫作業，甚至于莫言也坦言，給餘華的頒獎詞是 ChatGPT 幫忙寫的。

那麼(me)問題來了， AI 生成(chéng)的内容滿天飛，我們要怎麼(me)去區分到底哪些是 AI 創作的，哪些是人類創作的呢？

前段時間 AI 詐騙 430 萬的案子大家都(dōu)還(hái)心有餘悸，再這(zhè)麼(me)任由 AI“ 狂飙 ” 下去，下一個受害者可能(néng)很快就會出現。

其實吧，現在市面(miàn)上也出現了不少反 AI 工具，專門用來檢測 AI 生成(chéng)的内容。

不過(guò)，這(zhè)些工具真的就靠譜嗎？

爲此，世超專門找了幾個檢測工具，測試了一波。

首先是 AI 圖像檢測。

世超分别找了Umm-maybe 、 Illuminarty 、 AI or Not這(zhè)三個讨論度比較高、甚至是号稱準确率在 95% 的檢測工具，方便做一個對(duì)比。其中 Illuminarty 和 Umm-maybe 測試結果顯示的是概率， AI or Not 則是直接給回答。

本以爲 AI 檢測工具是個 “ 火眼金睛 ” ，但沒(méi)想到在馬斯克 “ 返老還(hái)童 ” 的那張圖片上，就開(kāi)始翻車了。

Illuminarty 和 AI or Not 的态度都(dōu)很明确，這(zhè)明顯就是由 AI 生成(chéng)的。

但輪到 Umm-maybe ，畫風就變了。

它告訴我，這(zhè)張圖片是人類創作的概率爲 81% 。

我尋思這(zhè)肉眼都(dōu)能(néng)瞧出來是 AI 幹的好(hǎo)事(shì)，這(zhè)怎麼(me)還(hái)能(néng)檢測不出來呢。

爲了看看是不是偶爾的 bug ，我又多試了幾次。

這(zhè)張奧黛麗赫本在《 羅馬假日 》裡(lǐ)的電影截圖， Umm-maybe 給了個模棱兩(liǎng)可的答案，概率是一半一半。

剩下的一個站 AI ，一個站人類。

至少從馬斯克和赫本這(zhè)兩(liǎng)張圖片的測試結果來看，除了 AI or Not 之外，其他兩(liǎng)個 AI 檢測工具的判定都(dōu)不太準确。

不過(guò)，打臉的時刻總是來得很快。

當我以爲 AI or Not 稍微靠點兒譜的時候，它卻說這(zhè)張金角大王拿著(zhe)漢堡的 AI 圖片，是人類生成(chéng)的。

你以爲這(zhè)就完了？更離譜的還(hái)在後(hòu)頭。

這(zhè)張梅西踩縫紉機的 AI 照片， Umm-maybe 給出的人類創作概率爲 89% 。

這(zhè)有點過(guò)于荒謬了。。。

還(hái)有這(zhè)張人跟巨型老虎合影的照片，肉眼就能(néng)看出來是 AI 生成(chéng)的吧。

結果除了 Umm-maybe ，其餘都(dōu)認爲這(zhè)是人類創作的，甚至 Illuminarty 還(hái)覺得 AI 生成(chéng)的概率隻有 1.5% 。

總結一下，在 AI 圖片的檢測上，世超總共測試了 10 張不同的圖片， 8 張由 AI 生成(chéng)， 2 張由人類創作。

排除掉了 2 項有争議的結果後(hòu)，AI or Not 和 Umm-maybe 的準确率都(dōu)是 67% ，而 Illuminarty 的準确率爲 50% 。

也就是說，這(zhè)三個 AI 圖像檢測工具的準确度并不算高。

咱們再來看看文本的檢測情況。

同樣(yàng)，還(hái)是選用了 3 個比較熱門的檢測工具：GPTZero 、 Sapling 以及 Copyleaks 。

世超先讓 ChatGPT 生成(chéng)了一段 關于椰汁的廣告文案，再依次用工具進(jìn)行測試。

但一上來就給我整不會了。

我原封不動從 ChatGPT 那邊粘貼過(guò)來的文案， GPTZero 竟然說是可能(néng)完全由人類編寫。

而 Sapling 給出結果也一樣(yàng)，這(zhè)段文字由 AI 生成(chéng)的概率爲 0 。

隻有 Copyleaks ，把全文都(dōu)标紅了，咬死這(zhè)是 AI 寫的。

三個工具裡(lǐ)有兩(liǎng)個都(dōu)檢測不出來這(zhè)是 ChatGPT 寫的，是不是有點太過(guò)分了。。。

不信邪的我，又讓 ChatGPT 以魯迅的風格寫了一篇《 火鍋日記 》。

Copyleaks 依舊穩定發(fā)揮， GPTZero 這(zhè)回倒是學(xué)聰明了，隻有 Sapling 還(hái)在死死堅持那就是人寫的。

爲了測試這(zhè)些工具對(duì)于人類創作的反應，我又節選了一段《 活著(zhe) 》裡(lǐ)的内容。

可能(néng)是餘華老師的《 活著(zhe) 》過(guò)于出名，幾個工具在這(zhè)一關上倒是沒(méi)有踩坑。

前前後(hòu)後(hòu)測試了好(hǎo)幾次，除了 Copyleaks 的正确率相對(duì)比較高之外，剩下的感覺都(dōu)不是特别聰明的樣(yàng)子，而且 Sapling 還(hái)出現了對(duì)中文不太友好(hǎo)的情況。

其實吧，無論是圖像還(hái)是文字檢測，都(dōu)是靠著(zhe) AI把人類創作和機器生成(chéng)區分出來。

換句話說，就是用魔法來打敗魔法。

隻是不同的訓練模型，所用的數據集不同，分類的指标也不同。

不過(guò)，這(zhè)次的測試結果大家應該也看到了， AI 檢測工具的效果并沒(méi)有想象中那麼(me)好(hǎo)。

世超覺得問題，可能(néng)就出在這(zhè)訓練數據上。

像上文提到的 AI or Not ，它的數據集範圍就隻有 Stable Diffusion 、 Midjourney 、 Dall-E 、 GAN 和 Generated faces 生成(chéng)的圖像，如果超出了這(zhè)個範圍，誤判也是常有的事(shì)兒。

雖然可以利用視覺算法，將(jiāng)輸入圖像的分辨率、清晰度等局部細節跟 AI 圖像的特征進(jìn)行比對(duì)。

但攔不住 AI 進(jìn)化的速度太快了，像之前備受吐槽的 “ 六指戰士 ”Midjourney 每更新一版，對(duì)于細節的刻畫也就更逼真。

這(zhè)文本呢，也是類似的情況。

就比如說這(zhè) GPTZero ，要想知道(dào)文字到底是不是由 AI 生成(chéng)的，需要看兩(liǎng)個指标，一個叫(jiào)困惑度，一個叫(jiào)突發(fā)性。

困惑度指的是 AI 模型在看到這(zhè)段文字時，會不會覺得很難懂，像什麼(me) “ 依托答辯 ” 之類的諧音梗， AI 不一定能(néng)夠看懂，困惑度越高，就證明内容越有可能(néng)是人類創作的。

而突發(fā)性，指的就是句子結構的變化程度。

畢竟人類跟 AI 不同，在寫東西的時候句式可能(néng)一會兒長(cháng)一會兒短，追求的就是一個變化多端， AI 則更傾向(xiàng)于使用統一的句式。

但 AI 在不斷的進(jìn)化中，無論是在困惑性還(hái)是突發(fā)性上，生成(chéng)的内容越來越接近人類。

更何況現在的 AI 大模型一天一個樣(yàng)，等 AI 檢測追上來， AI 生成(chéng)的内容早不知道(dào)飙到哪去了。

但凡人類有什麼(me)風吹草動， AI 就馬上能(néng)内化到自己的模型裡(lǐ)。

照這(zhè)麼(me)下去， AI 生成(chéng)的東西隻會越來越難以辨别。

所以眼下，咱們能(néng)做的就是寄希望于技術大牛們，趕緊想辦法讓 AI 檢測工具實現“ 彎道(dào)超車 ”。

而這(zhè)場由 AI 掀起(qǐ)的風浪，終究或許也隻有 AI 知道(dào)怎麼(me)去平息了。