作者: 兆光科技 發(fā)布時間: 2024/08/09 點擊: 1040次
概要總結,Mist的主要作用是在創作者的圖片作品中加上"噪聲",讓圖像生成(chéng)模型在使用這(zhè)些素材時被(bèi)"噪聲"所幹擾,從而難以生成(chéng)和創作者原圖風格相似的新圖片。
在創造新機遇的同時,生成(chéng)式AI和大模型的安全可控性和倫理問題日漸引人擔憂。但其實,早在去年Stable Diffusion、Midjourney等圖片生成(chéng)工具風靡時,不少創作者、藝術家已然發(fā)現這(zhè)類圖像生成(chéng)工具,或許侵犯了自己作品的版權。
侵犯版權,或是生成(chéng)式AI第一個被(bèi)公之于衆的風險。2023年年初,多名畫師對(duì)Stable Diffusion和Midjourney提起(qǐ)訴訟,認爲這(zhè)些AI工具在訓練時使用的原始素材,包括畫師未授權的作品,構成(chéng)侵權行爲。在企業端,etty Images起(qǐ)訴Stable Diffusion和Midjourney,認爲AI生成(chéng)算法使用了該平台提供的上百萬張高質量照片,涉嫌侵權。
目前圖像的版權是否被(bèi)AI侵犯,在法律層面(miàn)依然争論不休。但眼下,科技界已有團隊推出産品,希望從技術角度,幫助創作者保障自身權益。
36氪日前接觸到的Mist,就是一款緻力于保護版權的圖像預處理産品。據介紹,Mist的三位創始團隊成(chéng)員分别是即將(jiāng)赴南加州大學(xué)攻讀計算機博士的梁楚盟、上海交通大學(xué)計算機碩士在讀的吳曉宇和紐約大學(xué)法學(xué)碩士在讀的薛伊銘。2022年10月,他們發(fā)現生成(chéng)式AI和版權保護之間存在不少沖突。于是,兼具法律和IT背景的三人便決定嘗試打造一款能(néng)解決這(zhè)一問題的産品。
概要總結,Mist的主要作用是在創作者的圖片作品中加上"噪聲",讓圖像生成(chéng)模型在使用這(zhè)些素材時被(bèi)"噪聲"所幹擾,從而難以生成(chéng)和創作者原圖風格相似的新圖片。
Mist團隊表示,這(zhè)款産品主要受水印思路的啓發(fā),通過(guò)在圖像中注入對(duì)抗攻擊信息——也就是"噪聲",讓圖像生成(chéng)工具的算法難以辨認原始圖片的特點,自然也難以生成(chéng)和原圖風格類似的圖片。
舉個例子,用來被(bèi)生成(chéng)式AI學(xué)習的原圖可能(néng)是一隻貓的畫像,而被(bèi)Mist處理過(guò)、加入了噪聲的原圖,可以讓圖像生成(chéng)算法將(jiāng)貓錯認成(chéng)與之相似但不同的老虎或其他物體,并最終生成(chéng)一張與貓無關的圖片——對(duì)擁有貓圖版權的創作者來說,這(zhè)樣(yàng)做避免了自己的作品被(bèi)拿去免費生成(chéng)類似圖像。
産品效果示例
Mist團隊向(xiàng)36氪介紹,對(duì)抗攻擊的背後(hòu),主要是損失函數在發(fā)揮作用。
一個常識是,以神經(jīng)網絡爲基礎的AI均通過(guò)優化降低損失函數(loss function)來進(jìn)行訓練。損失函數是表示神經(jīng)網絡性能(néng)的指标,也就是表明當前的神經(jīng)網絡對(duì)監督數據還(hái)存在多大程度上的不拟合、不一緻。有資料顯示,常見的損失函數有均方誤差和交叉熵誤差。簡單總結,一般損失函數越小,意味著(zhe)神經(jīng)網絡的輸出結果越達預期。
Mist團隊表示,神經(jīng)網絡中的Loss函數同樣(yàng)也能(néng)用來做其他的事(shì)情。損失函數可以表示成(chéng) L=L(x,θ) 的形式。它既和神經(jīng)網絡的參數有關,又和輸入(圖像)有關。若固定一個訓練好(hǎo)的神經(jīng)網絡參數θ,以增大Loss函數爲目标,在一定像素範圍内改變輸入的圖片x ,使其變爲x′ ,就可以使得這(zhè)個神經(jīng)網絡在面(miàn)對(duì)這(zhè)個特殊的輸入x′時,無法輸出它本應輸出的結果。
Mist團隊告訴36氪,研究者們發(fā)現,爲明顯改變神經(jīng)網絡的輸出,輸入圖片需要改變的像素是很少的。這(zhè)種(zhǒng)技術被(bèi)稱爲“對(duì)抗攻擊”。這(zhè)一技術最簡單的應用正如前文所提到的,可以通過(guò)爲圖片添加水印,讓一張貓的照片被(bèi)AI識别爲老虎。這(zhè)次,Mist團隊把這(zhè)一思路用在AI繪畫背後(hòu)的隐式擴散模型(Latent Diffusion Model)上,從而使得擴散模型無法識别加了水印的圖片,進(jìn)而無法模仿原圖風格。
"水印更多是一種(zhǒng)工具,可以被(bèi)注入各種(zhǒng)信息。最常見的情況是給水印注入人名,而我們注入的是對(duì)抗攻擊信息。"Mist團隊總結。另一方面(miàn),在對(duì)原圖注入信息時,Mist也進(jìn)行了一些約束,目标是讓原圖在未被(bèi)生成(chéng)模型使用時不要産生過(guò)大的變化,影響本身的觀感。
Mist團隊表示,其産品中的損失函數主要包括兩(liǎng)個維度,一個是語義,另一個是紋理。在具體場景中,語義讓模型把圖片中的"貓"辨認成(chéng)噪聲或者無意義的圖案(目的是讓其失去語義),紋理則可以讓模型把"貓"生成(chéng)更像"老虎"的圖片。也就是說,Mist産品中的損失函數,希望讓模型和原圖之間語義差距越來越大,紋理則更偏向(xiàng)于另一張非原圖的圖片。
之所以這(zhè)樣(yàng)做,是因爲過(guò)往不少水印産品會因爲裁剪、拉伸等二次處理而喪失效力,Mist則通過(guò)語義、紋理的雙重維度保障産品在多個“白嫖”場景下都(dōu)能(néng)發(fā)揮效力。
産品效果對(duì)比
另外,Mist團隊表示其産品的另一個特點是速度快。他們介紹,以芝加哥大學(xué)開(kāi)發(fā)的Glaze爲例,即使在水印添加程序中選擇“最快”,耗時也高達20分鍾。倘若希望生成(chéng)更高質量的水印保護圖,則預估耗時達到1小時。對(duì)比之下,Mist在以默認參數運行時,僅需3分鍾便能(néng)完成(chéng)一張圖片的處理。至于原理,Mist團隊表示生成(chéng)速度和算法本身的設計相關,Mist的算法設計比較高效,可以減少訪問生成(chéng)式模型的次數。
當前,和Mist技術原理相關的paper已被(bèi)icml2023作爲oral paper接收。Mist目前免費提供給有需要的用戶,不過(guò),創始團隊已搭建起(qǐ)一個200餘人的社區,成(chéng)員包括技術從業者、創作者等。"社區成(chéng)員可以幫助我們更快地叠代産品。"Mist團隊表示。之後(hòu),Mist團隊希望利用社區的力量,結合自身的技術能(néng)力,進(jìn)一步提升産品的魯棒性、生成(chéng)速度等。
标簽: AI
版權申明:本站文章部分自網絡,如有侵權,請聯系:hezuo@lyzg168.com
特别注意:本站所有轉載文章言論不代表本站觀點,本站所提供的攝影照片,插畫,設計作品,如需使用,請與原作者聯系,版權歸原作者所有
輸入您的聯系信息,我們將(jiāng)盡快和你取得聯系!
Tel:15137991270
企業QQ:210603461
Emile:hezuo@lyzg168.com
地址:洛陽市西工區王城大道(dào)221号富雅東方B座1711室
網站:https://www.lyzg168.com
我們的微信
關注兆光,了解我們的服務與最新資訊。
Copyright © 2018-2019 洛陽霆雲網絡科技有限公司