文|AI新智界
谷歌剛剛發(fā)布了其最強(qiáng)大的文生圖大模型 Imagen 2,可提供與用戶提示詞緊密結(jié)合且一致的高質(zhì)量、逼真的圖像輸出。它可以通過使用訓(xùn)練數(shù)據(jù)的自然分布來(lái)生成更逼真的圖像,而不是采用預(yù)先編程的風(fēng)格。
谷歌的增強(qiáng)模型 Imagen 2 是利用谷歌旗艦人工智能實(shí)驗(yàn)室 Google DeepMind 的技術(shù)開發(fā)的,該模型在 5 月份的科技巨頭 I/O 大會(huì)上悄悄推出了預(yù)覽版。谷歌聲稱,與第一代 Imagen 相比,它在圖像質(zhì)量方面“顯著”提高,并引入了新功能,包括渲染文本和 Logo 的能力。
谷歌云首席執(zhí)行官托馬斯·庫(kù)里安(Thomas Kurian)在周二的新聞發(fā)布會(huì)上表示,“如果你想創(chuàng)建帶有文本疊加的圖像——例如廣告——你可以做到?!?/p>
谷歌生成媒體產(chǎn)品主管 Vishy Tirumalasetty 表示,“Imagen 2 可以生成……徽章、字母標(biāo)記和抽象徽標(biāo)……[并且]能夠?qū)⑦@些徽標(biāo)覆蓋到產(chǎn)品、服裝、名片和其他表面上。”
得益于“新穎的訓(xùn)練和建模技術(shù)”,Imagen 2 還可以理解更具描述性的長(zhǎng)格式提示,并對(duì)有關(guān)圖像中元素的問題提供“詳細(xì)答案”。谷歌表示,這些技術(shù)還增強(qiáng)了 Imagen 2 的多語(yǔ)言理解能力——允許模型將一種語(yǔ)言的提示翻譯成另一種語(yǔ)言的輸出(例如 Logo)。
Imagen 2 利用 SynthID(DeepMind 開發(fā)的一種方法)將隱形水印應(yīng)用到其創(chuàng)建的圖像上。當(dāng)然,檢測(cè)這些水印(谷歌聲稱這些水印能夠適應(yīng)圖像編輯,包括壓縮、濾鏡和顏色調(diào)整)需要谷歌提供的工具,而第三方無(wú)法使用該工具。
目前開發(fā)人員和谷歌云客戶已經(jīng)可以體驗(yàn) Imagen 2 的強(qiáng)大:
https://cloud.google.com/blog/products/ai-machine-learning/imagen-2-on-vertex-ai-is-now-generally-available
圖像逼真程度達(dá)到新高度
看下圖,你能一眼猜到是 AI 生成的嗎?
提示詞:一張 32 歲女性在叢林中的照片,她是一位嶄露頭角的自然資源保護(hù)主義者;運(yùn)動(dòng)型短卷發(fā),笑容溫暖
提示詞:深藍(lán)色背景上的水母
提示詞:一幅小畫布油畫,顯示案板上的橘子。光線穿過橙色部分,在切菜板的一部分上投射出橙色光。背景中有一塊藍(lán)色和白色的布。焦散、反射光、富有表現(xiàn)力的筆觸
對(duì)圖像提示詞的理解達(dá)到新的高度
文生圖模型學(xué)習(xí)根據(jù)訓(xùn)練數(shù)據(jù)集的圖像和文字說(shuō)明中的詳細(xì)信息生成與用戶提示相匹配的圖像。但對(duì)于每個(gè)圖像和蚊子說(shuō)明,這些配對(duì)的細(xì)節(jié)質(zhì)量和準(zhǔn)確性可能會(huì)有很大差異。
為了幫助創(chuàng)建更高質(zhì)量、更準(zhǔn)確的圖像,更好地符合用戶的提示,谷歌在 Imagen 2 訓(xùn)練數(shù)據(jù)集中的圖像說(shuō)明文字中添加了進(jìn)一步的描述,幫助 Imagen 2 學(xué)習(xí)不同的文字說(shuō)明樣式并進(jìn)行概括,以更好地理解廣泛的用戶提示。
這些增強(qiáng)的圖像-文字說(shuō)明配對(duì)有助于 Imagen 2 更好地理解圖像和文字之間的關(guān)系,從而增強(qiáng)對(duì)上下文和細(xì)微差別的理解。
以下是 Imagen 2 快速理解的示例:
1. AI 生成油畫圖像
提示詞:“溪水輕柔地流淌,鳥兒重新唱出它們的音符,它們混合的音樂在空中飄蕩。” (菲利斯·惠特利的《晚間贊美詩(shī)》)
2. 人工智能生成水下場(chǎng)景彩繪圖像
提示詞:“考慮大海的微妙;其中最可怕的生物如何在水下滑行,大部分時(shí)間是不可見的,并且危險(xiǎn)地隱藏在最美麗的蔚藍(lán)色調(diào)下。”(赫爾曼·梅爾維爾的《白鯨》)
3. 人工智能生成逼真的歌唱知更鳥圖像
提示詞:“知更鳥從搖曳的常春藤叢中飛到了墻頂上,張開喙,唱起了響亮、可愛的顫音,只是為了炫耀。世界上沒有什么比知更鳥炫耀時(shí)更可愛了——而且它們幾乎總是這樣做?!保ǜダ饰魉埂せ羝嫔げ畠?nèi)特的《秘密花園》)
更真實(shí)的圖像生成
Imagen 2 的數(shù)據(jù)集和模型進(jìn)步在文本轉(zhuǎn)圖像工具經(jīng)常難以解決的許多領(lǐng)域提供了改進(jìn),包括渲染逼真的手和人臉以及保持圖像免受分散注意力的視覺偽影。
Imagen 2 生成逼真的手和人臉的示例
谷歌根據(jù)人類對(duì)良好照明、取景、曝光、清晰度等品質(zhì)的偏好,訓(xùn)練了專門的圖像美學(xué)模型。每張圖像都會(huì)獲得一個(gè)美觀評(píng)分,這有助于調(diào)節(jié) Imagen 2,使其訓(xùn)練數(shù)據(jù)集中的圖像具有更多權(quán)重,以符合人類喜歡的品質(zhì)。該技術(shù)提高了 Imagen 2 生成更高質(zhì)量圖像的能力。
AI 使用提示“花”生成的圖像,美學(xué)分?jǐn)?shù)較低(左)到較高分?jǐn)?shù)(右)
流體式調(diào)理
Imagen 2 基于擴(kuò)散的技術(shù)提供了高度的靈活性,使得控制和調(diào)整圖像的風(fēng)格變得更加容易。通過提供參考風(fēng)格圖像與文本提示相結(jié)合,我們可以調(diào)節(jié) Imagen 2 以生成遵循相同風(fēng)格的新圖像。
可視化顯示 Imagen 2 如何通過在文本提示旁邊使用參考圖像來(lái)更輕松地控制輸出樣式。
高級(jí)修圖功能
Imagen 2 還支持“inpainting”和“outpainting”等圖像編輯功能。通過提供參考圖像和圖像蒙版,用戶可以使用稱為修復(fù)的技術(shù)直接在原始圖像中生成新內(nèi)容,或者通過修復(fù)將原始圖像擴(kuò)展到其邊界之外。這項(xiàng)技術(shù)計(jì)劃在新的一年用于谷歌云的 Vertex AI。
Imagen 2 可以通過 inpainting 擴(kuò)圖功能直接在原始圖像中生成新內(nèi)容。
Imagen 2 可以通過 outpainting 將原始圖像擴(kuò)展到其邊界之外。
參考資料:
https://deepmind.google/technologies/imagen-2/
https://techcrunch.com/2023/12/13/google-debuts-imagen-2-with-text-and-logo-generation/