博客 / 詳情

返回

OpenBayes 教程上新丨字節開源 InfiniteYou 圖像生成框架,實現高保真面部特徵遷移

InfiniteYou(簡稱 InfU)是由字節跳動智能創作團隊近期推出的一款基於 Diffusion Transformers 的身份保持 (identity-preserved) 圖像生成框架。它通過先進的技術,能夠在生成圖像的同時保持人物身份的一致性,即在生成不同場景的圖片時能夠精準保留面部特徵

作為該領域最早利用擴散 Transformer (DiTs) 的框架之一,InfU 系統性地解決了現有方法的 3 大核心問題:身份相似度不足、圖文對齊偏差以及生成質量與美學表現欠佳。其核心創新 InfuseNet 通過殘差連接將身份特徵注入 DiT 基礎模型,在保持生成能力的同時顯著提升身份保真度。採用包含預訓練和合成單人多樣本 (SPMS) 數據監督微調 (SFT) 的多階段訓練策略,進一步優化了圖文對齊性,改善生成質量並有效緩解人臉複製效應。大量實驗表明,InfU 實現了 SOTA 級別的性能表現,全面超越現有基線方法

目前「InfiniteYou 高保真圖像生成 Demo」教程已上線至 OpenBayes 公共教程中,感興趣的小夥伴快來親自上手試一試吧 !

教程地址

https://go.openbayes.com/j9XCO

Demo 運行

01 Demo 運行階段

  1. 登錄 http://OpenBayes.com,在「公共教程」頁面,選擇鍵部署 「InfiniteYou 高保真圖像生成 Demo」教程。

圖片

  1. 頁面跳轉後,點擊右上角「克隆」,將該教程克隆至自己的容器中。

圖片

  1. 選擇「NVIDIA RTX A6000」以及「PyTorch」鏡像,OpenBayes 平台提供了 4 種計費方式,大家可以按照需求選擇「按量付費」或「包日/周/月」,點擊「繼續執行」。新用户使用下方邀請鏈接註冊,可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費時長!

小貝總專屬邀請鏈接(直接複製到瀏覽器打開):https://go.openbayes.com/9S6Dr

圖片

圖片

  1. 等待分配資源,首次克隆需等待 2 分鐘左右的時間。當狀態變為「運行中」後,點擊「API 地址」旁邊的跳轉箭頭,即可跳轉至 Demo 頁面。請注意,用户需在實名認證後才能使用 API 地址訪問功能。

圖片

圖片

02 效果演示

  1. 進入 Demo 頁面後,首先在「Identity Image」處上傳包含人臉的照片,然後輸入 Prompt,並在「Model Version」處選擇模型版本,這裏默認使用「aes_stage2」以獲得更好的圖文對齊和生成效果,如需更高的 ID 相似度,請嘗試「sim_stage1」。「Control Image[Optional]」處可上傳人臉的控制圖片,模型會提取 5 個面部關鍵點來控制生成,非必要項。最後點擊「Generate」生成圖像。

圖片

圖片

  1. 這裏我們上傳了一張 Yann Lecun 的照片,可以看到生成效果還是不錯的。

*prompt:A sophisticated gentleman exuding confidence. He is dressed in a 1990s brown plaid jacket with a high collar, paired with a dark grey turtleneck. His trousers are tailored and charcoal in color, complemented by a sleek leather belt. The background showcases an elegant library with bookshelves, a marble fireplace, and warm lighting, creating a refined and cozy atmosphere. His relaxed posture and casual hand-in-pocket stance add to his composed and stylish demeanor

圖片

圖片

新用户福利

註冊福利: 點擊下方邀請鏈接註冊,即可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費算力時長,永久有效!

小貝總專屬邀請鏈接(直接複製到瀏覽器打開):

https://go.openbayes.com/9S6Dr

user avatar rivers_chaitin 頭像
1 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.