InfiniteYou(簡稱 InfU)是由字節跳動智能創作團隊近期推出的一款基於 Diffusion Transformers 的身份保持 (identity-preserved) 圖像生成框架。它通過先進的技術,能夠在生成圖像的同時保持人物身份的一致性,即在生成不同場景的圖片時能夠精準保留面部特徵。
作為該領域最早利用擴散 Transformer (DiTs) 的框架之一,InfU 系統性地解決了現有方法的 3 大核心問題:身份相似度不足、圖文對齊偏差以及生成質量與美學表現欠佳。其核心創新 InfuseNet 通過殘差連接將身份特徵注入 DiT 基礎模型,在保持生成能力的同時顯著提升身份保真度。採用包含預訓練和合成單人多樣本 (SPMS) 數據監督微調 (SFT) 的多階段訓練策略,進一步優化了圖文對齊性,改善生成質量並有效緩解人臉複製效應。大量實驗表明,InfU 實現了 SOTA 級別的性能表現,全面超越現有基線方法。
目前「InfiniteYou 高保真圖像生成 Demo」教程已上線至 OpenBayes 公共教程中,感興趣的小夥伴快來親自上手試一試吧 !
教程地址:
https://go.openbayes.com/j9XCO
Demo 運行
01 Demo 運行階段
- 登錄 http://OpenBayes.com,在「公共教程」頁面,選擇鍵部署 「InfiniteYou 高保真圖像生成 Demo」教程。
- 頁面跳轉後,點擊右上角「克隆」,將該教程克隆至自己的容器中。
- 選擇「NVIDIA RTX A6000」以及「PyTorch」鏡像,OpenBayes 平台提供了 4 種計費方式,大家可以按照需求選擇「按量付費」或「包日/周/月」,點擊「繼續執行」。新用户使用下方邀請鏈接註冊,可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費時長!
小貝總專屬邀請鏈接(直接複製到瀏覽器打開):https://go.openbayes.com/9S6Dr
- 等待分配資源,首次克隆需等待 2 分鐘左右的時間。當狀態變為「運行中」後,點擊「API 地址」旁邊的跳轉箭頭,即可跳轉至 Demo 頁面。請注意,用户需在實名認證後才能使用 API 地址訪問功能。
02 效果演示
- 進入 Demo 頁面後,首先在「Identity Image」處上傳包含人臉的照片,然後輸入 Prompt,並在「Model Version」處選擇模型版本,這裏默認使用「aes_stage2」以獲得更好的圖文對齊和生成效果,如需更高的 ID 相似度,請嘗試「sim_stage1」。「Control Image[Optional]」處可上傳人臉的控制圖片,模型會提取 5 個面部關鍵點來控制生成,非必要項。最後點擊「Generate」生成圖像。
- 這裏我們上傳了一張 Yann Lecun 的照片,可以看到生成效果還是不錯的。
*prompt:A sophisticated gentleman exuding confidence. He is dressed in a 1990s brown plaid jacket with a high collar, paired with a dark grey turtleneck. His trousers are tailored and charcoal in color, complemented by a sleek leather belt. The background showcases an elegant library with bookshelves, a marble fireplace, and warm lighting, creating a refined and cozy atmosphere. His relaxed posture and casual hand-in-pocket stance add to his composed and stylish demeanor
新用户福利
註冊福利: 點擊下方邀請鏈接註冊,即可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費算力時長,永久有效!
小貝總專屬邀請鏈接(直接複製到瀏覽器打開):
https://go.openbayes.com/9S6Dr