智元機器人發佈首個大語言模型驅動的開源仿真平台——Genie Sim 3.0。基於NVIDIA Isaac Sim ,Genie Sim 3.0融合三維重建與視覺生成,打造數字孿生級的高保真環境;首創大語言模型驅動的場景泛化技術,讓萬級場景的生成只需幾分鐘。
- 精準重建:依託 MetaCam手持3D激光掃描儀,結合高分辨率RGB、360° LiDAR點雲與釐米級RTK定位,實現對真實環境的毫米級精準復刻。
- 視覺增強:利用視覺生成模型,智能合成新視角圖像增強3D重建,極大提升了仿真環境的視覺逼真度。
- 資產生成:對於任意物體,僅需一段60秒環拍視頻,即可快速生成帶精確網格的仿真模型,大幅提升場景構建效率。
在 Genie Sim 3.0 平台中,開發者輸入自然語言指令即可驅動平台在分鐘級內自動生成、泛化成千上萬個訓練與測試場景。
- 對話式創建:直接輸入指令「生成一份蛋白質和維生素含量豐富的晚餐」,平台自動理解並構建出結構化的仿真場景。
- 智能編輯與泛化:生成場景自帶結構化信息與視覺預覽,可進一步通過對話進行場景增廣、細節增刪、佈局調整,最終輸出滿足要求的仿真場景。
智元還將開源包含真實機器人作業場景的上萬小時仿真數據集,涵蓋200餘項任務:
- 多維度數據:數據集包含RGB-D、雙目視覺、全身關節狀態等多傳感器信息,並覆蓋背景、佈局、光照、噪聲等多種泛化維度。
- 智能採集工具:平台提供低延遲遙操作與自動任務編排雙模式採集,結合自動化標註實現高效數據生產。
- 獨創錯誤恢復機制:任務失敗後可自動回退至關鍵節點續採,將數據採集損耗降至最低。
- 零樣本Sim2Real:仿真數據訓練完成後,實現零樣本遷移到真實世界,任務成功率超過真實數據訓練。