在多模態模型的架構上,ChatGPT 的繪圖能力主要依賴以下幾個核心組件: 跨模態編碼器(Cross-Modal Encoder): 跨模態編碼器的作用是將文本和圖像的特徵進行對齊。GPT 可以將用户輸入的文本描述轉換為文本特徵表示,然後利用跨模態編碼器將這些特徵映射到圖像特徵空間。這種方式確保模型能夠理解描述性語言中不同細節是如何與圖像特徵對應的。