Meta 開源了一款名為 Spatial Lingo 的開源 Unity 應用,旨在幫助用户通過現實世界中的物體識別來練習語言。這款應用基於 Meta 的多種軟件開發工具包(SDK),為用户提供了一種新穎而富有趣味的語言學習體驗。
Spatial Lingo 應用的核心理念是通過引導用户用目標語言識別和描述周圍環境中的物體,提升其語言能力。用户將在名為 Golly Gosh 的虛擬角色的引導下,利用身邊熟悉的物品進行詞彙練習。該應用支持手部追蹤與控制器操作,增強了用户的沉浸感。
項目的設計旨在為 Unity 開發者提供對 Meta 多種功能的理解和開發模板。通過使用透視相機 API(PCA)、語音 SDK、混合現實實用工具包(MRUK)等,開發者可以創建更加豐富的混合現實體驗。Spatial Lingo 的主場景和多個示例場景展示瞭如何實現這些功能,包括健身房場景、詞雲場景和相機圖像場景。
為了使用 Spatial Lingo,開發者需確保其安裝了 Unity6000.0.51f1或更高版本,並配置相應的 Llama API 密鑰。項目還特別強調了安全性,提醒開發者不要在應用中嵌入 API 密鑰,以防其被提取。
Spatial Lingo 的多項功能使其成為語言學習的強大工具。應用能夠識別用户環境中的物體,並基於此生成動態的語言課程。隨着用户不斷構建其語言樹,系統將自動生成與物體相關的動詞和形容詞,從而豐富課程內容。此外,應用還具備語音合成和轉錄功能,支持多種語言,進一步提升了互動性。