一、發軔之始 在工作和生活中,我們可能經常會遇到一些場景,我們在搜索引擎中輸入問題尋求解決方案,返回的卻是大量重複的、基礎性的、甚至是商業推廣的內容。無奈的反覆修正我們的檢索內容,就是找不到答案,這確實是一大困擾,由於算法的侷限性和商業干擾,導致搜索引擎算法傾向於流行度而非質量,商業利益常常凌駕於信息價值之上。我們得到的往往是最多人點擊的,而不是最正確的。
一、直入主題 檢索增強生成(RAG)已成為將大型語言模型的專業知識、實時性與事實準確性相結合的經典架構。其核心思想直白而有力:當用户提問時,首先從一個龐大的知識庫(如公司文檔、技術手冊、最新新聞等)中檢索出最相關的信息片段,然後將這些片段與用户問題一同交給大模型,指令其基於所提供的上下文進行回答。這完美解決了大模型的幻覺問題、知識陳舊和無法溯源等痛點。 然而,一個RA
一、必不可少 回憶我們日常的場景中,有時候我們使用百度或Google,要得到一個問題的答案,似乎來來回回換了很多次問法,才得到了我們期望的答案,或者到最後都沒有獲取預期的結果,這是為什麼呢? 這裏存在一個核心矛盾,我們的“問法”和知識庫的“存法”有着極大的差異,我們在提問過程中(Query)靈活、多變、口語化、不完整且沒有標明依賴背景,比如會問“電腦卡死了咋辦
前面幾篇文章已經深入討論過LangChain、RAG架構的細節,對RAG有了基礎的瞭解,今天重點梳理一下RAG的切片策略; 一、什麼是RAG切片 給定一個場景,我們有一本非常厚的百科全書(就像公司的員工手冊文檔或公司知識庫)。同時,我們有一個超級聰明的AI助手,他知識淵博,但有個弊端,他一次只能看一頁紙,而且給他哪一頁,他才能看哪一頁。他做不到直接從整本厚厚的書裏去尋