一、必不可少 回憶我們日常的場景中,有時候我們使用百度或Google,要得到一個問題的答案,似乎來來回回換了很多次問法,才得到了我們期望的答案,或者到最後都沒有獲取預期的結果,這是為什麼呢? 這裏存在一個核心矛盾,我們的“問法”和知識庫的“存法”有着極大的差異,我們在提問過程中(Query)靈活、多變、口語化、不完整且沒有標明依賴背景,比如會問“電腦卡死了咋辦
一、循序漸進 今天按計劃是想講一些RAG的高階屬性的,但連着幾天的燒腦模式,着實腦袋也有點疲憊,經常長篇大論的理論學説,看着可能也覺得枯燥了,今天計劃結合前面的幾篇文章,做個綜合性的演示,温故而知新,同時也讓大腦短暫的放鬆放鬆,事緩則圓,多幾分從容! 考慮良久,決定搭建一個基於 Gradio 與 DashScope Qwen-Image 模型的文生圖演示應用!此應用通
前面幾篇文章已經深入討論過LangChain、RAG架構的細節,對RAG有了基礎的瞭解,今天重點梳理一下RAG的切片策略; 一、什麼是RAG切片 給定一個場景,我們有一本非常厚的百科全書(就像公司的員工手冊文檔或公司知識庫)。同時,我們有一個超級聰明的AI助手,他知識淵博,但有個弊端,他一次只能看一頁紙,而且給他哪一頁,他才能看哪一頁。他做不到直接從整本厚厚的書裏去尋
一、相得益彰 在人工智能領域,我們常常遇到兩個核心挑戰:如何讓模型獲取最新知識,以及如何讓模型基於特定信息生成準確答案。RAG(Retrieval-Augmented Generation:檢索增強生成) 提供了一種解決這些挑戰的範式,而 LangChain 則提供了實現這一範式的完整工具箱。二者的結合,就像RAG給了建築師既有了設計藍圖,而LangChain又有了全套現代
一、拋磚引玉 經過一段時間的接觸,大型語言模型(LLM),展現出了令人驚歎的文本生成、對話和推理能力。它們飽讀詩書、才華橫溢,能夠就幾乎任何話題進行流暢的對話。然而,這個天才有一個致命的弱點:它的知識完全來源於其訓練數據,存在截止日期,並且它有時會為了保持對話的流暢性而“捏造”事實。這種現象在AI領域被稱為“幻覺”或“胡説八道”。想象一下,你結合實際問了一個問題,最新的員工
將文本轉換為向量(文本嵌入)是自然語言處理中的核心任務,有許多大模型可以完成這項工作。上一篇文章《構建AI智能體:十五、超越關鍵詞搜索:向量數據庫如何解鎖語義理解新紀元》我們是通過阿里雲的api調用的text-embedding-v4模型,同樣還有很多其他輕量級的模型可以很好的完成這個任務,我們今天找兩個結合前期講到的本地化部署來嘗試一下。 一、核心組件回顧
一、我需要學習“時間序列”嗎 今天主題是“時間序列模型”,在開始之前我們先討論一下學習大模型需要了解時間序列嗎,首先要看我們的目標,學習大模型也必須也要有自己的目標。 應用型工程師: 如果想成為一名應用大模型的專業工程師,比如構建一個智能聊天客服機器人、開發一個文檔總結工具、創建一個代碼生成助手,那麼,不需要深入研究時間序列模型,此時你的核心技能應該是:
一、什麼是 N-gram 核心定義:N-gram 是來自給定文本或語音序列的N 個連續項(如單詞、字符)的序列。它是一種通過查看一個項目的前後文來建模序列的概率模型。 N:代表連續項的數量。 項(Item):通常是單詞(Word),也可以是字符(Character)或音節。 核心思想:N-gram 模型基於一個簡化的假設:一個詞的出現概
我們理解“蘋果”這個詞,能聯想到一種水果、一個公司、或者牛頓的故事。但對計算機而言,“蘋果”最初只是一個冰冷的符號或一串二進制代碼。傳統的“One-Hot”編碼方式(如“蘋果”是[1,0,0,...],“香蕉”是是[0,1,0,...])無法表達任何語義,所有詞之間的關係都是相等且無關的。 如何讓機器真正“理解”含義?這就需要一種新的表示方法——Embedding。它就像一
一、Gensim是什麼? 想象一下你面對成千上萬篇中文文章,想要快速瞭解這些文章主要討論什麼話題,或者找到相似的文檔,甚至讓計算機理解詞語之間的語義關係,並發現文本中的相似模式和語義結構,這就是Gensim的主要用途。Gensim非常高效,即使處理百萬級的文檔也能遊刃有餘。 Gensim是一個專門用於自然語言處理的Python庫,它的核心功能是: 從大