給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統详情 - 數據庫,語言模型,數據,軟件研發 u_15714439 日志

這是我參與創作者計劃的第1篇文章

大家好，因為對AI大模型很感興趣，相信很多兄弟們跟我一樣，所以最近花時間瞭解了一些，有一些總結分享給大家，希望對各位有所幫助；

本文主要是目標是講解如何在本地搭建一個簡易的AI問答系統，主要用java來實現，也有一些簡單的python知識；網上很多例子都是以 ChatGPT來講解的，但因為它對國內訪問有限制，OpeAi連接太麻煩，又要虛擬賬號註冊賬號啥的，第一步就勸退了，所以選擇了 llama和qwen替代，但是原理都是一樣的；

AI 應用開發框架

（一）Langchain

官網：https://www.langchain.com/langchain

LangChain不是一個大數據模型，而是一款可以用於開發類似AutoGPT的AI應用的開發工具，LangChain簡化了LLM應用程序生命週期的各個階段，且提供了開發協議、開發範式，並擁有相應的平台和生態；

LangChain 是一個由 Harrison Chase 創立的框架，專注於幫助開發者使用語言模型構建端到端的應用程序。它特別設計來簡化與大型語言模型（LLMs）的集成，使得創建由這些模型支持的應用程序變得更加容易。LangChain 提供了一系列工具、組件和接口，可以用於構建聊天機器人、生成式問答系統、摘要工具以及其他基於語言的AI應用。

LangChain 的核心特性包括：

1.鏈式思維（Chains）： LangChain 引入了“鏈”（Chain）的概念，這是一系列可組合的操作，可以按順序執行，比如從獲取輸入、處理數據到生成輸出。鏈條可以嵌套和組合，形成複雜的邏輯流。

2.代理（Agents）：代理是更高級別的抽象，它們可以自主地決定如何使用不同的鏈條來完成任務。代理可以根據輸入動態選擇最佳行動方案。

3.記憶（Memory）： LangChain 支持不同類型的內存，允許模型保留歷史對話或操作的上下文，這對於構建有狀態的對話系統至關重要。

4.加載器和拆分器（Loaders and Splitters）：這些工具幫助讀取和處理各種格式的文檔，如PDF、網頁、文本文件等，為模型提供輸入數據。

5.提示工程（Prompt Engineering）： LangChain 提供了創建和管理提示模板的工具，幫助引導模型生成特定類型的內容。

6.Hub： LangChain Hub 是一個社區驅動的資源庫，其中包含了許多預構建的鏈條、代理和提示，可以作為構建塊來加速開發過程。

7.與外部系統的集成： LangChain 支持與外部數據源和API的集成，如數據庫查詢、知識圖譜、搜索引擎等，以便模型能夠訪問更廣泛的信息。

8.監控和調試工具：為了更好地理解和優化應用程序，LangChain 提供了日誌記錄和分析功能，幫助開發者追蹤模型的行為和性能。

（二）LangChain4J

上面説的 LangChain 是基於python 開發的，而 LangChain4J 是一個旨在為 Java 開發者提供構建語言模型應用的框架。受到 Python 社區中 LangChain 庫的啓發，LangChain4J 致力於提供相似的功能，但針對 Java 生態系統進行了優化。它允許開發者輕鬆地構建、部署和維護基於大型語言模型的應用程序，如聊天機器人、文本生成器和其他自然語言處理（NLP）任務。

主要特點：

1.模塊化設計：LangChain4J 提供了一系列可組合的模塊，包括語言模型、記憶、工具和鏈，使得開發者可以構建複雜的語言處理流水線。

2.支持多種語言模型：LangChain4J 支持與各種語言模型提供商集成，如 Hugging Face、OpenAI、Google PaLM 等，使得開發者可以根據項目需求選擇最合適的模型。

3.記憶機制：它提供了記憶組件，允許模型記住先前的對話歷史，從而支持上下文感知的對話。

4.工具集成：LangChain4J 支持集成外部工具，如搜索API、數據庫查詢等，使得模型能夠訪問實時數據或執行特定任務。

5.鏈式執行：通過鏈式執行，可以將多個語言處理步驟鏈接在一起，形成複雜的處理流程，例如先分析用户意圖，再查詢數據庫，最後生成回覆。

主要功能：

1.LLM 適配器：允許你連接到各種語言模型，如 OpenAI 的 GPT-3 和 GPT-4，Anthropic 的 Claude 等。

2.Chains 構建：提供一種機制來定義和執行一系列操作，這些操作可以包括調用模型、數據檢索、轉換等，以完成特定的任務。

3.Agent 實現：支持創建代理（agents），它們可以自主地執行任務，如回答問題、完成指令等。

4.Prompt 模板：提供模板化的提示，幫助指導模型生成更具體和有用的回答。

5.工具和記憶：允許模型訪問外部數據源或存儲之前的交互記錄，以便在會話中保持上下文。

6.模塊化和可擴展性：使開發者能夠擴展框架，添加自己的組件和功能。

本地問答系統搭建環境準備

（一）用 Ollama 啓動一個本地大模型

1.下載安裝 Ollma

2.ollama 是一個命令行工具，用於方便地在本地運行 LLaMA 系列模型和其他類似的 transformer 基礎的大型語言模型。該工具簡化了模型的下載、配置和推理過程，使得個人用户能夠在自己的機器上直接與這些模型交互，而不需要直接接觸複雜的模型加載和推理代碼；

3.下載地址：https://ollama.com/，下載完成後，打開 Ollma，其默認端口為11334，瀏覽器訪問：http://localhost:11434 ，會返回：Ollama is running，電腦右上角展示圖標；

給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統_數據_02

1.下載大模型

2.安裝完成後，通過命令行下載大模型，命令行格式：ollma pull modelName，如：ollma pull llama3；

3.大模型一般要幾個G，需要等一會；個人建議至少下載兩個， llama3、 qwen（通義千問），這兩個都是開源免費的，英文場景用 llama3，中文場景用 qwen；

下載完成後，通過 ollma list 可以查看已下載的大模型；

給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統_語言模型_03

1.啓動大模型

確認下載完成後，用命令行：ollma run 模型名稱，來啓動大模型；啓動後，可以立即輸入內容與大模型進行對話，如下：

給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統_數據_04

（二）啓動本地向量數據庫 chromadb

Chroma 是一款 AI 原生開源矢量數據庫，它內置了入門所需的一切，可在本地運行，是一款很好的入門級向量數據庫。

1.安裝：pip install chromadb ;

2.啓動：chroma run ：

給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統_數據庫_05

用java 實現本地AI問答功能

（一）核心maven依賴：

<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <langchain4j.version>0.31.0</langchain4j.version>
</properties>

<dependencies>
    <!--     langchain4j       -->
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-core</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-open-ai</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>

    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-embeddings</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-chroma</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>

    <!--     ollama       -->
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-ollama</artifactId>
        <version>${langchain4j.version}</version>
    </dependency>

    <!--    chroma 向量數據庫        -->
    <dependency>
        <groupId>io.github.amikos-tech</groupId>
        <artifactId>chromadb-java-client</artifactId>
        <version>0.1.5</version>
    </dependency>
    
</dependencies>

（二）代碼編寫：

1. 加載本地文件作為本地知識庫：

public static void main(String[] args) throws ApiException {
    //======================= 加載文件=======================
    Document document = getDocument("笑話.txt");
    
}


private static Document getDocument(String fileName) {
        URL docUrl = LangChainMainTest.class.getClassLoader().getResource(fileName);
        if (docUrl == null) {
            log.error("未獲取到文件");
        }

        Document document = null;
        try {
            Path path = Paths.get(docUrl.toURI());
            document = FileSystemDocumentLoader.loadDocument(path);
        } catch (URISyntaxException e) {
            log.error("加載文件發生異常", e);
        }
        return document;
    }

1.拆分文件內容：

//======================= 拆分文件內容=======================
//參數：分段大小（一個分段中最大包含多少個token）、重疊度（段與段之前重疊的token數）、分詞器（將一段文本進行分詞，得到token）
DocumentByLineSplitter lineSplitter = new DocumentByLineSplitter(200, 0, new OpenAiTokenizer());
List<TextSegment> segments = lineSplitter.split(document);
log.info("segment的數量是: {}", segments.size());

//查看分段後的信息
segments.forEach(segment -> log.info("========================segment: {}", segment.text()));

1.文本向量化並存儲到向量數據庫：

//提前定義兩個靜態變量
private static final String CHROMA_DB_DEFAULT_COLLECTION_NAME = "java-langChain-database-demo";
private static final String CHROMA_URL = "http://localhost:8000";


//======================= 文本向量化=======================
OllamaEmbeddingModel embeddingModel = OllamaEmbeddingModel.builder()
        .baseUrl("http://localhost:11434")
        .modelName("llama3")
        .build();

//======================= 向量庫存儲=======================
Client client = new Client(CHROMA_URL);

//創建向量數據庫
EmbeddingStore<TextSegment> embeddingStore = ChromaEmbeddingStore.builder()
        .baseUrl(CHROMA_URL)
        .collectionName(CHROMA_DB_DEFAULT_COLLECTION_NAME)
        .build();

segments.forEach(segment -> {
    Embedding e = embeddingModel.embed(segment).content();
    embeddingStore.add(e, segment);
});

1.向量庫檢索：

//======================= 向量庫檢索=======================
String qryText = "北極熊";
Embedding queryEmbedding = embeddingModel.embed(qryText).content();

EmbeddingSearchRequest embeddingSearchRequest = EmbeddingSearchRequest.builder().queryEmbedding(queryEmbedding).maxResults(1).build();
EmbeddingSearchResult<TextSegment> embeddedEmbeddingSearchResult = embeddingStore.search(embeddingSearchRequest);
List<EmbeddingMatch<TextSegment>> embeddingMatcheList = embeddedEmbeddingSearchResult.matches();
EmbeddingMatch<TextSegment> embeddingMatch = embeddingMatcheList.get(0);
TextSegment textSegment = embeddingMatch.embedded();
log.info("查詢結果: {}", textSegment.text());

1.與LLM交互

//======================= 與LLM交互=======================
PromptTemplate promptTemplate = PromptTemplate.from("基於如下信息用中文回答:\n" +
        "{{context}}\n" +
        "提問:\n" +
        "{{question}}");
Map<String, Object> variables = new HashMap<>();
//以向量庫檢索到的結果作為LLM的信息輸入
variables.put("context", textSegment.text());
variables.put("question", "北極熊幹了什麼");
Prompt prompt = promptTemplate.apply(variables);

//連接大模型
OllamaChatModel ollamaChatModel = OllamaChatModel.builder()
        .baseUrl("http://localhost:11434")
        .modelName("llama3")
        .build();

UserMessage userMessage = prompt.toUserMessage();
Response<AiMessage> aiMessageResponse = ollamaChatModel.generate(userMessage);
AiMessage response = aiMessageResponse.content();
log.info("大模型回答: {}", response.text());

（三）功能測試：

1.代碼中用到 "笑話.txt" 是我隨便從網上找的一段內容，大家可以隨便輸入點內容，為了給大家展示測試結果，我貼一下我文本內容：

有一隻北極熊和一隻企鵝在一起耍,
企鵝把身上的毛一根一根地拔了下來,拔完之後,對北極熊説:“好冷哦！”
北極熊聽了，也把自己身上的毛一根一根地拔了下來，
轉頭對企鵝説：
”果然很冷！”

1.當我輸入問題：“北極熊幹了什麼”，程序打印如下結果：

根據故事，北極熊把自己的身上的毛一根一根地拔了下來

結語

1.以上便是完成了一個超簡易的AI問答功能，如果想搭一個問答系統，可以用Springboot搞一個Web應用，把上面的代碼放到業務邏輯中即可；

2.langchain 還有其他很多很強大的能力，prompt Fomat、output Fomat、工具調用、memory存儲等；

3.早點認識和學習ai，不至於被它取代的時候，連對手是誰都不知道；

參考資料：

1.langchain 官網

2.langchain 入門教程

3.langchain4j github

4.langchain4j 視頻介紹

u_15714439 日志

@u_15714439

标签

數據庫 (310)

數據 (33)

軟件研發 (2)

語言模型 (1)

动态

給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統 - 动态详情

這是我參與創作者計劃的第1篇文章

相關概念瞭解：

（一）大語言模型 LLM

（二）Embedding

（三）向量數據庫

（四）RAG

AI 應用開發框架

（一）Langchain

（二）LangChain4J

本地問答系統搭建環境準備

（一）用 Ollama 啓動一個本地大模型

（二）啓動本地向量數據庫 chromadb

用java 實現本地AI問答功能

（一）核心maven依賴：

（二）代碼編寫：

（三）功能測試：

結語

參考資料：

Add a new 评论

u_15714439 日志

@u_15714439

标签

數據庫 (310)

數據 (33)

軟件研發 (2)

語言模型 (1)

动态

給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統 - 动态 详情

這是我參與創作者計劃的第1篇文章

相關概念瞭解：

（一）大語言模型 LLM

（二）Embedding

（三）向量數據庫

（四）RAG

AI 應用開發框架

（一）Langchain

（二）LangChain4J

本地問答系統搭建環境準備

（一）用 Ollama 啓動一個本地大模型

（二）啓動 本地向量數據庫 chromadb

用java 實現 本地AI問答功能

（一）核心maven依賴：

（二）代碼編寫：

（三）功能測試：

結語

參考資料：

Add a new 评论

給Java同仁單點的AI"開胃菜"--搭建一個自己的本地問答系統 - 动态详情

（二）啓動本地向量數據庫 chromadb

用java 實現本地AI問答功能