from langchain.prompts import PromptTemplate
custom_prompt = PromptTemplate(
    template="""請嚴格根據以下上下文來回答問題。如果上下文沒有提供足夠信息，請直接説"根據已知信息無法回答該問題"，不要編造答案。
上下文：
{context}
問題：{question}
答案：""",
    input_variables=["context", "question"]
)
chain = load_qa_chain(llm, chain_type="stuff", prompt=custom_prompt)

from PyPDF2 import PdfReader
from langchain.chains.question_answering import load_qa_chain
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.embeddings import DashScopeEmbeddings
from langchain_community.vectorstores import FAISS
from typing import List, Tuple
import os
import pickle
DASHSCOPE_API_KEY = os.getenv('DASHSCOPE_API_KEY')
if not DASHSCOPE_API_KEY:
    raise ValueError("請設置環境變量 DASHSCOPE_API_KEY")
def extract_text_with_page_numbers(pdf) -> Tuple[str, List[Tuple[str, int]]]:
    """
    從PDF中提取文本並記錄每個字符對應的頁碼
    參數:
        pdf: PDF文件對象
    返回:
        text: 提取的文本內容
        char_page_mapping: 每個字符對應的頁碼列表
    """
    text = ""
    char_page_mapping = []
    for page_number, page in enumerate(pdf.pages, start=1):
        extracted_text = page.extract_text()
        if extracted_text:
            text += extracted_text
            # 為當前頁面的每個字符記錄頁碼
            char_page_mapping.extend([page_number] * len(extracted_text))
        else:
            print(f"No text found on page {page_number}.")
    return text, char_page_mapping
def process_text_with_splitter(text: str, char_page_mapping: List[int], save_path: str = None) -> FAISS:
    """
    處理文本並創建向量存儲
    參數:
        text: 提取的文本內容
        char_page_mapping: 每個字符對應的頁碼列表
        save_path: 可選，保存向量數據庫的路徑
    返回:
        knowledgeBase: 基於FAISS的向量存儲對象
    """
    # 創建文本分割器，用於將長文本分割成小塊
    text_splitter = RecursiveCharacterTextSplitter(
        separators=["\n\n", "\n", ".", " ", ""],
        chunk_size=1000,
        chunk_overlap=200,
        length_function=len,
    )
    # 分割文本
    chunks = text_splitter.split_text(text)
    print(f"文本被分割成 {len(chunks)} 個塊。")
    # 創建嵌入模型
    embeddings = DashScopeEmbeddings(
        model="text-embedding-v1",
        dashscope_api_key=DASHSCOPE_API_KEY,
    )
    # 從文本塊創建知識庫
    knowledgeBase = FAISS.from_texts(chunks, embeddings)
    print("已從文本塊創建知識庫。")
    # 為每個文本塊找到對應的頁碼信息
    page_info = {}
    current_pos = 0
    for chunk in chunks:
        chunk_start = current_pos
        chunk_end = current_pos + len(chunk)
        # 找到這個文本塊中字符對應的頁碼
        chunk_pages = char_page_mapping[chunk_start:chunk_end]
        # 取頁碼的眾數（出現最多的頁碼）作為該塊的頁碼
        if chunk_pages:
            # 統計每個頁碼出現的次數
            page_counts = {}
            for page in chunk_pages:
                page_counts[page] = page_counts.get(page, 0) + 1
            # 找到出現次數最多的頁碼
            most_common_page = max(page_counts, key=page_counts.get)
            page_info[chunk] = most_common_page
        else:
            page_info[chunk] = 1  # 默認頁碼
        current_pos = chunk_end
    knowledgeBase.page_info = page_info
    print(f'頁碼映射完成，共 {len(page_info)} 個文本塊')
    # 如果提供了保存路徑，則保存向量數據庫和頁碼信息
    if save_path:
        # 確保目錄存在
        os.makedirs(save_path, exist_ok=True)
        # 保存FAISS向量數據庫
        knowledgeBase.save_local(save_path)
        print(f"向量數據庫已保存到: {save_path}")
        # 保存頁碼信息到同一目錄
        with open(os.path.join(save_path, "page_info.pkl"), "wb") as f:
            pickle.dump(page_info, f)
        print(f"頁碼信息已保存到: {os.path.join(save_path, 'page_info.pkl')}")
    return knowledgeBase
def load_knowledge_base(load_path: str, embeddings = None) -> FAISS:
    """
    從磁盤加載向量數據庫和頁碼信息
    參數:
        load_path: 向量數據庫的保存路徑
        embeddings: 可選，嵌入模型。如果為None，將創建一個新的DashScopeEmbeddings實例
    返回:
        knowledgeBase: 加載的FAISS向量數據庫對象
    """
    # 如果沒有提供嵌入模型，則創建一個新的
    if embeddings is None:
        embeddings = DashScopeEmbeddings(
            model="text-embedding-v1",
            dashscope_api_key=DASHSCOPE_API_KEY,
        )
    # 加載FAISS向量數據庫，添加allow_dangerous_deserialization=True參數以允許反序列化
    knowledgeBase = FAISS.load_local(load_path, embeddings, allow_dangerous_deserialization=True)
    print(f"向量數據庫已從 {load_path} 加載。")
    # 加載頁碼信息
    page_info_path = os.path.join(load_path, "page_info.pkl")
    if os.path.exists(page_info_path):
        with open(page_info_path, "rb") as f:
            page_info = pickle.load(f)
        knowledgeBase.page_info = page_info
        print("頁碼信息已加載。")
    else:
        print("警告: 未找到頁碼信息文件。")
    return knowledgeBase
# 讀取PDF文件
pdf_reader = PdfReader('./電腦的日常維護.pdf')
# 提取文本和頁碼信息
text, char_page_mapping = extract_text_with_page_numbers(pdf_reader)
#print('page_numbers=',page_numbers)
print(f"提取的文本長度: {len(text)} 個字符。")
# 處理文本並創建知識庫，同時保存到磁盤
save_dir = "./vector_db"
knowledgeBase = process_text_with_splitter(text, char_page_mapping, save_path=save_dir)
# 示例：如何加載已保存的向量數據庫
# 註釋掉以下代碼以避免在當前運行中重複加載
"""
# 創建嵌入模型
embeddings = DashScopeEmbeddings(
    model="text-embedding-v1",
    dashscope_api_key=DASHSCOPE_API_KEY,
)
# 從磁盤加載向量數據庫
loaded_knowledgeBase = load_knowledge_base("./vector_db", embeddings)
# 使用加載的知識庫進行查詢
docs = loaded_knowledgeBase.similarity_search("客户經理每年評聘申報時間是怎樣的？")
# 直接使用FAISS.load_local方法加載（替代方法）
# loaded_knowledgeBase = FAISS.load_local("./vector_db", embeddings, allow_dangerous_deserialization=True)
# 注意：使用這種方法加載時，需要手動加載頁碼信息
"""
from langchain_community.llms import Tongyi
llm = Tongyi(model_name="deepseek-v3", dashscope_api_key=DASHSCOPE_API_KEY) # qwen-turbo
# 設置查詢問題
query = "如何進行系統性能優化"
if query:
    # 執行相似度搜索，找到與查詢相關的文檔
    docs = knowledgeBase.similarity_search(query,k=10)
    # 加載問答鏈
    chain = load_qa_chain(llm, chain_type="stuff")
    # 準備輸入數據
    input_data = {"input_documents": docs, "question": query}
    # 執行問答鏈
    response = chain.invoke(input=input_data)
    print(response["output_text"])
    print("來源:")
    # 記錄唯一的頁碼
    unique_pages = set()
    # 顯示每個文檔塊的來源頁碼
    for doc in docs:
        #print('doc=',doc)
        text_content = getattr(doc, "page_content", "")
        source_page = knowledgeBase.page_info.get(
            text_content.strip(), "未知"
        )
        if source_page not in unique_pages:
            unique_pages.add(source_page)
            print(f"文本塊頁碼: {source_page}")

提取的文本長度: 7494 個字符。
文本被分割成 10 個塊。
已從文本塊創建知識庫。
頁碼映射完成，共 10 個文本塊
向量數據庫已保存到: ./vector_db
頁碼信息已保存到: ./vector_db\page_info.pkl
系統性能優化可以通過多種方式進行，以下是具體的方法和步驟：
### 1. **磁盤緩存優化**
   - 調整系統對磁盤數據的緩存策略，以提高讀寫效率。
### 2. **桌面菜單優化**
   - 減少桌面圖標和菜單項的加載時間，提高桌面響應速度。
### 3. **文件系統優化**
   - 定期進行磁盤碎片整理，確保文件存儲連續，減少磁盤尋道時間。
### 4. **網絡系統優化**
   - 調整網絡協議和設置，優化網絡連接速度和穩定性。
### 5. **開機速度優化**
   - **設置開機信息停留時間**：通過拖動滑塊調整開機信息顯示的時間。
   - **採用快速啓動方式**：選中“採用Windows XP快速啓動方式”複選框。
   - **關閉不必要的開機自啓動程序**：在“請選擇開機不自動運行的項目”列表中取消選中不需要的程序。
### 6. **系統安全優化**
   - 關閉不必要的後台服務和防火牆規則，減少系統資源佔用。
### 7. **系統個性優化**
   - 根據用户需求調整系統界面和功能設置。
### 8. **後台服務優化**
   - 停用或調整不常用的後台服務，以釋放系統資源。
### 9. **使用系統工具**
   - 利用**Windows優化大師**等工具，對系統進行全面優化，包括垃圾文件清理、冗餘DLL分析等。
### 操作步驟示例：
1. **單擊“系統性能優化”選項**，選擇“開機速度優化”。
2. **調整啓動信息停留時間**：拖動滑塊設置開機信息停留時間。
3. **設置啓動方式**：勾選“採用Windows XP快速啓動方式”和“異常時啓動磁盤錯誤檢查等待時間”。
4. **選擇不開機自啓動的項目**：在列表框中取消選中不需要開機自啓動的程序。
5. **單擊“優化”按鈕**完成設置。
通過這些方法，可以顯著提高系統的運行效率和響應速度。
來源:
文本塊頁碼: 13
文本塊頁碼: 10
文本塊頁碼: 9
文本塊頁碼: 7
文本塊頁碼: 1
文本塊頁碼: 18
文本塊頁碼: 4
文本塊頁碼: 16
文本塊頁碼: 2