# 傳統方式 - 需要寫很多複雜代碼
import torch
from transformers import AutoModel, AutoTokenizer, TrainingArguments, Trainer
from datasets import load_dataset
import deepspeed

# 1. 數據預處理（很複雜）
def preprocess_function(examples):
    # 需要懂分詞、填充、截斷等技術
    pass

# 2. 模型配置（容易出錯）
training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-5,
    # ... 還有幾十個參數需要設置
)

# 3. 訓練循環（需要深度學習知識）
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets,
    data_collator=data_collator,
    # ... 更多複雜配置
)

# 4. 處理各種錯誤（內存不足、配置錯誤等）

# 使用 Llama Factory 的方式
from llama_factory import TrainArguments, run_train

# 只需要配置幾個關鍵參數
train_args = TrainArguments(
    model_name_or_path="Qwen/Qwen2-7B-Instruct",  # 基礎模型
    dataset="my_medical_data",                    # 你的數據
    finetuning_type="lora",                       # 訓練方法
    output_dir="./my_medical_ai"                  # 輸出位置
)

# 一鍵開始訓練
run_train(train_args)

// 你的訓練數據應該長這樣
[
  {
    "instruction": "給以下症狀提供醫療建議",
    "input": "患者發燒38.5℃，咳嗽，流鼻涕",
    "output": "建議多休息、多喝水，可服用退燒藥，如症狀持續請就醫"
  },
  {
    "instruction": "翻譯以下英文",
    "input": "Hello, how are you?",
    "output": "你好，最近怎麼樣？"
  }
]

中文任務：
- Qwen系列（阿里通義千問）：對中文支持最好
- ChatGLM系列（清華）：中文理解強
- Baichuan系列（百川）：中文優化好

英文任務：
- Llama系列（Meta）：生態豐富
- Mistral系列：性能優秀
- Gemma系列（Google）：輕量高效

多語言任務：
- Qwen系列：中英文都不錯
- Llama系列：通過擴展支持多語言

# 一個完整的訓練配置示例
train_args = TrainArguments(
    # 基礎配置
    model_name_or_path="Qwen/Qwen2-7B-Instruct",  # 基礎模型
    dataset="my_medical_data",                    # 數據集名稱
    finetuning_type="lora",                       # 訓練方法
    
    # LoRA 專用配置
    lora_target="q_proj,v_proj",                  # 要改動的模型部件
    lora_rank=16,                                 # 改動程度（16-64）
    lora_alpha=32,                                # 學習強度
    
    # 訓練參數
    output_dir="./my_medical_ai",                 # 保存位置
    per_device_train_batch_size=4,                # 批次大小
    gradient_accumulation_steps=4,                # 梯度累積
    learning_rate=2e-4,                           # 學習率
    num_train_epochs=3,                           # 訓練輪數
    
    # 資源優化
    fp16=True,                                    # 使用半精度節省內存
    logging_steps=10,                             # 每10步輸出日誌
)

from llama_factory import run_train

# 一鍵開始訓練
run_train(train_args)

# 訓練過程中你會看到：
# 🔥 開始訓練...
# 📊 第1步，損失: 2.3456
# 📊 第10步，損失: 1.2345  
# 📊 第20步，損失: 0.8765
# 💾 保存檢查點...
# 🎉 訓練完成！

from llama_factory import load_model, get_infer_args

# 加載訓練好的模型
infer_args = get_infer_args({
    "model_name_or_path": "Qwen/Qwen2-7B-Instruct",
    "adapter_name_or_path": "./my_medical_ai",  # 你的訓練結果
    "template": "qwen"
})

model, tokenizer = load_model(infer_args)

# 測試你的AI助手
messages = [
    {"role": "user", "content": "我發燒38℃，應該怎麼辦？"}
]
response = model.chat(tokenizer, messages)
print(f"AI回答: {response}")

# 輸出：建議多休息、多喝水，可服用退燒藥...

# 構建虛擬環境
conda create -n llamafactory python=3.10 -y && conda activate llamafactory
# 下載倉庫
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
# 安裝
pip install -e .

llamafactory-cli version