多模态模型微调（中文图表 VQA）

两个仓库分工

案例6/
├── data_create/                        # React + Vite UI + FastAPI 后端，专门生成训练数据
└── llamafactory_train.jsonl            # 真实可用的训练数据
   llamafactory_val.jsonl               # 验证集

数据格式是 LlamaFactory 原生 JSONL，每行是一个多轮对话 + 图片引用，trainer 可以直接吃。

为什么不直接 SFT GPT-4o

3 个原因：

数据生成（data_create 仓库）

跟案例 7 NL2SQL 的 data_create 一个模式，但目标是 VLM：

1. 挑图表模板（柱状 / 折线 / 饼图 / 堆叠柱）
2. 生成有真实感的合成数据（行业 / 地区 / 时间窗口的中文标签）
3. 用 matplotlib / plotly 渲染成 PNG
4. 调 LLM 给每张图生成 5-10 组 Q&A 对
     "营收最高的是哪个？"
     "同比增长率多少？"
     "占比第二的是什么？"
5. 导出 LlamaFactory JSONL

样例数据行（JSONL）：

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "image", "image": "imgs/chart_001.png"},
        {"type": "text", "text": "图中营收最高的行业是哪个？同比增长率多少？"}
      ]
    },
    {
      "role": "assistant",
      "content": "营收最高的是科技行业，约 156 亿元。同比增长率为 +18.3%。"
    }
  ]
}

LlamaFactory 训练命令

llamafactory-cli train \
    --stage sft \
    --model_name_or_path /home/ubuntu/Qwen2.5-VL-7B-Instruct \
    --finetuning_type lora \
    --template qwen2_vl \
    --dataset_dir data \
    --dataset chart_vqa_train \
    --cutoff_len 4096 \
    --image_resolution 448 \
    --num_train_epochs 3.0 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --learning_rate 1e-4 \
    --lora_rank 16 \
    --lora_alpha 32 \
    --lora_target all \
    --bf16 True

关键参数：

• --template qwen2_vl：用 Qwen2-VL 专用 chat 模板（含 image token 注入）
• --image_resolution 448：图像 resize 到 448×448（Qwen2-VL 推荐尺寸）
• --cutoff_len 4096：留出空间给 image tokens + 多轮对话
• --lora_rank 16, alpha 32：比 NL2SQL 项目稍大，因为 VLM 任务更复杂

价值点

• 能端到端跑垂直领域多模态微调——不是只调 API
• 理解数据构造和训练同等重要——你也能搭出数据生成工具
• 留在 LlamaFactory 生态里——跟 NL2SQL / 函数调用 / Qwen-VL RL 几个项目能组合复用