500条数据训练完全无效果

[Evi233]

不知为何训练数据足够但是效果差几乎没有起到任何影响，求大佬指教！

System Info

• llamafactory version: 0.9.1.dev0
• Platform: Linux-5.15.0-122-generic-x86_64-with-glibc2.35
• Python version: 3.12.3
• PyTorch version: 2.3.0+cu121 (GPU)
• Transformers version: 4.46.1
• Datasets version: 3.1.0
• Accelerate version: 1.0.1
• PEFT version: 0.12.0
• TRL version: 0.9.6
• GPU type: NVIDIA H20
• DeepSpeed version: 0.15.4

以下是我的一些参数和数据集内容



以下是我的训练loss图

训练脚本：

llamafactory-cli train \
    --stage sft \
    --do_train True \
    --model_name_or_path /root/autodl-tmp/snapshots/51c47430f97dd7c74aa1fa6825e68a813478097f \
    --preprocessing_num_workers 16 \
    --finetuning_type lora \
    --template empty \
    --flash_attn auto \
    --use_unsloth True \
    --dataset_dir /root/autodl-tmp/data \
    --dataset thinking \
    --cutoff_len 2048 \
    --learning_rate 0.0002 \
    --num_train_epochs 10.0 \
    --max_samples 1000 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --max_grad_norm 1.0 \
    --logging_steps 5 \
    --save_steps 100 \
    --warmup_steps 0 \
    --packing False \
    --report_to none \
    --output_dir saves/Custom/lora/train_2024-12-01-15-23-01 \
    --bf16 True \
    --plot_loss True \
    --ddp_timeout 180000000 \
    --optim adamw_torch \
    --lora_rank 8 \
    --lora_alpha 16 \
    --lora_dropout 0 \
    --lora_target all \
    --deepspeed cache/ds_z3_config.json

---

在我发讨论的时候GPU资源不足了，而我又没有留存截图，只能大致描述一下，实在抱歉！
我确定勾选了训练好的检查点路径，使用huggingface方式加载了模型和检查点，但是效果和没训练一样。我又试了 identity.json，并勾选了训练好的检查点路径，使用huggingface方式加载了模型和检查点。但结果还是一样的，模型依旧回答自己是千问大模型。

请问大佬，这种是什么问题呢？是数据集问题还是参数问题，抑或是我的打开方式不正确？小白求教🙏

[hunter2009pf]

你这数据集格式对吗？我只用过alpaca和sharegpt格式的数据集，有效果。

[Evi233]

你这数据集格式对吗？我只用过alpaca和sharegpt格式的数据集，有效果。

我用的alpaca