用 Unsloth + LoRA 微调 Llama 模型,无需查资料
何时使用: 你有数据集,想让 Claude 生成一个可直接运行的训练脚本,所有标志都对。
前置条件
- 安装了 Unsloth — pip install unsloth——技能会提醒你关于每夜版本的注意事项
步骤
-
描述目标运行使用 unsloth 技能。在 ~/data/train.jsonl 数据集上微调 Llama-3-8B,使用 QLoRA,3 个 epoch,输出到 ./out。✓ 已复制→ Claude 用正确的 Unsloth 导入和实际的 CLI 标志编写脚本
-
要求解释配置逐个解释每个超参数以及原因。✓ 已复制→ 推理基于 Unsloth 文档,而不是泛泛的 ML 套话
结果: 一个可以第一次运行成功的训练脚本。
注意事项
- Claude 混合了 HF Trainer 和 Unsloth 的用法 — 坚持说'仅使用 unsloth 技能'——不要从 Transformers 技能中拉取