Unsloth + LoRAでLlamaモデルをファインチューニング — 検索不要
使うタイミング: データセットがあり、正しいフラグを含む実行可能なトレーニングスクリプトをClaudeに生成してほしい場合。
前提条件
- Unslothがインストール済みであること —
pip install unsloth— ナイトリービルドに関する注意点はスキルが案内します
フロー
-
目標とする実行内容を記述するUse the unsloth skill. Fine-tune Llama-3-8B on my dataset at ~/data/train.jsonl, QLoRA, 3 epochs, output to ./out.✓ コピーしました→ Claudeが正しいUnslothのインポートと実際のCLIフラグを含むスクリプトを出力する
-
コンフィグの説明を求めるWalk me through each hyperparameter and why.✓ コピーしました→ 一般的なML定型文ではなく、Unslothのドキュメントに基づいた説明
結果: 初回で動作するトレーニングスクリプト。
注意点
- ClaudeがHF TrainerとUnslothのイディオムを混在させる — 'use the unsloth skill only'と明示する — Transformersスキルからの引用を防ぐ