模型微調類

模型微調、強化學習、偏好最佳化及模型剪枝相關工作流程。

📄️ Supervised Fine-Tuning (SFT)

本文件提供監督式微調訓練服務 (Supervised Fine-Tuning, SFT) 之 Airflow REST API 規格說明。使用者可透過呼叫 REST API 自動化觸發微調訓練任務、配置資料來源與模型、調整超參數、啟用 FAPM 剪枝及監控訓練進度。

📄️ Reward-Based Policy Optimization (GRPO/GSPO)

本專案流程提供模型強化學習 (Reinforcement Learning, RL) 訓練服務。使用者可自行選擇基礎模型 (base model)、RL 方法 (GRPO/GSPO)、訓練方式 (Full/LoRA)、GPU (H200) 數量，並提供訓練資料進行強化學習訓練。若使用 LoRA 訓練，流程完成後除 merged model 與訓練紀錄外，也會保留並上傳 LoRA adapter。

📄️ Direct Preference Optimization (DPO)

本文件提供偏好對齊訓練服務 (Direct Preference Optimization, DPO) 之 Airflow REST API 規格說明。使用者可透過呼叫 REST API 自動化觸發 DPO 偏好對齊微調任務、配置資料來源與模型、調整超參數及監控訓練進度。

📄️ Forgetting-Aware Pruning Metric (FAPM)

FAPM（Forgetting-Aware Pruning Metric）使用基礎模型（Base Model）與微調模型（Fine-tuned Model）之間的權重矩陣變化量進行剪枝，以在微調後的特定任務專用能力與原始通用能力之間取得平衡，緩解微調後的災難性遺忘問題。