跳至主要内容

資料生成類

資料生成、資料擴增、資料精煉及資料品質相關工作流程。

錯誤回應（400、429、502，以及工作流程名稱不支援時的 422）格式：

{"status": "error", "message": "<原因>", "code": "<錯誤類別>"}

422 若因最外層缺少 project_code 或 conf，則回傳 detail 驗證錯誤陣列。

頻率限制：每位使用者每分鐘最多觸發 5 次。

📄️ Data Generation - Aug

本文件提供資料擴增服務（datagen-aug，Portal 卡片名 Data Generation - Aug）之 Airflow REST API 規格說明。使用者可透過呼叫 REST API 觸發擴增任務：流程從 Git repository 讀取範例資料，以語言模型依任務類型與主題生成更多樣本，經簡轉繁、個資去識別、整理成 messages 格式後，把訓練資料推回同一個 repository。本流程不含去重複與精煉；需要精煉請改用 datagen-aug-refine-nchc。

📄️ Data Generation - Refine-NCHC

本文件提供資料精煉服務（datagen-refine-nchc，Portal 卡片名 Data Generation - Refine-NCHC）之 Airflow REST API 規格說明。使用者可透過呼叫 REST API 觸發任務：流程從 Git repository 讀取既有資料（不做擴增），以國網中心的精煉技術處理——「去重複」（語意相似度分群、保留代表樣本）與「精煉」（LLM 辯論提升品質）兩個子模組可各自開關、至少擇一——最後把訓練資料推回同一個 repository。

📄️ Data Generation - Aug-Refine-NCHC

本文件提供資料擴增與精煉服務（datagen-aug-refine-nchc，Portal 卡片名 Data Generation - Aug-Refine-NCHC）之 Airflow REST API 規格說明。使用者可透過呼叫 REST API 觸發任務：流程從 Git repository 讀取範例資料，先以語言模型擴增樣本，再以國網中心的精煉技術處理——「去重複」（語意相似度分群、保留代表樣本）與「精煉」（LLM 辯論提升品質）兩個子模組可各自開關、至少擇一——最後把訓練資料推回同一個 repository。

📄️ Data Generation - RAFT

本文件提供 RAFT 微調資料產生服務（datagen-raft，Portal 卡片名 Data Generation - RAFT）之 Airflow REST API 規格說明。使用者可透過呼叫 REST API 觸發任務：流程從 Git repository 讀取種子問答（或種子文件）與領域文件，先以語言模型擴增／萃取問答，再依 RAFT 方法替每筆問答配上正解原文（golden）、干擾文件（distractor）與推理過程（CoT），經語意去重與去識別化後，把訓練資料 train.jsonl 推回同一個 repository。