評估類

模型評估、短問答生成、事實檢驗等相關工作流程。

📄️ Model Evaluation

本專案流程提供模型四大任務與五大任務評估服務，使用者可自己選擇評估任務 (tasks)、評估目標模型 (gen_model)、裁判模型 (judge_model)，並回傳詳細評估結果與分數報告到使用者指定的 Git Repository。

📄️ Model Evaluation - Generation

本流程為模型評估的生成模組，生成目標模型針對五大任務(英翻中、論文、書信、摘要、中翻英)或四大任務(公文、新聞稿、民眾陳情、模擬問答)評估題庫的回應資料。使用者可自己選擇評估任務 (tasks)、目標模型 (gen_model)，執行完畢回傳回應資料到使用者指定的 Git Repository。

📄️ Model Evaluation - Evaluation

本流程為模型評估的評估模組，針對目標模型已生成的五大任務(英翻中、論文、書信、摘要、中翻英)或四大任務(公文、新聞稿、民眾陳情、模擬問答)的回應資料進行評估。使用者可自己選擇評估任務 (tasks)、評估模型 (judge_model)，執行完畢回傳詳細評估結果與分數報告到使用者指定的 Git Repository。

📄️ Evaluation Data - ShortQA-Gen

本專案提供自動化問答對（QA Pair）生成服務，可依據使用者提供之參考文件，以及所選定之 LLM 模型與參數，自動產出對應之問答對資料。

📄️ Reference Check

本流程提供事實檢驗 (Reference Check) 服務，基於使用者提供的參考資料，Reference Check 可以判斷待驗證文本內的事實陳述是否受到參考資料支持。包含: Entailment 代表該事實陳述可從參考資料推得、Contradiction 代表該事實陳述與參考資料牴觸、Neutral 代表參考資料與事實陳述不相關。