跳至主要内容

重新上傳結果操作步驟說明

概述​

本專案流程提供其他模型微調相關服務流程上傳失敗時可重新上傳資料的服務，使用者可輸入上傳失敗的任務RUN ID以及要上傳的Gitlab Repository，執行重新上傳，若上傳成功則會清除資料，無法再次執行上傳。

前置需求​

GitLab 專案 (Repository)​

  1. 請先自行建立專案
  2. 申請存取令牌(Access tokens)
    (1) 申請方式：進入欲使用的專案 -> Settings -> Access tokens -> Add new token
    (2) Scopes 選擇 read_repository, write_repository
    (3) Role 選擇 Maintainer 或 Owner
    (4) 存取令牌申請完成後，請務必存在安全的地方，離開頁面後便無法再取得

    alt text
  3. 取得專案 URL GIT_REPO_URL

    alt text

使用步驟​

操作流程​

alt text

alt text

輸出結果​

若有找到該RUN ID資料，會自動上傳至指定倉庫，結構如下：

upload_results/
└── [upload_run_id]/
    └── ... # 重新上傳結果

重新上傳結果操作說明​

  1. 登入 Portal 平台

  2. 平台左側選擇模型微調點選建立模型微調服務

  3. 至服務列表選擇所需服務，進入參數設定頁面設定參數。 alt text

  4. 設定 結果輸出路徑

  • GIT REPO URL：資料集所在的 GitLab Repository URL

  • GIT TOKEN：該 Repository 的存取令牌

    alt text

  1. 設定 UPLOAD RUN ID ，填入想要重新上傳檔案的模型微調服務 ID

alt text

  1. 是否開啟EMAIL通知設定：如果開啟，請輸入電子郵件地址。

alt text

  1. 確認無誤後，點擊 「建置」 按鈕
  2. 查看結果
  • 完成後，結果會自動 push 至指定的 Git Repository

注意事項​

  • 請注意，上傳過程中請勿對目標Repository進行任何修改，任何修改都可能導致上傳任務失敗。

常見問題​

  • Q: 如何查詢各task處理紀錄的log?

  • A: 請至模型微調首頁的模型微調列表點擊各task的資訊查看log。

    • 若看到其中的任務發生 error，且 mark_failed_task 也顯示 error，代表整次的 dag 失敗，可以先確認失敗的任務是什麼內容；如果是在最後上傳資料時失敗可能是網路穩定性問題，可以在建立模型微調服務中選擇重新上傳資料；其他任務失敗需要點選錯誤任務查看錯誤訊息進行排查。

    alt text

  • Q: 如何取得 git_token？

  • A: 請至 GitLab/Github → User Settings → Access Tokens 建立含 read repository / write repository 權限的權杖

  • Q: 我想知道 Pipeline 有哪些運作階段

  • A: alt text