AnythingLLM使用說明

Anything LLM初始設定

1. 選擇LLM，選擇想使用的LLM，以下以LiteLLM為例。

   

• Base URL: https://portal.genai.nchc.org.tw/api/v1
• Chat Model Selection: 選擇想使用的模型
• Token context window: 預設值是4096
• AI API Key: 輸入在Taiwan AI RAP Portal上所建立的API Key

2. 使用者設定，使用者設定依照使用者狀況設定只有我或是我的團隊。

   

• 個人

  

• 團隊

  

3. 設定工作區名稱。

   

4. 建立工作區名稱後，即可點選工作區開始與模型聊天。在Send message的地方輸入你的問題。

   

如何在 AnythingLLM 使用 RAG 功能

1. 點選任意工作區後，會出現檔案上傳符號並點選，如畫面所示。

   

2. 點選 Click to upload or drag and drop 或拖曳文件到虛線內上傳檔案。

   

3. 點選上傳的檔案後按 Move to Workspace，將檔案放進 Workspace。

   

4. 在建立的新工作區中，會看到檔案已匯入，並點選 Save and Embed，這樣就把 RAG 要用到的檔案放進 Workspace 裡，成功上傳即可關掉。

   

   

5. 聊天內容就會根據檔案回答，如畫面所示。

   

基本功能與設定

1. /reset：清除您的聊天紀錄，並開始新的聊天。

   

2. 字體：設定聊天室字體大小

   

AnythingLLM 介面設定

點選畫面左側區塊右下角的 🔧 板手按鈕。

1. 🔧->介面自訂->外觀這邊可以自訂偏好的語言、Logo、初始聊天訊息、網站標題及圖示等。

   

   

• 主題顏色: 下拉式選單，可以選擇Default or Light

  

• 語言：下拉式選單，可以選擇多國語言，例如：英文、中文、德文等

  

  

• 自訂編輯網站歡迎畫面訊息

  

• 自訂網站設定：更改瀏覽器標籤的內容 (標題、圖示)

  

2. 🔧 -> AI 服務提供者 -> 大型語言模型(LLM) -> LLM偏好設定。

   

• 可設定 LLM 提供者: 下拉式選單，供使用者選用

  

  

• 選定來源後，按『Save changes』儲存變更

  

3. 🔧 -> 向量資料庫 -> 向量資料庫提供者。

• 可設定向量資料庫來源

  

• 向量資料庫提供者，下拉式選單供使用設定。預設是 LanceDB

  

  

4. 🔧 -> 向量嵌入器

   

• 可設定不同的向量模型來源

  

• 向量嵌入提供者: 下拉式選單供使用設定

  

  

工作區的視窗設定

1. 點選 工作區 的 ⚙️ 齒輪按鈕，可以進行設定

• 可以更改工作區名稱、機器人頭像、對話、向量資料庫等等

  

• 刪除工作區

  

使用者管理

🔧 -> 使用者管理 -> Users可以新增和編輯與刪除。