跳至主要内容

Kuwa OS v0.2.0-beta

· 閱讀時間約 5 分鐘
Yung-Hsiang Hu
備註

本版本不包含 TAIDE 模型本身,預計在 TAIDE 模型公開後會再釋出預先搭載 TAIDE 模型的版本。

社群的朋友大家好,

蒐集大家的意見之後,我們預計在v0.2.0推出大家期待已久的RAG功能。
目前RAG的部份已經內部測試完畢,所以我們推出v0.2.0-beta來邀請大家一起測試有沒有符合心目中的樣子。
此外,本次更新也一併提供 TAIDE API 與 TAIDE 模型的串接方式,
同時我們也調整了系統的安裝腳本及修復一些已知的 bug,讓整個系統更穩定、容易擴充與使用。 若有任何建議或是覺得可以改善的地方,請告訴我們!

本次更新詳細內容如下:

Windows Portable 版

  1. 調整模型架設方式:
    • 預設啟用 Gemini Pro 與 ChatGPT 的 API
    • 預設使用 Gemini Pro 來啟動 WebQA 與 Document QA 的 RAG 應用
  2. 廢除 env.bat,改用 run.bat來啟動executor
  3. 改進 executor 功能:
    • 允許直接設定執行指令、參數等資訊
    • 調整 init.bat 作為單純輔助建立 run.bat 的工具,使用者也可直接撰寫run.bat來啟動所需模型
  4. 修正 v0.1.0版 PHP 下載連結不存在的錯誤(因版本更新而被封存)
  5. 整合 RAG 至 Windows 版本簡易啟動框架下
  6. 指定檔案路徑改善
    • 在 Windows 版本的 executors 資料夾下,檔案預設會使用相對路徑指定
  7. 修正 Custom 類別的 executor 錯誤
  8. 權限調整:
    • 只有管理 Tab 權限的群組可以在模型新增的時候直接被賦予該模型使用權限
  9. 修正 Windows 版本中 Redis 因使用 localhost 作為 IP 導致 DNS 查詢每次需延遲 2 秒的問題

Docker 版

  1. 整合 RAG (Document QA / Web QA / DB QA) 至 executor 的 Docker image 與 compose 系統中
  2. 提供 Gemini Pro 使用全域 API key 的 compose 範例
  3. 補完文件缺漏字句

Executor

  1. 提供 TAIDE API executor,可直接串接國網的 TAIDE API
  2. 移植 RAG executor (Document QA / Web QA / DB QA / Search QA) 到新版框架上
  3. 讓 RAG executor 支援自動模型尋找、i18n與中斷生成

Kernel

  1. 提供列出目前可用 executor 的 API

Multi-chat

  1. 調整無訊息狀態的 timeout 等待時間:
    • 從 1 分鐘延長至 2 分鐘,以因應 RAG 處理速度的空窗等待時間
  2. 修復 AdminSeeder 的 bug:
    • 修正給予重複的模型使用權限的問題
  3. 新增網站傳送 kuwa token 到 executor 上的功能:
    • 用以修正 RAG 過去無歸屬的 API token 問題
  4. 增加調整預設模型圖片路徑的方法:
    • 可透過 .env 檔案的 LLM_DEFAULT_IMG 進行設定
  5. 修正 v0.1.0 的 API 無法正常使用的 Bug

已知問題及限制

  1. 目前 Windows 版的 Document QA 因為函式庫的相依性問題,可以讀取 .doc.docx 格式的檔案,但可能無法讀取部份的 .pdf 檔案。若有需要,請改用 Linux 版的 Kuwa。
  2. RAG 相關應用因會產生較長的輸入,若僅使用 CPU 版串接地端模型時容易產生超時錯誤,建議串接雲端模型,或是利用 GPU 版串接地端模型再使用 RAG 應用。