備註
本版本不包含 TAIDE 模型本身,預計在 TAIDE 模型公開後會再釋出預先搭載 TAIDE 模型的版本。
社群的朋友大家好,
蒐集大家的意見之後,我們預計在v0.2.0推出大家期待已久的RAG功能。
目前RAG的部份已經內部測試完畢,所以我們推出v0.2.0-beta來邀請大家一起測試有沒有符合心目中的樣子。
此外,本次更新也一併提供 TAIDE API 與 TAIDE 模型的串接方式,
同時我們也調整了系統的安裝腳本及修復一些已知的 bug,讓整個系統更穩定、容易擴充與使用。
若有任何建議或是覺得可以改善的地方,請告訴我們!
本次更新詳細內容如下:
Windows Portable 版
- 調整模型架設方式:
- 預設啟用 Gemini Pro 與 ChatGPT 的 API
- 預設使用 Gemini Pro 來啟動 WebQA 與 Document QA 的 RAG 應用
- 廢除 env.bat,改用 run.bat來啟動executor
- 改進 executor 功能:
- 允許直接設定執行指令、參數等資訊
- 調整 init.bat 作為單純輔助建立 run.bat 的工具,使用者也可直接撰寫run.bat來啟動所需模型
- 修正 v0.1.0版 PHP 下載連結不存在的錯誤(因版本更新而被封存)
- 整合 RAG 至 Windows 版本簡易啟動框架下
- 指定檔案路徑改善
- 在 Windows 版本的 executors 資料夾下,檔案預設會 使用相對路徑指定
- 修正 Custom 類別的 executor 錯誤
- 權限調整:
- 只有管理 Tab 權限的群組可以在模型新增的時候直接被賦予該模型使用權限
- 修正 Windows 版本中 Redis 因使用 localhost 作為 IP 導致 DNS 查詢每次需延遲 2 秒的問題
Docker 版
- 整合 RAG (Document QA / Web QA / DB QA) 至 executor 的 Docker image 與 compose 系統中
- 提供 Gemini Pro 使用全域 API key 的 compose 範例
- 補完文件缺漏字句
Executor
- 提供 TAIDE API executor,可直接串接國網的 TAIDE API
- 移植 RAG executor (Document QA / Web QA / DB QA / Search QA) 到新版框架上
- 讓 RAG executor 支援自動模型尋找、i18n與中斷生成
Kernel
- 提供列出目前可用 executor 的 API
Multi-chat
- 調整無訊息狀態的 timeout 等待時間:
- 從 1 分鐘延長至 2 分鐘,以因應 RAG 處理速度的空窗等待時間
- 修復 AdminSeeder 的 bug:
- 修正給予重複的模型使用權限的問題
- 新增網站傳送 kuwa token 到 executor 上的功能:
- 用以修正 RAG 過去無歸屬的 API token 問題
- 增加調整預設模型圖片路徑的方法:
- 可透過 .env 檔案的 LLM_DEFAULT_IMG 進行設定
- 修正 v0.1.0 的 API 無法正常使用的 Bug
已知問題及限制
- 目前 Windows 版的 Document QA 因為函式庫的相依性問題,可以讀取
.doc
及.docx
格式的檔案,但可能無法讀取部份的.pdf
檔案。若有需要,請改用 Linux 版的 Kuwa。 - RAG 相關應用因會產生較長的輸入,若僅使用 CPU 版串接地端模型時容易產生超時錯誤,建議串接雲端模型,或是利用 GPU 版串接地端模型再使用 RAG 應用。