新版語義搜尋的技術原理

CBETA AI
1

新版的語義搜尋，速度快了很多，回答也更豐富了！感謝團隊默默耕耘！

不知這一版在RAG、重排、生成上，是不是做了大幅更新呢。

2個讚
2

這個功能我只參與了部分，以下就我所知回答。

這次更新主要著重在「速度」上的改善，基本的 RAG 架構沒什麼改變。
舊版在使用者送出「查詢字串」後，
要等 AI 全部做完才能看到結果，整體感覺就很慢。

新版將流程分成幾個階段，儘早讓使用者看到部分結果，在「感覺」上就會快很多。
流程如下：

一、Retrieve

  1. 將使用者輸入的「查詢字串」轉為 embedding。
  2. 查「向量資料庫」取得 前20筆 佛典文字區塊。
  3. 將這20筆 交由 DILA 自建的 AI (gemma-3-27b) 做 相關度評分。舊版是呼叫 OpenAI API 做評分，新版呼叫 Local 的 LLM，速度也有改善。
  4. 每做完一筆評分，就顯示一筆，所以使用者很快就可以看到第一筆出現。
  5. 舊版會一次產生20筆的「相關度說明」，新版則是在使用者按了「AI 說明」才會產生單筆「相關度說明」，就不會影響整體速度。

二、Generate

  1. 20筆全部拿到後，將相關度較高的送給 OpenAI API 產生回答。
  2. 舊版是全部產生完才顯示，新版採用 Streaming 方式逐字顯示，讓使用者儘早看到第一個字。

以上說明，敬請指教。

1個讚
3

原来如此，这个方式很精巧啊。做完什么马上呈现什么，用户也不会等太久。非常感谢！

2個讚