RESEARCH PREVIEW / TECHNICAL NOTES
研究狀態與資料來源
這是架構開發所用的 104 題 DEV set，並非未觸碰的最終測試集。下列數字是特定版本的離線結果，不代表公開 Demo 的即時準確率。
Pairwise Laya 與信心感知 Hybrid 未在整體 DEV 上證明穩定超越詞頻基線，因此目前不宣稱準確率提升。
DEV benchmark
Temporal 指目標段從初始輸入到得到後文時的排序；final sequence top-1 衡量完整句。數值越高越好，但少量改善與退步須一起看。
| 排序方式 | 最終 top-1 | 完整句 top-1 | 錯→對 | 對→錯 |
|---|---|---|---|---|
| Baseline | 0.673 | 0.644 | 0 | 0 |
| Laya Multi-choice | 0.423 | 0.240 | 25 | 2 |
| Laya Pairwise | 0.375 | 0.192 | 19 | 1 |
| Hybrid 固定權重 | 0.712 | 0.673 | 1 | 2 |
| Hybrid 信心感知／Multi-choice | 0.654 | 0.625 | 0 | 2 |
| Hybrid 信心感知／Pairwise | 0.673 | 0.644 | 1 | 0 |
同一批 DEV 的完整序列排名如下；這是另一個評估指標，勿與上表的最終目標段 top-1 混為一談。
| 排序方式 | Top-1 | MRR | 退步 | 改善 |
|---|---|---|---|---|
| Baseline | 0.644 | 0.798 | 0 | 0 |
| Laya Multi-choice | 0.240 | 0.489 | 48 | 6 |
| Laya Pairwise | 0.192 | 0.457 | 51 | 4 |
| Hybrid 固定權重 | 0.673 | 0.800 | 2 | 5 |
| Hybrid 信心感知／Multi-choice | 0.625 | 0.788 | 2 | 0 |
| Hybrid 信心感知／Pairwise | 0.644 | 0.800 | 1 | 1 |
完整指標、條件、延遲與逐題資料請見 Pairwise／Hybrid DEV 記錄及 其他 DEV 記錄。
實際使用的資料
CNS11643 字音資料：數位發展部，政府資料開放授權條款第 1 版。內建詞條：專案人工整理。Laya Multilingual：第三方模型，Apache-2.0。