为什么先做检索
检索增强的核心不是"把大模型接上向量库",而是先把语料整理成可检索的单元。 切分策略、元数据、评测集三者决定了上限。
这是一段引用:先定评测,再调参数。
切分
- 按语义边界切分,而不是固定字符数。
- 每个 chunk 带上来源与时间,便于回溯。
- 保留标题层级,作为检索时的上下文。
一个最小召回示例
def recall(query, chunks, k=5):
scored = sorted(chunks, key=lambda c: score(query, c), reverse=True)
return scored[:k]
评测指标
| 指标 | 含义 | 目标 |
|---|---|---|
| Recall@k | 前 k 个结果是否覆盖答案 | > 0.8 |
| MRR | 首个正确结果的平均倒数排名 | > 0.6 |
图片会被站点剥离
下面的图片语法在同步时会被剥离,只保留 alt 文本(并记录一条 warning):
流程图:离线索引与在线检索
脚注
站点支持脚注语法,例如评测集的构造方式1。
小结
把 Markdown 放在 content/site/ai/ 下,执行 python manage.py sync_content,
或登录后在 /manage/upload/ 上传,即可在站点上看到渲染结果。
-
先用人工标注 50 条问答对,再逐步扩充。 ↩