为什么先做检索

检索增强的核心不是"把大模型接上向量库",而是先把语料整理成可检索的单元。 切分策略、元数据、评测集三者决定了上限。

这是一段引用:先定评测,再调参数。

切分

  1. 按语义边界切分,而不是固定字符数。
  2. 每个 chunk 带上来源与时间,便于回溯。
  3. 保留标题层级,作为检索时的上下文。

一个最小召回示例

def recall(query, chunks, k=5):
    scored = sorted(chunks, key=lambda c: score(query, c), reverse=True)
    return scored[:k]

评测指标

指标 含义 目标
Recall@k 前 k 个结果是否覆盖答案 > 0.8
MRR 首个正确结果的平均倒数排名 > 0.6

图片会被站点剥离

下面的图片语法在同步时会被剥离,只保留 alt 文本(并记录一条 warning):

流程图:离线索引与在线检索

脚注

站点支持脚注语法,例如评测集的构造方式1。

小结

把 Markdown 放在 content/site/ai/ 下,执行 python manage.py sync_content, 或登录后在 /manage/upload/ 上传,即可在站点上看到渲染结果。


  1. 先用人工标注 50 条问答对,再逐步扩充。 ↩