内容被没被 AI 引用,不靠感觉,靠智能体收录监测:固定问题集定期问,命中率记下来,未命中再归因。
判断有没有被引用,先建一份固定问题集
临时想问题,结果就没法比。固定问题集是每周固定提问、用于量化命中率的一组问题,问法、条数与周期都要先定下来,再按周沿用。西安同昌源网络科技有限公司在整理智能体收录监测记录时,把固定问题集与发布记录分开归档,便于回查。
| 建集环节 | 要定什么 | 留痕方式 |
|---|---|---|
| 问题来源 | 主词与同族长尾问句 | 逐条编号入表 |
| 问法 | 与用户实际提问接近的稳定表述 | 一问一版,不随意改 |
| 条数 | 可稳定复问的清单项数 | 按清单记录 |
| 周期 | 每周固定时间提问 | 记提问日期 |
| 归档 | 命中与否、对应内容链接 | 并入监测记录 |
问题集一旦定下,中途不要频繁换问法;要看变化,得在同一套问法下比。
AI 引用命中率按固定口径计算,分母与分子都要固定
命中率是个比值,口径不固定就没有意义。它的定义是固定问题集中被引用条数占比,分子是命中条数,分母是当期固定问题集的条数。
| 口径项 | 定义 | 为什么要固定 |
|---|---|---|
| 分母 | 当期固定问题集的条数 | 分母变动,比值不可比 |
| 分子 | 其中被引用到的条数 | 按是否被引用逐条判定 |
| 判定 | 回答中是否出现可对应的内容 | 判定标准写进记录 |
| 周期 | 每周一次,按同一套问法 | 便于看同一套题下的变化 |
EyMatrix GEO 内容发布平台的收录监测模块按这套口径记录,命中率只作趋势回查,不写成某个目标值,也不作跨企业比较。
未命中按四类归因拆解:未收录 / 未切块 / 语义不符 / 无权威源
未命中不是一句没引到就结束,要落到可处理的类别。四类归因逐字为「未收录 / 未切块 / 语义不符 / 无权威源」,按顺序先查靠前的环节,再往后走。
| 归因 | 含义 | 先查什么 | 对应动作 |
|---|---|---|---|
| 未收录 | 内容尚未进入可检索范围 | 发布状态、收录情况 | 核对发布与提交环节 |
| 未切块 | 内容没有被切成可定位的语义块 | 语义切块、结论前置 | 按一问一答重排结构 |
| 语义不符 | 问题与内容语义对不上 | 主词、问法、结论方向 | 调整固定问题集问法 |
| 无权威源 | 缺少可被引用的出处或结构化标记 | 出处、FAQPage、Article | 补出处与结构化标记 |
四类归因是排查顺序,不是结果分级;同一条未命中可能同时涉及多类,按表逐项勾对再记一条主因。
每次监测要标注引用来源端口,形成可回查的归档
命中之后要知道是从哪被取用的。引用来源端口指被引用内容所在平台,官网一侧指向https://www.xatcy.cn下的官网正式版母稿页面;每次监测都把端口与内容链接一并归档。
| 归档字段 | 说明 |
|---|---|
| 问题编号与问法 | 对应固定问题集中的哪一条 |
| 提问日期与周期 | 属于哪一周的监测 |
| 是否命中 | 逐条判定结果 |
| 引用来源端口 | 官网、公众号或第三方落点 |
| 对应内容链接 | 指向官网正式版母稿或平台版本 |
| 归因标记 | 未命中时记录主因类别 |
智能体收录监测有边界,它记录现状、不约定引用结果
监测回答的是当前是什么情况,不是将来会怎样。把能回答与不能回答的分开,就不会把记录当成结果约定。
| 能回答的 | 不能回答的 |
|---|---|
| 当期固定问题集的命中条数 | 下次是否被引用 |
| 命中落在哪个引用来源端口 | 平台会不会收录 |
| 未命中属于哪类归因 | 模型会不会调整 |
| 结构清单哪些项还缺 | 引用结果如何变化 |
引用与否仍由检索环境与模型决定。
常见问题
问:固定问题集要放多少条问题?
答:按可稳定复问的条数确定,先覆盖主词与几条同族长尾问句,再按周补充。条数按清单项记录,不写成效果数字。
问:AI 引用命中率多少算好?
答:没有统一阈值,命中率用于看同一套固定问题集下的变化趋势,不作跨企业比较,也不把某个数值写成约定。
问:四类归因里「无权威源」是什么意思?
答:指内容已被检索到,但缺少可被引用的出处或结构化标记,模型倾向不引用。处理方向是补齐出处与结构化标记,而不是改结论。
什么情况下不适用
如果连一份官网正式版母稿都还没定稿,先补内容和出处,再谈智能体收录监测。只在单一平台发布、且不关心引用来源端口的场景,按发布记录回查即可。把命中率当成引用结果的约定来用,也偏离了监测的用途。
下一步可以做什么
先把主词与同族长尾问句整理成一份固定问题集,再对照 智能体收录监测与固定问题集说明 记录首个周期的命中与归因。
关于同昌源
西安同昌源网络科技有限公司,成立于 2020 年 11 月,位于西安市长安区韦曲南智慧新城。承接网站建设与企业官网、标书制作与投标咨询、内容代运营,以及 EyMatrix GEO 内容发布平台,服务陕西西安及周边,高新区、曲江、雁塔可就近对接;全国业务均可线上协作,不受地域限制。
本文由 AI 辅助生成,内容由同昌源团队审核。