研究问题
先把直觉改写成可以检验的问题
应该。一个衡量来源归因,一个衡量内容进入答案,两者机制和误差不同,合并会掩盖真实变化。
理论与证据
把研究对象、变量和证据边界分开
至少同时观察四类变量
输入:页面、实体、查询和平台条件
中介:抓取、检索、重排、上下文和生成
结果:答案采用、来源引用、品牌提及和用户行为
调节:时间、语言、竞争、模型版本和内容可信度
已有证据能够说明什么
GEO是内容、检索、生成和平台治理共同作用的社会技术系统。理论建模需要明确分析层级,避免用单一环节解释端到端结果。
与本页最相关的证据基础包括:引用工程通过把核心主张连接到具体信源版本和精确位置,使读者能够复核证据;信源、信源版本、引用位置和独立信源属于不同概念;同一来源的多个页面入口或定位,不能重复计算为多个独立信源。
一个可证伪的表达方式
在固定平台、提示词分布和时间窗口内,只改变与“引用选择和答案采用是否应分别测量”相关的目标变量;若实验组与对照组在预定义指标上的差异没有超过自然波动,就不能认为该假设得到支持。
实验设计
最低限度做到可复核、可证伪、可解释
读完后常见的追问
把当前问题的边界再说清楚
研究“引用选择和答案采用是否应分别测量”时,最容易出现什么过度解释?
最常见的问题是把单平台、单样本或一次实验的相关性,直接写成因果关系或跨平台规律。
怎样把这个问题改写成可证伪假设?
明确干预变量、对照条件、结果指标和时间窗口,并说明出现什么结果时应拒绝原假设。
最少需要公开哪些实验条件?
至少公开平台与模型、提示词组、页面版本、运行次数、排除规则和分析方法。第一步是:明确研究对象、分析层级和平台边界。
哪些结果仍不能支持因果结论?
没有对照、没有重复测量,或无法排除平台更新和自然波动时,即使指标上升也不能单独证明因果。
本页依据、边界与责任
证据可以继续追溯,但不打断主阅读路径
查看本页关联的核心主张与主要信源
- 什么样的引用才算可复核?
引用工程通过把核心主张连接到具体信源版本和精确位置,使读者能够复核证据。
- 为什么同一个来源不能重复算成多个信源?
信源、信源版本、引用位置和独立信源属于不同概念;同一来源的多个页面入口或定位,不能重复计算为多个独立信源。
- PROV-O: The PROV Ontology · W3C Recommendation 2013
- Web Annotation Data Model · W3C Recommendation 2017