从研究问题到可靠判断
将问题拆成需要证据的主张,评价来源与方法,处理冲突、因果和不确定性,并判断何时可以结束研究。
先确定研究要支持的判断
研究从一个需要回答的问题开始。读者可能想确认事实、理解机制、比较方案,或决定是否采用某个做法。不同目标要求的证据不同:版本文档可以说明接口的定义,实际配置可以说明启用了什么,一次运行可以说明某个环境中发生了什么。判断方法效果还需要样本、比较条件和评价指标。
例如,下面是一组构造问题:“给文档增加摘要,能否改善阅读?”可以进一步拆成三个问题:摘要是否忠实保留原文的主要信息;读者是否更容易找到答案;制作与维护摘要是否值得投入。第一个问题可通过对照文本检查,第二个需要相应读者和任务证据,第三个还要结合使用频率、维护成本与具体目标。仅有一个问题的答案,无法同时支持三个判断。
拆分时明确对象、场景、时间或版本、约束和预期结果。影响方向的未知条件要确认或作为假设说明;已经清楚的范围直接沿用。研究过程中发现问题设定有误,也可以调整问题,再检查已有资料是否仍然相关。
“关键主张”是其错误或缺失会改变主要理解、选择或操作的陈述。把注意力放在这些主张上,有助于安排核查投入。例如“摘要准确”是事实与文本关系,“摘要使查找更快”是效果判断,“所有文章都应加摘要”则还包含推广和价值取舍。它们需要分别成立。
选择能支持主张的研究方法
边界明确的事实,可先定位并核对直接材料;多个来源共同承担一个判断时,需要比较它们的对象、方法与适用范围;要确认效果,则需要相应实证设计。后果越大、争议越明显、信息越易变,或依据越间接,越需要深化研究。
| 要回答的问题 | 可以从哪里开始 | 仍需留意什么 |
|---|---|---|
| 某版本如何规定一个接口 | 对应版本的官方定义与说明 | 文档版本、例外条件及实现是否遵守 |
| 当前项目为何产生某个结果 | 有效配置、入口、调用关系和相关测试 | 未执行的路径、替换依赖和运行条件 |
| 某方法在什么情况下有效 | 原始研究、数据、案例及比较设计 | 样本、基线、偏差与推广范围 |
| 多种方法怎样取舍 | 相关来源的综合与共同维度比较 | 不可比数据、缺失结果及价值权重 |
针对问题的资料比较,可以形成有依据的调研。正式系统综述、快速综述等方法名称带有相应领域的实施要求。PRISMA 2020 提供系统综述的报告指导,其本身不评价综述的方法质量;使用报告清单也不能替代实际完成的方法工作。1
时间或访问限制可能迫使研究收窄。需要具体交代限制了哪些材料或场景,以及哪些判断因此不能确认。“没有找到”应连同检索范围表达;只有一个渠道没有发现资料,能支持的结论范围也限于该渠道。
让来源与主张相匹配
读到一份材料,先辨认它能够提供什么依据。规定、作者经验、实现、受控试验和真实使用观察,各自回答不同问题。来源声誉有助于选择阅读入口,最终仍需判断材料怎样支持当前主张。
核查承担关键判断的正文及上下文,保留作者或机构、材料标题、日期或版本和相关章节。涉及转引时沿来源链追到原始依据;只能取得二手材料,就准确说明取得范围。搜索摘要和 Agent 摘要适合定位线索,关键判断需要核对实际材料。
还要检查来源的独立性。五篇介绍可能都转述同一个试验;同一项研究也可能有不同时间或结果的报告。Cochrane 在研究选择中要求识别并归并同一研究的多个报告,这个视角有助于避免将转载篇数计为独立验证。其完整流程服务特定证据综合任务,日常调研按当前问题落实必要核查。2
对效果材料尤其要问:研究了谁或什么,如何选择样本,与什么比较,用什么指标测量,是否有系统性偏差,目标场景有什么差异。对仓库材料要问:代码是否位于实际入口,配置是否生效,测试是否替换了外部环节,断言究竟检查了什么。文档存放在站内或站外,都按这些问题评价。
把证据接到结论
证据进入判断,需要经过解释:材料提供了什么结果,哪些前提成立,能够支持哪一部分主张,仍缺什么。推理和建议也保留成立条件,读者才知道自己的情境变化后是否还能采用。
继续使用摘要的构造情境。假设一次试用记录:第一天,五名熟悉主题的读者使用带摘要的页面;第二天,五名不熟悉主题的读者使用无摘要页面。前一组找答案更快。这个差异同时伴随读者基础和试验条件的变化,因此还需要检查这些替代解释,才能判断摘要的作用。直接写“摘要导致阅读更快”会超出现有构造证据。
如果进一步安排可比任务、记录读者基础并控制其他变化,判断的依据会更明确;结果仍受任务、样本和测量方式限制。这个例子只展示推理问题,没有执行读者试验,也不提供摘要有效的实证结论。ODNI 分析标准将信息、假设与判断区分,并要求在重要不确定性下评价合理替代解释;这里借用的是分析视角。3
数字同样需要准确口径。假设检查十篇文章,只断言“至少八篇摘要保留了指定要点”,通过可以支持这个下界;没有逐篇结果时无法据此报告精确八篇或十篇。百分比要说明分母,时间要说明窗口,比较要确认双方用同一指标。
由事实提出建议,还要增加取舍推理。即使摘要帮助了一类任务,是否采用仍取决于目标读者、全文长度、查找方式及维护成本。把这些条件写清楚,比为每种方法排出脱离场景的总名次更有用。
分歧与未知怎样进入判断
来源冲突时,先确认是否讨论同一对象、版本、时点、指标和场景。例如,一份材料讨论首次阅读,另一份讨论精确查阅,结果不同可能来自目标差异。范围相同仍有冲突,再比较方法、直接性、样本与独立性;暂时无法消除的分歧,保留为分歧,不能按来源数量投票。
重要未知应说明它缺在哪里、影响哪一项判断、当前还能判断到哪一步,以及什么新证据会改变结论。可以写:“已有文本对照支持摘要忠实;尚无相应读者数据,查找效率暂不能确认。后续需在目标读者和可比任务中观察查找表现。”未知由此真正约束建议。没有估计方法时,不为判断编造百分比或正式证据等级。3
区分事件发生的可能性与判断依据的可靠程度也很有用。作者认为某结果可能出现,仍可能只有薄弱依据;稳定的观察结果也可能只覆盖很窄的环境。表述同时保留结果范围和依据范围。
何时可以结束研究
结束前回到原问题:主要问题是否有相应回答,关键材料和条件是否核对,有合理理由怀疑的反例与替代方案是否处理,剩余缺口会不会改变正文的确定性判断。广泛或争议问题,还需要检查检索是否遗漏决定性材料。
扩展查找反复出现相同依据,可以作为继续研究收益下降的线索;已知但未处理的关键来源仍需处理。Cochrane 对停止检索的讨论提醒,停止规则的正式评价有限,证据稀少时尤其应谨慎。日常调研的停止判断,应结合问题覆盖、证据质量和剩余风险。2
事实问题在直接依据确认且无未处理疑点时,可以结束;需要确认的效果仍缺相应证据,就要继续研究或限制交付范围。资源耗尽、稿件写完或达到某个来源数量,都不能独立证明研究充分。
把支持主要判断的出处、条件、必要推理和检查信息留在最终成果中,就能支持后续复核。提供可重跑材料表示具备复查条件;本次是否真正重跑成功,需要独立报告。开始组织文章时,再将这些依据接入知识组织与理解路径。
Footnotes
-
Page 等,2021,The PRISMA 2020 statement,Scope of the guideline、How to use PRISMA 2020。 ↩
-
Cochrane Handbook,Chapter 4: Searching for and selecting studies,4.4.11、4.6.1–4.6.2。本文借用核查视角,不宣称完成正式 Cochrane 系统综述。 ↩ ↩2
-
ODNI,Intelligence Community Directive 203: Analytic Standards,D.6.e.(1)–(4)。采用信息、假设、判断及不确定性和替代解释的区分,未移植情报专有概率词表。 ↩ ↩2
最后更新于