长期结果:随着时间的推移衡量项目的有效性

在过去的20年里，J-PAL下属的研究人员进行了政策相关的研究超过1000个随机评估raybet32．与更广泛的随机对照试验(rct)一样，这些干预措施的绝大多数估计侧重于规划实施后几个月到几年的短期和中期影响。

直到最近几年，才有可能在干预后10年或更长时间评估项目的影响。已经开始这样做的研究表明，治疗效果在很长一段时间内的持久性是很难预测的。例如，专注于人力资本建设的项目似乎具有更持久的效果，而那些围绕短期现金转移的项目似乎具有强大的初始效果，然后随着时间的推移而减弱。了解在延长的时间范围内的影响程度的变化可以重新定义我们对项目有效性的思考方式，这反过来又可以对实验设计、成本效益分析和政策决策产生重要影响。

随着大数据、更先进的数据收集应用程序的兴起，以及全球移动电话使用量的增加，利用新的数据源进行长期跟踪和回访跟踪以获取长期影响的机会越来越大。然而，这项工作并非没有挑战。研究的设计可能没有考虑到长期的跟踪和分析，在许多情况下，参与者的联系信息要么过时，要么不再可用。此外，围绕参与者跟踪、减员、来自其他项目的污染以及充足的资金的挑战使得很难收集到观察长期影响所需的数据。

在这篇博客文章中，我们将借鉴J-PAL研究人员和J-PAL资助项目的经验，讨论与更深入地衡量长期影响相关的一些机遇和挑战。这是一系列突出J-PAL 20年来进行随机评估的经验教训的第一个，并关注推动研究走向未来的令人兴奋的发展。raybet32

什么是长期的结果，为什么我们对测量它们感兴趣?

虽然“长期”并没有固定的定义，但我们可以遵循Bougen等，2019并将长期结果考虑为干预后大约10年或更长时间观察到的结果。这个时间框架允许研究人员观察治疗对参与者的影响。长期的生活水平和生活轨迹．衡量这一时期影响的持久性特别有用，原因有几个。

其中一个原因是，由于缺乏持久性等因素，强劲的短期效应会随着时间的推移而消退。治疗效果的持久性反映了项目参与者在干预结束后行为改变的持续程度。低持续率可能导致最终的治疗组和对照组主要结果趋同．

另外，微弱的短期效应可能会随着时间的推移而增强，这取决于干预的性质。程序，如那些有关幼儿发展或其他人力资本而且社会投资可能需要一段时间才能产生影响，但有可能在很长一段时间内持续和增长。

衡量长期结果的另一个原因是，短期影响在中期被证明会减弱的研究可能会有长期来看会重新出现的影响．这种波动可能是由于掌握相关技能不足这可以在早期的数据收集中与长期结果相互作用并改善(例如与社交网络的联系或预先存在的能力)。基于中期结果较小或下降而假设未来不会产生影响，可能会导致对干预措施真正有效性的错误结论。

最后，随着时间的推移，效果的持久性可能会影响干预的总体成本效益。随着时间的推移而持续或加强的效果可以增加干预的回报率并改善整体成本效益；看到阿塔纳西奥等人(2017)举个例子。这可以让政策制定者和从业人员了解如何最好地分配有限的资源。

从研究长期结果中得到的新见解

长期随访研究的结果开始揭示对特定类型干预的结果轨迹的重要见解。这些评估有时会为通常实施的项目揭示出意想不到的效果模式。到目前为止，评估的一些研究包括对现金转移计划、儿童健康干预措施、综合培训计划和以教育为重点raybet32的干预措施的评估。在本节中，我们简要地强调了一些研究的发现，包括那些由J-PAL附属研究人员进行的研究;有关长期影响研究的更详尽概述，请参见布根等人(2019)．

对各种现金转移支付项目(有条件和无条件现金转移支付、一次性赠款和奖学金)的长期分析显示，指定资金用于人力资本建设(特别是儿童)的项目与未指定资金用于人力资本建设的项目之间的结果存在明显差异。研究表明，对于简单的无条件现金转移和创业资助一旦转移的价值被耗尽，收益基本上就会消失．然而，奖学金和有条件的现金转移，视学校出勤率而定展示治疗家庭儿童的潜在长期收益，并有一些证据表明储蓄部分可能会增加这种影响．也有证据支持积极的长期影响现金转移计划与互补的生产措施相结合例如技术技能培训和财务咨询。

其他研究结果来自幼儿健康干预从长远来看，对教育进步和经济生产力有积极影响。对早期儿童的评价认知刺激该项目显示，干预20年后，在教育成就和成就方面取得了显著的进步，补充了儿童早期的类似发现营养补充项目。

最后，一些研究的长期结果开始揭示治疗组之间的差异效果，最明显的是性别差异。尽管一些研究报告了更大的影响女性比男性多在干预后十多年的学习和教育成就方面，其他研究表明逆而其他研究两者都有男性和女性都从干预中受益，但方式不同。

确保成功的长期研究

与追踪十年或更长时间的结果相关的挑战包括参与者跟踪和相关成本，与其他项目的可能污染等等。因此,

从一开始就设计一项研究来衡量长期影响可以帮助它取得成功。要考虑的设计方面包括知情同意、抽样、随机化策略、项目实施和数据收集。

知情同意、机构审查委员会(IRB)批准和数据使用协议(DUAs):的同意脚本应包括关于参与者是否同意为后续调查再次联系的语言。此外,新IRB批准在几乎所有病例中都需要，长期随访研究小组的所有成员都应列入IRB方案。参与者的身份信息不应与后续研究团队的成员共享(如果与原始研究团队不同)，除非参与者同意重新联系而且IRB已经批准了新协议。如果最初的研究依赖于管理数据，通常需要新的数据使用协议(DUA)，除了上述IRB批准和同意/放弃同意的必要条件外，未经数据提供商的书面许可，不得共享已识别的数据。

抽样一项研究从一开始就必须有足够的统计能力来衡量长期影响。这可能涉及过采样，以解释可能的损耗(见J-PAL的能源计算资源更多信息)。一些调查长期影响的研究在参与者跟踪上投入了大量资金，并获得了非常低的流失率(大约为83%甚至94%十多年后的原始样本)。其他游戏的流失率更高，在40%．因此，对流失率的现实估计和投资长期跟踪的能力至关重要。

随机化策略:逐步设计在衡量长期影响方面存在挑战，因为控制组最终接受干预。因此，每个阶段之间的滞后越长，就越容易捕捉组之间的长期差异。布根等人(2019)此外，还表明在某些假设下，使用分阶段设计估计长期差异是可能的，前提是在对照组接受方案之前测量结果，并且在之后足够频繁地测量结果。

保持研究设计的完整性:就像检查短期和中期效果一样，在整个研究期间保持研究设计的完整性对于衡量有效和可靠的结果至关重要。除了样本量的考虑外，治疗组和对照组之间的减员差异(例如，如果职业培训项目的接受者更有可能离开研究地点到其他地方寻找工作)对衡量长期影响提出了挑战。溢出效应与侧重于短期或中期影响的评估类似，可能会提出另一项挑战:职业培训计划的技能可能会渗透到未经治疗的工人，通过创业补助金开raybet32办的成功企业可能会影响到该地区的其他人，或者健康干预措施可能会影响到附近的其他儿童。另一个考虑因素是，在研究领域实施的竞争性项目或政策是否适用于人口的子集。然后，了解谁可以访问这些其他程序并在分析中解释可能的影响就变得重要起来。

数据源的崛起随机评价中的行政数据raybet32提供了在较长时间内跟踪结果的机会。在可用的情况下——也就是说，当数据包含相关指标并可以与研究参与者相匹配时——管理数据可以比参与者跟踪和一系列后续调查便宜得多，并且可以更好地覆盖研究参与者。例如,巴雷拉-奥索里奥等人(2019)使用学校注册和毕业的行政数据来检查三个哥伦比亚有条件现金转移计划的长期影响，而阿塔纳西奥等人(2017)利用社会和劳动力市场的行政记录来学习一个职业培训项目，也是在哥伦比亚。

当无法获得行政数据或需要通过调查数据来补充行政数据时(例如，跟踪已离开行政数据所涵盖地区的参与者，如已离开该国的参与者)，收集行政数据非常重要综合联系方式从数据收集期间的受访者。这应该包括电话号码，WhatsApp号码(这些号码不太可能随着时间的推移而改变)，以及近亲或邻居的电话号码，并在数据收集时和后续调查之间定期验证这些号码，理想情况下至少每隔几年验证一次。Bouguen等，2019）.

为随机对照试验建立长期随访的机会

大数据和其他先进信息收集应用的兴起，以及中低收入国家(LMICs)移动电话普及率的提高，可以为长期参与者跟踪和结果评估提供新的方法。大数据来源如卫星而且移动电话记录可以促进预测学习模型的使用，以估计家庭财富，电气化，以及其他一些长期利益的结果。随着这些非传统资源使用的增加，数据质量检查类似于对调查数据进行的检查正在开发以确保用于分析的数据的完整性。

发展中地区移动电话普及率的提高也可以促进长期发展参与者跟踪和调查管理．计算机辅助电话访谈(CATI)方法的进步使远程测量成为收集可靠数据的一种具有成本效益的选择进行远程测量的资源对于跟踪高流动性的研究参与者，如移民工人或流离失所人口的参与者，可能特别有帮助。对于某些样本，随着参与者年龄的增长，并适应更可预测的工作生活日程，也更容易跟踪他们的后续行动。

纵向数据集，如肯尼亚生活小组调查，其他人目前正在管理，甚至政府计划的普查活动可以为研究人员提供机会，围绕现有的研究样本和数据收集轮计划实验。另一个利用有计划的纵向数据收集工作的机会来自政府的人口普查活动。这些类型的预先计划的努力也可能有助于减轻研究人员长期随访的一些负担，并减少样本的损耗。

随着这些不同的方法变得越来越容易获得，我们有很大的潜力去更多地了解十多年前实施的项目的长期影响和成本效益。反过来，这些学习可以帮助进一步为基于证据的政策制定和未来的规划设计提供信息。