现在博客:订阅

为什么你需要“一个好的研究”来评估教育技术

如果你听到每个教育科技(edtech)出版商都说他们的产品管用,而且他们都有某种支持证据,你可能不会感到惊讶。但通常这种证据——如果完全是实验性的——是非常稀缺的。在很多情况下,这只是一项研究。然而,教育者在做出购买决定时,往往认为这一“黄金标准”证据就足够好了。

但不应该是这样。

教育工作者并不是唯一陷入“一项好研究”范式的人。只有一项随机对照试验(RCT)获得了高可信度的教育技术评估列表的高分。与此同时,任何其他研究没有达到随机对照试验的严格标准的项目,通过比较都是降级的——无论他们有多少其他高质量的研究,在多少不同的条件下,在什么时间框架内,甚至有重复的积极结果。

问题:黄金标准的教育技术研究非常罕见

在评估教育技术项目时,仅仅依靠完全实验性的随机对照试验研究的最大问题是它们的稀有性。为了满足全面实验的要求,这些研究在发表前需要多年的规划和分析。这些延迟还带来了许多其他挑战:

  • 产品改变:随机对照试验可能需要数年时间才能完成,因此研究中使用的产品往往已经过时。随着时间的推移,程序不断修订以满足新的标准,改进和添加产品组件,改变(有时减少)程序使用要求和支持。一项过时的研究没有捕捉到这些变化。
  • 所有的学区都不一样RCT研究通常只使用一个学区,这是由于全面实验推广和学生随机化的广泛规划和复杂性。但是学区在很多方面都是不同的——从技术,到文化,到学生群体分布。你如何知道研究结果适用于你地区的具体情况?
  • 不同的州,不同的评估:在单个研究中,只使用一种评估(状态测试),所以结果是特定于该评估的。但各州的评估在水平、类型和重点上仍有很大差异。结果可能会有所不同。此外,即使在一个州,每年的评估也会有所变化。如果该研究使用了不同的评估,你如何衡量结果的有效性与你所在州目前的测试?
  • 有限的年级:随机对照试验研究通常涵盖一个特定的年级水平范围,而不是所有的年级。然而,从K-2到3-5,再到中学,教师、用法和内容都有很大差异。由于不同的内容水平、不同的教学方法、不同的学生年龄和不同的评估,将结果推断为未研究等级的有效性是有问题的。你怎么知道这个项目适用于你打算采用的所有年级水平?

总的来说,这些问题证明了依赖“一项好的研究”往往是有限的相关性。

将一项研究的结果推断到你的情况是不完全有效的,除非这项研究是在像你们这样的地区进行的,在你计划使用的年级范围内,在像你们这样的学生分组混合中,在你计划采用的用法中,在你最近的评估中,以及在你将使用的程序修订中进行的。

新范式:重复结果

是时候改变我们评估教育技术项目的方式了。与其依赖于一个“黄金标准”的研究,我们应该着眼于大量的研究,使用最新的程序版本,在许多不同的地区获得可重复的结果。准实验可以研究程序的采用情况,而不需要前期实验计划所需要的复杂性和时间。使用该程序和不使用该程序来匹配和比较相似的学校的方法在统计上是严格而有力的。和如果我们按年级水平学习我们的平均测试性能数据在国家网站上随处可见。这样就有可能对任何足够大的学校队列进行准实验研究。如果我们不单纯依赖随机对照试验,而是关注准实验,则可能有更多的研究。

至关重要的是,大量的研究使买家能够评估可重复性。为什么重复性如此重要?因为即使是社会科学中单一研究的“黄金标准”结果也经常出现复制失败.事实上,发表的研究有5%的机会得出错误的结论;人们怎么知道一项“黄金标准”研究本身不是精心挑选或侥幸得出的结果呢?所以,“一项好的研究”是不够的。通过大量研究的重复证明的可靠结果需要成为新的常态。

想象一下这个新范式,有大量最近的研究——假设有5个或更多。这可以让我们在多年来,跨越等级水平,特别是跨越不同类型的地区和评估来寻找一致的模式。该范例通过可重复性显示了其严谨性,并在以下方面大大提高了有效性:

  • 最新版本的计划、培训和支持;
  • 真实世界中各种各样的使用类型,地区,年级水平,教师和学生亚组;
  • 许多不同评估的结果模式。

在MIND,我们相信大量的有效性研究是教育产品信息健康市场的未来。为了说明和推广这个新范例,我们创建了一个程序评估规则。

Program_Evaluation_Rubric-STMath.png

下载项目评估细则(带有ST数伟德1946亚洲娱乐城学符号)

下载项目评估细则(空白)

虽然MIND还没有在每一项指标上达到最高标准,但我们正在朝着这一目标迈进,并对所有学校的年度结果进行透明的评估。我们已经在3年级,4年级和5年级做到了。我们希望我们的项目对可扩展、可重复和强大的结果负责——这是项目改进和学生成绩增长的方式。

有效的学习是非常重要的,每年都应该发布涵盖每个客户的研究报告。我们相信MIND走在了潮流的前面在研究体积但我们并不孤单。例如,各地区开始与同行分享他们自己的许多研究的结果LearnPlatform,它最终将创建一个涵盖任何项目各种条件的许多研究的池。有了更多的相关信息来指导他们的购买决策,教育工作者就可以找到最适合他们学生的产品。

安德鲁·库尔森

关于作者

Andrew R. Coulson是MIND研究所的首席数据科学官。伟德备用他的数据分析团队会评估程序的使用情况,并衡量学生的学习效果。在Twitter上关注安德鲁@AndrewRCoulson

评论

对贡献感兴趣吗?

阅读我们的博客指南

加入我们的时事通讯