TPACK 的多重面向/TPACK 测量
作者:Ahmet Ilci
多年来,已开发出多种工具用于测量诸如教师的技术技能、技术整合、技术获取以及教师对技术的态度等方面的构造(Becker & Riel,2000;Keller,Bonk & Hew,2005;Knezek & Christiansen,2004)。对 TPACK 的发展和测量进行研究是一项重要且具有挑战性的任务。由于 TPACK 是一个复杂的构造,包含许多组成部分。测量 TPACK 的有效性取决于这些组成部分之间的关系(Koehler,Shin 和 Mishra,2011)。由于 TPACK 的复杂性,在评估 TPACK 后获得可靠且有效的评估结果是一个重要的过程。此外,由于 TPACK 的复杂性,研究人员应了解如何创建和评估有效的评估工具来评估 TPACK。因此,TPACK 的开发和评估过程应清晰且易于理解。本章回顾了各种测量 TPACK 的技术,并着重解决以下两个问题:(1)TPACK 文献中使用了哪些类型的测量工具?以及(2)这些测量工具的开发和应用过程及策略是什么?为了收集数据,通过使用 METU 图书馆进行了文献综述。在数据收集过程中,发现了十篇文章。这些文章是主要关注测量工具类型以及这些工具开发和评估过程的文章。本章包含四个主要部分。用于测量 TPACK 的有效测量工具包括自我报告测量和基于绩效的测量。TPACK 测量应考虑保护职前教师对教学法、技术和内容领域的敏感性(Abbitt,2011)。因此,由于教师知识的可变性和 TPACK 的多维特性,研究人员应使用不同的评估工具来评估 TPACK。通常,用于测量 TPACK 的调查问卷基于构成 TPACK 模型的七个子量表(Punya & Koehler,2006)。第一章以“为什么要测量 TPACK?”这个问题开始,并指出了测量 TPACK 的重要性。本章的第二部分是关于 TPACK 的测量工具。通常,重点关注五种主要的测量工具,即自我报告测量、开放式问卷、绩效评估、访谈和观察,并对它们进行了详细的解释。本章的第三部分重点介绍 TPACK 测量工具的开发阶段。本章详细描述了 TPACK 测量工具开发的策略和步骤。本章的第四部分是关于测量 TPACK 的挑战。深入阐明了在 TPACK 的开发和实施期间遇到的挑战。
根据以下分类,有五种主要的测量技术用于评估 TPACK(Koehler、Shin 和 Mishra(2011):1)自我报告测量 2)开放式问卷 3)绩效评估 4)访谈 5)观察
自我报告测量是文献中最流行的 TPACK 测量技术。在 100 篇文章和通知中,有 23 篇研究人员使用自我报告测量来测量 TPACK(Koehler、Shin 和 Mishra,2011)。自我报告测量是指向受访者询问他们如何将技术融入教学以进行自我评分的测量。在大多数研究中,自我报告测量依赖于 TPACK 的主要领域(Koehler、Shin 和 Mishra,2011)。在创建和开发自我报告测量时,研究人员可能会添加或删除一些 TPACK 领域以提供更好的结果。另一方面,一些研究人员使用另一个调查问卷作为他们调查问卷的基础。例如,Archambault 和 Crippen(2009)开发了 Koehler 和 Mishra(2005)的研究,并使其更具功能性,开发出更强大、更可靠的调查问卷,该问卷扩展到一般背景、多个内容领域以及多种专业发展方法。
绩效评估是文献中另一种最流行的测量技术(Koehler、Shin 和 Mishra,2011)。在绩效评估中,参与者通过在活动结束时创建产品或完成任务来进行自我评估。使用基于绩效的测量工具来评估 TPACK 知识的主要理念是,学生的作业是教师的教学设计和计划项目的成果。因此,评估学生的作业可以为我们提供职前教师的 TPACK 领域知识的证据(Abbitt,2011)。一些 TPACK 绩效评估要求参与者创建作品集或反思性日记(Suharwoto,2006),而另一些则包含用于解决问题的场景或问题型问题(Graham,Tripp & Wentworth,2009)。任务结束时创建的产品由专家或研究人员使用一些标准进行评估。Harris、Grandgenett 和 Hofer(2010)开发了一个评分标准来评估职前教师的 TPACK 知识。他们使用这些评分标准评估教师的产品。在这些研究中,评分标准用于评估项目计划或课程。根据这些研究的结果,虽然评分标准没有经过经验丰富的教育工作者创建的课程计划的测试,但它最适合用于职前教师的课程计划(Abbitt,2011)。
在 100 篇文章和通知中,有 13 篇研究人员使用开放式问卷来评估职前教师的 TPACK 知识(Koehler、Shin 和 Mishra,2011)。开放式问卷向职前教师提出不同类型的问题,让他们以文字形式描述他们在技术课程中关于 TPACK 的教学经验。So 和 Kim(2009)在他们的研究中询问教师“您认为将 ICT 工具整合到您的 PBL 课程中的主要优势和劣势是什么”。因此,在创建和开发开放式问卷的过程中,应针对评估教师的整体经验创建问题,教师应使用这些问题来判断自己的知识。对开放式问卷进行编码和分析非常具有挑战性,因此大多数研究人员不倾向于使用这种方法。
访谈是另一种测量参与者 TPACK 知识的方法。在访谈中,向参与者提出有关 TPACK 知识的问题,并将其声音录制下来以便稍后进行编码。Ozgun 和 Koca(2009)询问参与者在学习环境中使用计算器的优缺点。因此,在访谈中,可以询问参与者技术工具的优缺点、对 TPACK 领域的评估或他们对 TPACK 的看法。
观察是另一种有效的 TPACK 测量技术。研究人员通过在观察期间使用笔记记录和视频录制来检查 TPACK 的知识水平如何随时间变化(Koehler、Shin 和 Mishra,2011)。在观察期间,研究人员观察课堂,并记录教师如何在教学过程中整合技术的笔记。
可以使用不同的方法来创建 TPACK 调查问卷,这些方法可以包含不同的阶段。本章的这一部分展示了其中一种方法及其阶段。主要有 3 个阶段:1)项目库 2)效度和信度分析 3)TPACK 调查问卷翻译
为了开发 TPACK 测量工具,采用了一种系统且逐步的方法。首先,由主题专家收集了主要三个 TPACK 领域(技术、内容和教学法)的项目。然后,进行 KMO 和 BTS 测试以确定项目是否适合进行探索性分析。如果分析产生了所需的系数 alpha 值,则进行探索性因素分析,以确定项目是否正确地衡量了它们想要衡量的指标。如果因素分析结果成功,则进行判别信度分析和重测信度分析,以收集更可靠的结果。最后,如果所有结果都成功地提供了所需的价值,则在最后阶段,将问卷进行翻译和反向翻译,以清除语法错误。
理论框架和相关文献是这些阶段的主要组成部分(Sahin,2011)。第一步是回顾评估教育环境中技术使用的相关文献。关键点是收集旨在衡量预备教师 TPACK 领域的自我评估的工具,而不是他们的态度(Schmit 等人,2009)。除了扫描相关文献外,还可以组织研讨会来准备量表的项目。组织研讨会以确定指标和组成部分的目的是接触教育技术领域教师中的许多人,并从他们的想法和经验中获益(Yurdakul,2012)。在搜索相关文献和研讨会结束时,所有数据都可以以不同的方式存储。作为数据收集过程的结果,所有能力和指标都写在了小册子里。该小册子用于创建项目库(Yurdakul,2012)。创建调查项目的一种方法是 Dillman 的方法。根据 Dillman(2007)的方法,项目由第一作者创建,然后由两位在在线教学方面拥有丰富经验的知识渊博的技术教育专家进行评审。在进行调查后,将使用“大声思考”试点项目开始试点调查。虽然内容效度可以通过让专家审查工具来建立,但结构效度可以通过使用“大声思考”策略来验证,让访谈参与者在阅读和回答调查项目时大声说出他们的想法(Dillman,2007;Fowler,2002)。
在项目库流程之后,所有收集的数据都可以发送给专家进行审批,或者应用一些统计过程来解决效度和信度问题。探索性和验证性因素分析用于效度分析,Cronbach alpha 系数用于信度分析。探索性因素分析用于检验七个子量表的因素效度。实施这些因素分析的目的是调查量表如何很好地区分高能力教师和低能力教师(Yurdakul 等人,2009)。
首先,应用 Kaiser-Meyer-Olkin,然后应用巴特利特球形检验,以了解数据集的特征是否适合进行探索性因素分析(Sahin,2011)。在每个子量表内的项目上应用因素分析,这是决定模式是否与 TPACK 结构良好匹配的重要步骤(Schmidt,2009)。研究人员使用 Kaiser-Guttman 规则(该规则指出特征值大于 1 的因素应被接受)来识别因素数量及其基于数据分析的构成。由于数据集的特征适合进行因素分析,因此应用了因素分析。在进行效度测量后,信度阶段开始。
内部一致性信度应用于测量。研究人员使用 Cronbach alpha 技术计算了每个 TPACK 领域的内部一致性值。计算 Cronbach 的 alpha 内部一致性系数以检验量表项目的一致性,计算重测信度以确定量表随时间的稳定性(Yurdakul 等人,2011)。如果内部一致性值大于 0.70,则被认为是良好,而当值更接近 1.00 时,则被认为是极好(Fraenkel & Wallen,2003)。除了应用内部一致性信度之外,还可以应用重测信度。在信度阶段结束时,计算重测信度以确定性能测量的稳定性。在此阶段,量表形式在三周内两次应用于预备教师。两次应用之间的关系由 Pearson 积差相关系数计算(Yurdakul 等人,2009)。然后,将有问题的项目从调查中删除。由于 Cronbach alpha 和项目相关性的结果产生了适当的分数,项目之间存在相关性,并且调查是可靠的(Sahin,2011)。
第三阶段涉及将调查翻译成英语。此阶段包括翻译和反向翻译。首先,由作者和专业翻译人员独立地将调查问卷从原文翻译成英语。由双语人士将英语翻译反向翻译回原文,以进行交叉检查。然后,将两种翻译形式进行比较,并根据需要进行修改。量表项目的结构或含义不会改变(Sahin,2011)。
研究人员在测量预备教师的 TPACK 时遇到了问题。他们在 TPACK 的每个不同的测量工具中都面临着不同的问题。测量过程中存在两个主要问题:了解教师领域知识对其当前教学实践的影响以及 TPACK 测量方法的信度和效度问题(Abbitt,2011)。由于这些问题,研究人员倾向于尝试不同的方法来测量 TPACK,因为预备教师教育具有动态特征。
研究人员使用了不同的技术来克服信度和效度问题。Sahin(2011)使用探索性因素分析来检验 TPACK 七个子量表的因素效度。首先,应用 Kaiser-Meyer-Olkin,然后应用巴特利特球形检验,以了解数据集的特征是否适合进行探索性因素分析。另一种解决信度问题的方法是 Yurdakul 等人(2011)在测量中应用内部一致性。如果内部一致性值大于 0.70,则被认为是良好,而当值更接近 1.00 时,则被认为是极好(Fraenkel & wallen,2003;Gay, Milss & Airasian, 2000)。最后,在信度阶段结束时,计算重测信度以确定性能测量的稳定性。在此阶段,量表形式在三周内两次应用于预备教师。两次应用之间的关系由 Pearson 积差相关系数计算。
虽然历史上主要使用定性方法来识别和定义 TPACK,但 Mishra 和 Koehler(2005)进行了定量研究来衡量参与者学习体验的时间、努力和感知。根据这项研究的结果,教师的知识表现出可变的特征,以及活动发生的背景,以及学生在这个背景中的互动(Abbitt,2011)。
此外,Koehler、Misra 和 Yahya(2007)试图通过使用话语分析过程来测量 TPACK。研究过程主要包括内容分析技术,例如记录小组讨论的笔记、小组成员之间的电子邮件记录以及整个学期的调查(Abbitt,2011)。然而,编码中存在主观性和偏差的可能性是这项研究的主要挑战,因为研究人员对其进行了认可。在绩效评估中,参与者通过创建产品或在活动结束时完成任务来评估自己。一些 TPACK 绩效评估要求参与者创建作品集或反思日记(Suharwoto,2006),而另一些则包含情景或基于问题的解决问题(Graham、Tripp & Wentworth,2009)。虽然绩效评估是衡量数据的有力方法,但自我评估也会导致偏差。Schmidt(2009)还指出,这种方法需要很长时间,并且只关注独特的背景。当我们将它与先前发现进行比较时,关注独特的背景并不能给我们提供足够的数据。最后,根据 Abbitt(2011)的说法,这种方法中使用的数据收集不能反映学生的全部知识和对 TPACK 领域的看法。此外,通过电子邮件记录和其他一些学生之间的文字来获取足够的数据是不切实际的。
简而言之,信度和效度问题是研究人员在测量过程中遇到的主要问题之一。为了克服这个问题,研究人员使用了不同的分析技术,例如重测信度或 Pearson 积差相关。另一个问题是教师知识的可变特征以及评估和编码过程中的偏差。在测量过程中,这些问题会导致问题。为了解决这个问题,研究人员可以使用不同的方法来测量和评估 TPACK 的过程。
Kabakci Yurdakul, I., Odabasi, H., Kilicer, K., Coklar, A., Birinci, G., & Kurt, A. (2012). The development, validity and reliability of TPACK-deep: A technological pedagogical content knowledge scale. Computers & Education, 58(3), 964-977. doi:10.1016/j.compedu.2011.10.012
Schmidt, D. A., Baran, E., Thompson, A. D., Mishra, P., Koehler, M. J., & Shin, T. S. (2009). 技术教学内容知识 (TPACK): 预备教师评估工具的开发与验证。教育技术研究杂志,42(2),123-149。Harris, J., Grandgenett, N. & Hofer, M. (2010). 基于 TPACK 的技术整合评估量规测试。在 D. Gibson 和 B. Dodge(主编)中,2010 年信息技术与教师教育学会国际会议论文集(第 3833-3840 页)。切萨皮克,弗吉尼亚州:AACE。Abbitt, J. (2011). 衡量预备教师教育中的技术教学内容知识:当前方法和工具的综述。教育技术研究杂志,43(4),281-300。Archambault, L., & Crippen, K. (2009). 考察美国 K-12 在线远程教育者中的 TPACK。技术与教师教育当代问题(CITE 杂志),9(1),71-88。Sahin, I. (2011). 技术教学和内容知识调查 (TPACK) 的发展。土耳其在线教育技术杂志 - TOJET,10(1),97-105。Harris, J. B., & Hofer, M. J. (2011). 技术教学内容知识 (TPACK) 实践:对中学教师基于课程的技术相关教学计划的描述性研究。教育技术研究杂志,43(3),211-229。Koehler, M. J., Shin, T.S., & Mishra, P. (2011). 我们如何衡量 TPACK?让我来数一数。在 R. N. Ronau、C.R. Rakes 和 M. L. Niess(主编)中。教育技术、教师知识和课堂影响:关于框架和方法的研究手册。信息科学参考,宾夕法尼亚州赫尔希。Mishra, P., & Koehler, M. J. (2006). 技术教学内容知识:教师知识的新框架。师范学院记录 108 (6),1017-1054。Fraenkel, J. R., & Wallen, N. E. (2003). 如何设计和评估教育研究。纽约,纽约:麦格劳希尔。