技术指导/评估
< 技术指导
- 为了实施彻底的评估，有必要让所有利益相关者参与到评估过程中。除了让学生、家长和教师参与评估的信息收集阶段外，还应组建一个委员会，尽可能多地包含参与者。委员会的配置将因学区而异，并将反映该学区的目标和优先事项。
- 这些可能包括以下内容
- 管理人员 - 校长、系主任、财务办公室人员
- 技术人员 - 网络工程师、教学技术人员
- 教师 - 来自各个部门
- 学生
- 家长
- 学校董事会成员
- 社区成员
- 一旦委员会成员选定，重要的是要培训他们评估流程的运作方式。
- 培训项目的介绍
- 流程的目标和里程碑
- 分配的初始责任
- 完成的时间表和基准
根据学区不同，评估的目标可能会有所不同。大多数评估流程是为了检查现有项目的状况。
可能的目標
- 年度技术评估
- 评估试点项目
- 评估项目的一部分，例如教师培训或硬件实施
- 赠款项目的阶段性评估
在初始培训后，委员会将召开会议以制定关键评估问题，并为这些问题创建指标和评分标准。在许多情况下，为了处理个别问题，更容易分成更小的子委员会。
- 评估可能有很多原因，评估过程的开始将涉及确定评估的范围。年度技术评估、专业发展项目、笔记本电脑计划实施以及增量赠款评估是您可能要评估的一些项目示例。
- 一些需要询问的关键问题可能是
- 我们到目前为止做了什么？
- 我们完成了该任务吗？
- 我们现在身处何处？
- 哪些方面运作良好？
- 哪些方面需要改进？
- 我们未来需要做些什么？
- 我们需要调整我们的时间表吗？
- 是否有我们需要完成的任务？
- 查看您学区的技术计划、专业发展或笔记本电脑计划的实施计划，并检查赠款指南，这将有助于您创建检查进度的指标。根据评估，您应该为每个项目制定时间表和进度基准。
- 指标
- 是或否问题
- 详细叙述
- 清单
- 评分标准
- 可以组建小组委员会来制定关键评估问题并创建指标。
评分标准是一种收集评估信息的有用图形方法。评分标准中可以包含许多信息的组合，具体取决于您的机构的目标以及您要评估的内容。
- 评分标准的一些可能用途
- 在培训课程开始时，评估参与者的技能或舒适程度。
- 在课程结束时重新评分以评估课程的有效性
- 在学年结束时检查教师的年度进步
- 逐年用于教师评估或作为技术项目评估的数据
- 问题编辑对于微调评估很重要。在编辑问题时，务必尽可能具体和简洁。您需要尽可能准确的信息，因此您需要使评分标准易于理解和填写。包含短语的评分标准比包含完整句子的评分标准更容易阅读。
- 在评分标准表格中包含一个区域供参与者写下评论非常有用。您还可以有一个部分供您在采访参与者后写下评论。
- 网格形式的评分标准易于完成。
- 最左边的列将包含您要衡量的信息点。
- 右边的列将包含理解或完成的程度。
- 底部应该有一条评分线，便于收集数据。
- 这是一个简单的评分标准示例。
| 类别 | 初学者 | 中级 | 专家 |
|---|---|---|---|
| 基本计算机操作 | 我不使用电脑 | 我有时可以使用电脑。 | 我一直使用电脑 |
| 文件管理 | 我不保存任何文档。 | 我保存一些文档。 | 我保存所有文件。 |
| 总数 |
重要的是要拥有数据来表明如何利用技术来增强教学和学习。在评估过程中，数据收集基于之前制定的指标评分标准。主要目的是收集详细的信息以回答问题并衡量委员会创建的评分标准中的表现。有各种工具可用于技术评估数据收集，例如
- 调查
- 焦点小组访谈
- 观察
- 审查教师/学生作品
- 调查是收集用户意见最常用的工具。可以为教师、管理人员、学生和/或社区成员设计独特的调查。调查格式可以是在线的或纸质的。在线调查通常比纸质调查更具优势。它们可以生成即时结果，这些结果可以在线查看或以各种文件格式下载以供以后分析。在线调查可以成为从大量教师那里收集数据的有效方式，尤其是在学区拥有完善的网络的情况下。如果学区没有自己的网络，市场上也有一些免费或低成本的在线调查工具（例如Zoomerang）。在进行调查时，无论是在线还是纸质，重要的是要为受访者设定一个共同的时间来完成调查。在教职工会议开始或结束时预留 10 分钟是完成调查的好方法。如果纸质调查以“退回校长办公室”的便条形式分发到教师邮箱中，它可能会产生低响应率。
- 这里有一个教师调查样本，它调查了教师的技术熟练程度、学校中特定技术的应用以及教师对技术对教学和学习影响的看法。
- 有意义的评估将包含来自多个不同来源的数据。除了调查外，焦点小组是使用最广泛且最有价值的数据收集方法之一。与调查一样，我们可以通过安排更多或更少的焦点小组来收集更多或更少的数据。它们可以是教师、管理人员和技术人员。
- 这里有一个教师焦点小组访谈样本，它建议访谈过程以及侧重于学生获取和使用、教师熟练程度、教师愿景和策略以及教师获取和专业发展的问题。这些访谈问题的措辞可以针对管理人员或技术人员焦点小组进行修改。
- 有时，收集有关人们行为的信息的最佳方式是观察他们。[2] 观察是一种在不打扰提供信息的人的情况下收集数据的方式。建筑物和课堂观察是第三种也是最详细的数据收集方式。大多数评估人员在全区的学校和教室中花费时间。目标不仅是观察教师和学生使用技术，还要观察教室设置、教学风格和学生行为。然后利用收集的信息来确定技术如何影响教学和学习。
- 应该制定一项教师和学生技术作品的评估方案。该评估应侧重于考察不同年级和科目领域的学生如何利用技术来丰富学科学习，以及教师如何利用技术来创建和增强他们的教学材料/环境。评估委员会和学校管理人员应为该评估开发准确的学生作品样本。
- Kathy Shrock 的教育者指南 - 评估和评分标准信息 包含大量科目特定的和通用的评分标准，用于审查和评估教师/学生作品。
- 也可以使用其他数据收集方法。例如，收集现有的学校记录（出勤率、成绩、考试成绩）并举行公开会议，讨论与技术实施相关的社区目标和担忧。
***请记住，收集的数据可能是在个人层面上的，绝不应报告。我们的任务是衡量整个学区（学校）在实现其目标方面的进展，而不是评估个人成就。如果个人评估很重要，应该进行单独的评估来达到这个目的。
数据应以易于进行各种统计分析的形式进行汇总。它也应该方便评估人员以外的人阅读。视觉辅助总是理想的。以下是一些常用的数据分析格式类型。
- 报告必须首先清楚地总结数据得出的结论，以及分数是如何推导出来的。例如，如果您的学校开展了试点项目，以评估为整个班级提供笔记本电脑用于课程作业是否会提高学习成绩，那么就必须衡量什么是可接受的提高或改变因素。不能仅仅凭直觉或感知到的学习成绩提高来判断。它也不能仅仅是技术总监提供轶事证据。如果无法衡量，它就不算数。
- 因此，一旦了解了评分体系，以及为什么例如它们的权重会有所不同，那么对于该试点项目要被视为成功，哪些结果是重要的就变得清晰了。变得更加熟悉电脑可能是一种结果，但是如果因为其不重要而没有分配任何分数，那么对于技术总监来说，它就无关紧要。这将是详细说明试点项目为何以特定方式构建的部分。同样地，班级 SAT 数学成绩提高 10% 可能是非常理想的结果，可能会被分配高于平均水平的分数，并且是可以衡量的。这将在依据部分解释，并将成为推动在试点项目数量之外购买更多笔记本电脑的结果。
- 实际发现需要在详细说明部分解释，从某种意义上说，我们收集的数据实际上意味着什么。这可能是分数的总范围——高、低、中位数等——以及它们的来源。强烈建议您使用易于理解的条形图呈现一些关键数据，或在前后图中表达趋势。请记住，如果普通民众无法理解关键含义或结果，那么数据将毫无用处。保持简单，让它简单。避免依赖大量统计术语（如标准差或卡方因子）的令人印象深刻的解释，因为受众不太可能是以研究为导向或学术性的群体。最终结果应该是使复杂的事情易于理解，而不是反过来。
- 报告中只能包含那些可以追溯到数据本身的推荐，以及发现告诉我们什么。再次强调，直觉或感知到的发现不能成为推荐的一部分。如果数据不支持结论，那么它就不能被包括在内。通过这种方式，报告的内容基于科学过程，而不是随意引入，并且必须有充分的文档。
- 除了发现之外，最终报告还应该提供一个路径，说明该地区如何调整或改变现有做法，以在接下来的几年中实现更高的绩效水平。例如，如果某个特定试点项目在使用 1 年后显示出明显的收益，那么应该有一个建议详细说明，如果重复使用这种方法，预计在几年内会获得怎样的收益。将笔记本电脑引入四年级学生以提交作业，可能会在接下来的十年中重复应用于每个四年级班级，以实现特定的目标。同样地，在每个七年级班级中使用黑莓手机可能没有显示出任何收益，并且报告应该建议停止这种做法，即使黑莓手机是免费的。
- 所有建议都必须与发现相关，并且不能与地区的预期结果相冲突。这些将记录在早期的指标量表中。
- 在发布最终报告之前，必须与地区评估委员会和主管管理员一起审查发现和逻辑建议。没有人喜欢惊喜。这也是确保报告不会出现任何错误（例如错误引用的标题、建筑物、拼写错误等）的一个好步骤，这些错误会损害发现的信誉。此外，如果报告要反映对个人的负面评价，最好确保允许使用这种语言。否则，可能会对报告进行全面攻击，并且建议将不受欢迎。关键人员将有机会修改、编辑、弱化语言、更改形容词或提出更多信息。收到这些意见后，最终报告就准备好了。您还将获得关键人员的认可，并且知道他们以后看到的内容不会让他们感到意外。
- 在以书面形式向所有其他方发布报告之前，提前 24 小时向关键人员提供报告的书面副本。在报告中注明将进行演示（由您，技术总监）以及演示的日期、时间和地点。届时欢迎提出问题，并且通常您应该至少给每个人 5 个工作日的时间消化书面报告。*穿着漂亮的西装，吃一顿丰盛的早餐，因为您需要这两样。*
- 报告的呈现是形成性评估工作中最关键的阶段，因为它建立了反思的共同知识基础。如果你在任何方面表现出傲慢或责备，即使是很小的程度，也会损害信息，阻碍积极的改变。在做演示的时候，把自己看成一个“值得信赖的顾问”，在脑海中把自己想象成这个地区的团队成员，而不是局外人，更糟糕的是，一个受雇的变革推动者。使用“我们发现”之类的短语，而不是“我发现”，在你谈论调查结果时，要对房间里每个人的自尊心保持敏感，以中立的语气——这些都是事实。外交地说明，任何从未与它评估的社区分享的评估都不会带来反思。没有反思，就意味着没有积极的改变。在 PowerPoint 演示文稿中使用专业的字体和故事板主题，表达你想表达的 3-5 个关键点，并包括一个总结这些点的最终摘要幻灯片。不要包含动画（移动的卡通）、俏皮的笑话或任何其他轻松幽默来淡化主题。对于基于科学数据和报告的内容，这些内容通常会适得其反，而且可能是不合时宜的，无论你认为它们多么独具匠心。在演示 PowerPoint 幻灯片时保持专业（如果可能的话站立），并请同事帮助你推进每张幻灯片（准备好了就说“下一张幻灯片”）。在实际的房间里进行彩排，加载笔记本电脑、投影仪，并计时练习。确保你有足够的时间充分阐述每个要点，也要留出足够的时间回答问题。练习，练习，再练习。
- 在 PowerPoint 演示文稿结束时，应该让每个人都清楚地了解这项工作产生的关键流程、发现和建议，并在最后一张摘要幻灯片展示后再次口头强调这些内容。如果该地区有一个运行良好的网站，你也可以说明演示文稿将存档在那里，前提是负责管理的管理员事先同意你这么说。你应该事先询问，事实上要确定，是否有任何外部报纸或媒体人士在场，但即使他们不在场，也要记住你可能会被引用。你的报告中的摘录“可能”会成为当地报纸文章的一部分，所以在你演示 PowerPoint 的过程中以及回答任何问题时都要小心你的言论。不要脱口而出，或在事先没有思考的情况下发表任何意见。你在那里是为了传达报告的调查结果，而不是引发任何争议，所以坚持主题。
最后，感谢大家抽出时间阅读书面报告。
- ↑ http://www.ed.gov/pubs/EdTechGuide/appc-6.html 教育工作者评估学校和课堂中技术使用指南
- ↑ 评估指南 - 学校和课堂中技术的使用，美国教育部，1998 年。