ETD 指南/大学/评估和测量流程
指南的这一章旨在为那些负责实施机构或部门 ETD 项目的人提供帮助。创建成功的评估和测量需要规划、制定目标和指标、选择测量类型以及决定要收集的数据类型。
一些校园会成立一个 ETD 委员会或团队，由研究生院、教职工、图书馆、计算中心以及校园内其他相关部门的代表组成。作为制定 ETD 项目发展整体计划的一部分，委员会应明确其对项目评估和测量的目标，并建立相关数据收集机制。数据收集可以通过网页统计软件包、学生调查或访谈等方式进行，具体取决于哪种信息类型符合评估目标。
大学的多个部门，包括学术系、研究生院、信息技术服务和图书馆，都参与了 ETD 项目。在制定评估计划时，思考收敛性是有帮助的。是否有一些对几个相关部门都很有用的信息？这将提高评估的价值，并可能实现联合资助和实施，从而分摊成本和工作量。
在规划过程中，ETD 委员会可能关注各种问题，包括
- ETD 项目对机构声誉的影响；
- ETD 项目在帮助机构建立数字图书馆方面的程度；以及
- 参与 ETD 项目的学生和导师的益处和担忧。
一旦确定了评估和测量活动的重点，ETD 委员会应将开发和实施责任分配给另一个团队。该团队应包括来自机构内部部门的评估和测量专家，例如机构规划办公室、调查研究机构或教学评估办公室。
评估的必要前提是对 ETD 项目目标的清晰理解。每个机构的评估计划应与机构 ETD 项目的目标和指标相一致，这些目标和指标的范围可能比简单地制作电子内容更广。
如果一个 ETD 项目没有明确定义的目标，NDLTD 网站 是一个极佳的资源。该网站包括 NDLTD 的目标，可以根据当地需求进行调整。这些目标包括
- 改进研究生教育
- 提高学生研究成果的可用性
- 降低论文和学位论文提交和处理的成本
- 赋能学生
- 赋能大学
- 推动数字图书馆技术发展
在每个广泛领域，都可以开发多种测量类型，以帮助评估 ETD 项目是否取得成功。
机构在 ETD 项目中可以衡量的内容有很多选择。在将评估目标与机构目标对齐后，评估计划必须描述为项目各个方面需要哪些类型的测量。麦克卢尔描述了多种测量类别，包括侧重于广泛性、效率、有效性、服务质量、影响和用处的测量类别。（Charles R. McClure 和 Cynthia L. Lopata，《评估学术网络环境》，1996 年，第 6 页）
广泛性测量收集有关以下问题的数据：大学中多少个系要求提交 ETD，或者每年提交多少份 ETD。这种类型的数据适用于比较，既可以作为单个机构的趋势数据，也可以与同行机构进行比较。
效率测量收集数据以比较 ETD 的生命周期成本与印刷论文和学位论文的成本。例如，弗吉尼亚理工大学在其 电子论文和学位论文计划 网站上包含了这样的比较。
有效性测量检查项目目标实现的程度。例如，如果机构 ETD 项目的目标是赋予学生使用多媒体和超媒体传达更丰富的信息的能力，则可以收集数据来显示每年使用这些技术的 ETD 的比例和数量。如果项目的目的是提高学生对电子出版问题的理解，则机构可以在学生制作 ETD 前后衡量他们对这些问题的理解程度。
服务质量测量检查学生是否获得了所需的培训和后续帮助。
通常，关于如何评估电子信息资源的讨论仅限于定义如何计算搜索次数、下载次数和点击次数等内容。这些测量当然有用，但它们对电子信息资源的整体价值提供了有限的了解。
许多重要问题无法通过有关搜索次数、下载次数和点击次数的统计数据来回答：由于在线信息资源的可用性，用户是否可以访问比过去更多信息？电子信息资源的可用性是否提高了个人效率和研究质量？是否节省了他们的时间？
评估数据收集应旨在回答其中一些问题，解决嵌入在 ETD 项目中的教育目标，并衡量这些目标是否已实现。
数据收集的决定还应参考机构的使命和目标。例如，如果机构对提高国内外知名度感兴趣，那么按国家和机构 IP 地址统计 ETD 下载次数将是有用的。按国家和使用量分析谁正在使用机构的 ETD 也是衡量影响力的宝贵指标。随着推荐系统的不断发展，该领域的重要性可能会提高。
关于用户，有许多与评估相关的问题。其中包括
- 学生是否正在实现 ETD 项目的目标？
- 学生是否在适当且有效地使用 Acrobat 等工具？
- 学生作品的可用性是否有所提高？
- 学生是否对出版问题，例如知识产权问题，有了更深入的了解？
此外，数据收集计划可以解决与学生满意度相关的许多问题。这些可能包括
- 学生是否对他们所接受的帮助他们制作 ETD 的培训或指导感到满意？
- 他们的论文在网上发布是否帮助他们找到了工作？
- 他们在目前的工作中是否正在使用他们学习的技术和电子创作技能？
学生作品的可用性可能是一个因素，它可以帮助雇主了解他们的研究领域和输出质量。可用性也可能促使雇主与学生联系，以便为需要特定技能的职位招聘。学生可能会发现，准备 ETD 所需要的技能以及与 ETD 相关的各种问题，例如知识产权问题，在毕业后的工作中会很有用。
ETD 项目对学生、教职工和其他人的有用性可能是重要的衡量因素，以便收集可以传达给行政人员和资助机构的数据。这些数据最好在 ETD 完成后 6 个月到 1 年内收集。
最后，全球教师和学生能够轻松地查看特定院系的学位论文和毕业论文产出，这可能会为研究生院的排名和评分提供一个新的维度。监测实施电子论文项目之前和之后几年的全国排名可能会有用，尽管这可能只是排名或评分变化中的一个因素。