专业/2003 年东北大停电

2003 年的东北大停电是一次大规模停电事件，发生在 2003 年 8 月 14 日星期四，影响了美国东北部和中西部以及加拿大安大略省的部分地区。

背景

原因

停电的主要原因被确定为通用电气常用的 XA/21 电网控制系统中的一个当时未知的软件错误，具体是在俄亥俄州 FirstEnergy 的伊斯特莱克 5 号电力变电站中。伊斯特莱克工厂最近出现过维护问题，在炎热的夏季很难满足需求。（该工厂由于可靠性和升级成本问题，已被关闭。）该工厂的特定条件触发了软件错误，导致竞争条件，阻止了超载期间必要的警报触发，并减缓了其对后续错误的处理速度。该错误还导致后台服务器系统在负载增加的情况下发生故障，进一步加剧了这种情况。FirstEnergy 的其他员工没有注意到伊斯特莱克工厂的这些初始故障，并且不知道何时几条线路会过度负荷。热膨胀引起的下降使一条高压线路接触到一棵树，触发了级联故障，其中一个故障导致另一个故障；每次事件都会给剩余设备带来更大的压力，使其更有可能发生类似的故障或自行离线，从而扩大影响。通过这种过程，伊利湖和纽约州附近的大片区域最终完全与外界隔离并关闭，瘫痪了该区域，使其包含的多数地区没有主要的或备用电力。

结果

伊斯特莱克 5 号变电站和其他发电站的故障导致美国东北部和安大略省大片区域出现大范围停电，影响了 5000 万人以上。。受影响的地区几乎完全陷入科技停滞状态。由于泵的压力不足，几个地区停水，并发布了污染警告。克利夫兰、纽约、金斯敦和纽瓦克发生了主要污水泄漏到水道的事件。该地区的交通线路全部关闭。纽约市的所有火车由于停电而无法运行，不过柴油动力服务最终上线。加油站无法加油，导致卡车和供应服务的停止。该地区的机场也无法正常运行，因为存在安全问题，即使电力恢复后，计算机系统也难以访问机票信息。蜂窝通信完全中断，许多工厂由于不仅缺电，而且还缺供应，无法运营数日。纽约市是受影响最大的城市，完全关闭。由于交通工具缺乏，人们被困在城市里，没有灯光来调节交通，导致严重的交通堵塞。高温和高湿度加剧了问题，许多人睡在户外，以避免没有空调的建筑物中的高温。

其他影响

在美国，布什政府强调需要改变美国国家能源政策、关键基础设施保护和国土安全。在停电期间，大多数探测系统都失效。它突出了电网被禁用的容易程度，并引发了人们对恐怖主义可能利用的担忧。

电力恢复后，安大略省的一些城市参加了节能挑战活动，例如由安大略省电力局主办的自愿停电日。在这些活动中，鼓励市民最大限度地进行节能活动。

专业性

责任分散

停电并非由某一特定事件引起。相反，事件链中涉及多个组件。

北美电力可靠性委员会 (NERC) 对停电进行了广泛的调查，确定了几个单独的故障点。根据其报告，“停电的原因源于参与的个人、团体和组织的决策、行动以及未能采取行动的缺陷。”具体来说，它将这些原因分为三个主要类别。

无效的支持和沟通

其他操作员：“嘿，你认为你可以帮助一下 345 伏的电压吗？”

伊斯特莱克 5 号操作员：“兄弟，我正在——是的，我会把它推到我的最大值。你只能得到一点。”

其他操作员：“没关系，这是我能要求的全部。”

中大陆独立系统运营商 (MISO) 是一个总部位于印第安纳州的区域电网管理和协调组织，负责监督和监控美国中部和马尼托巴省的运营。但是，在 2003 年，这些监控操作是使用没有设计为提供真正实时数据的系统进行的。因此，MISO 无法提供在故障开始级联之前阻止故障所需的实时支持。它也没有充分的内部程序来应对其收到的初步过载报告。

缺乏态势感知

一系列原因干扰了 FirstEnergy 的态势感知。这阻止了操作员采取纠正措施来维持系统平衡。

• 伊斯特莱克工厂的警报故障检测系统中的冗余不足。竞争条件导致的无限循环锁定禁用了警报，但没有迹象表明存在问题。
• 计算机支持人员没有有效地传达警报功能失效的消息。对警报处理器故障缺乏了解加剧了已经恶化的状况。
• 计算机支持人员在服务器恢复后没有完全测试功能。服务器故障是独立事件，但在重启后进行全面测试本可以发现警报故障。
• 操作员没有有效的方式可视化系统状况。操作员没有其他显示器或状态概览来监控系统。
• FirstEnergy 没有有效的应急分析能力。实时分析发电机和输电线路本可以提醒操作员系统状况正在恶化。

植被管理

NERC 确定，引发连锁反应的原因是一条电力线接触到了一棵过度生长的树木。他们发现，在 345 千伏线路周围，树木被允许不受控制地生长，导致三条线路在 30 分钟内相继停运，如果树木得到适当修剪，这是一个统计学上的不可能事件。有效的植被管理本可以避免触发这些线路停运，但不足以缓解其他故障模式。即便如此，当时也没有关于树木修剪的标准。^[2]

结论

由于责任分散且缺乏明确的个人责任来源，没有对任何一方进行处罚。^[12] 无论这是否正确，公平分配责任确实非常困难。在现实世界中，这种灾难性故障通常是多个较小问题叠加在一起的结果，而不是单一根本原因。任何一个问题都不会导致故障，但当它们组合在一起时，系统就无法补偿，故障变得不可避免。专业人士有责任防止这种情况发生：专业人士是那些关注细节并采取行动承担责任的人。如果更经验丰富的个人身处正确位置，软件错误可能会在测试中被发现。如果 MISO 实施了足够的协议和技术，则可以制定应急计划以有效地应对系统故障。也许，即使树木得到更有效的修剪，停电也可能永远不会发生。此外，专业人士之间的沟通极其重要。对于依赖子系统相互交互的复杂系统，不同层级之间需要进行沟通。开发人员需要通知最终用户其产品的缺陷。这可能不那么令人愉悦或具有市场竞争力，但它可以确保用户了解产品的不足。产品的操作人员或系统的操作人员也需要相互沟通。正常运行的偏差、改进领域和维护要求都会影响系统性能，因此这些细节必须在同事之间明确，包括发送到指挥链，以便采取适当的行动。