交通领域新兴技术案例集/交通开放数据
开放数据是指某些数据应该免费提供给所有人使用和重新发布,不受版权、专利或其他控制机制的限制。1开放数据的定义之一如下
- 开放数据是指任何人都可以自由使用、重用和重新分发的数据——最多仅需满足署名和相同方式共享的要求。2
所有各方免费提供和分发的开放数据使整个数据系统能够互操作。互操作性使政府、企业或公民都能访问数据,并保证信息准确且有用。开放数据允许用户以现有来源从未想象过的方式混合数据集和信息。
在交通领域,不仅人是可观察的数据点,而且包括汽车、公共汽车、火车、飞机和各种公共交通工具在内的整个交通网络都在发生变化。开放数据指的是信息——例如关于交通路线、时刻表、公路拥堵、定价等信息——这些信息可供免费获取,用于分析并集成到其他应用程序中。
- 政策和规则制定者
- 各国政府制定政策以鼓励提供和使用开放数据。他们还规范开放数据的可访问性和分发,以保护个人数据和隐私。
- 政府制定政策以鼓励开放数据的创新使用。
- 政府和第三方发布开放数据的许可证。
- 数据提供者
- 政府和第三方根据许可证分发数据。
- 服务提供商
- 政府和第三方提供使用开放数据的服务。
- 用户
- 公民/私人实体下载数据、提供价值并接收服务。
- 1942年 - 罗伯特·金·默顿阐明了开放科学数据的好处,这些数据可供所有人免费获取。
- 1995年 - “开放数据”一词首次出现在美国科学文献中。
- 1998年 - 旧金山湾区快速交通系统以 .csv 格式发布其时刻表数据,成为已知首次向公众发布交通数据。5
- 2000年5月 - GPS的选择性可用性(SA)被关闭。
- 2007年12月 - 30名互联网思想家和活动家举行会议,定义了开放政府数据的八项原则。
- 2009年1月21日 - 巴拉克·奥巴马总统的题为“透明度和开放政府”的备忘录6
- 2009年5月20日 - Data.gov7上线。
- 2009年12月8日 - 白宫发布开放政府指令。
- 2012年5月13日 - 巴拉克·奥巴马总统的题为“建设21世纪数字政府”的备忘录8
- 2013年5月9日 - 标题为“使开放和机器可读成为政府信息的新默认设置”的行政命令9
- 2013年5月9日 - “开放数据政策:将信息作为资产管理”。
- 2013年5月16日 - 开放数据项目启动。
- 2014年4月28日 - 数字问责与透明法案。
- 国家政府的门户网站
- data.gov(美国)7
- data.gov.au(澳大利亚)10
- open.canada.ca(加拿大)11
- data.gouv.fr(法国)12
- govdata.de(德国)13
- data.go.jp(日本)14
- data.go.kr(韩国)15
- data.gov.sg(新加坡)16
- data.gov.uk(英国)17
- 其他开放数据门户网站
- https://data.cityofnewyork.us/dashboard(纽约市)30
- 截至2016年4月15日,DataPortals.org(开放数据门户网站的目录网站)已注册了519个开放数据门户网站。18
- 增强数据可访问性和个人数据与隐私19
- 政府如何确保公民有法律强制执行的权利来轻松访问、重用和重新分发数据;以及
- 在增强数据可访问性的环境中,是否有足够的保障措施来保护个人数据和隐私?
- 开放数据的通用标准20
- 可以链接,以便于共享和讨论;
- 以标准的结构化格式提供,以便于处理;
- 保证随着时间的推移可用性和一致性,以便其他人可以依赖它;
- 可追溯,通过任何处理,一直追溯到数据来源,以便其他人可以弄清楚数据来源以及是否应该信任它。
- 政府在刺激开放数据使用方面的创新作用
- 根据TRB的审查确定,开放数据的可用性鼓励了仅靠机构人员无法实现的创新。
- 刺激创新的额外好处包括:提高公众对服务的认识,赋予客户权力,改善公众对政府机构的看法,以及为私营企业利用数据提供机会。21
- TRB进一步指出,在提供开放交通数据的地方,“它正在使交通作为一种运输选择更具竞争力,提供更好的区域服务协调,并提供更好的交通体验。”21
- 政府机构并非以创新为导向。向公众提供开放数据允许外部创新者找到更好的数据用途,有时是政府机构未曾打算或未曾探索的用途。21机构并不总是拥有足够的资源来开发应用程序并在与开放市场相同的规模上进行额外的分析。
开放数据正在改变世界。开放数据可以通过提高透明度、增强公共服务和资源分配来改善政府。政府收集和控制的数据不再需要仅仅对政府有用,也需要对受数据影响的公民和企业有用。开放数据可以改善公民的沟通和信息获取。当双方都了解可用的数据时,数据收集者和数据使用者之间的互动就会得到改善。当数据对某些方封闭时,目前会出现信息不对称的情况。开放数据标准可以为纠正信息不对称和改进信息传播提供途径。开放数据可以通过促进创新为公民、政府、企业和组织提供新的机会。开放数据允许用户有机会将来自不同位置的多个统计数据混合在一起以汇总数据。开放数据的聚合为公民和政策制定者提供了新的信息来源,以便他们分析和确定解决问题的新途径。
但开放数据也可能带来负面影响。在互联网兴起之前通过的侧重于透明度和问责制的立法可能缺乏足够的隐私保护措施。正如开放数据可用于为政府和商业问题提供创新的解决方案一样,免费公开的公共数据也掌握在可能选择利用社会弱点的主体手中。例如,如果开放数据包含任何公民的识别信息,然后可以与提供地图位置的其他数据交叉引用,则隐私和安全可能会受到威胁。
- 法律开放性
- 在许多司法管辖区,数据上的知识产权阻止用户在未经明确许可的情况下使用、重用和重新分发。开放许可证阐明了数据集的使用、重用和重新分发的开放性。开放数据提供者可以通过应用适当的许可证来设置其数据集的法律开放程度。开放数据许可证的示例列在开放定义网页上。23 开放数据支持者的最终目标是确保尽可能多的数据在法律上对任何最终用户免费,而无需担心任何后果。开放数据将允许全球访问数据,这反过来又会激发来自许多不同地点和环境的创新。政府机构收集或控制的数据将属于此类。
- 技术开放性
- 技术上开放的数据以合理的成本提供,尤其许多数据可以从互联网上免费下载。开放数据通常有两种分发方式:在网站上提供数据集和通过应用程序编程接口 (API) 提供数据。理想情况下,提供的数据集应该是完整的,但提供者可以通过 API 分发部分数据集。技术上开放的数据具有公开定义且机器可读的格式,这允许重用数据。机器可读格式的示例如下:
- 地理信息系统 (GIS)
- 可扩展标记语言 (XML)
- 计算机辅助设计 (CAD)
第三方(谷歌、苹果、优步等)或根据政府来源的合同/资助收集的数据将属于此类。受控数据对当前持有者具有价值,经济影响将决定其可访问性。此外,由于合同义务或不熟悉数据,政府可能无权免费分发数据,这使得第三方处于控制地位。
纽约大学鲁丁交通政策与管理中心总结了所有参与者对开放交通数据的看法:“开放数据的好处包括更有效的出行(能够随时找到最佳路线)、对财务/行政的更深入了解(有助于促进改进的资金结构)以及众包分析(有助于发现时间表改进或错误)。"
交通运输中的开放数据允许政府机构从多个来源改进出行,而不是直接通过机构资源。政府的角色是以最有效和最实用的方式为公民服务。提供开放数据提供了一种新的途径来确定对最终用户最有效和最实用的方式。
鼓励多式联运完全关乎选择——选择驾车、骑自行车、乘车、打车或拼车,并用可靠的信息支持这些选择。因此,每个交通机构都有兴趣帮助尽可能地简化和轻松地进行决策,方法是使其用户需要的信息易于获取且广泛可用。开放数据完全是关于将信息掌握在需要它的人手中,并以尽可能降低成本和最大限度地提高灵活性的方式提供数据。
公共机构承担着许多指令,其中大部分有意或无意地收集数据,并且必须确定其信息是否对公众开放。这些机构收集的数据可能尚未以允许审查和准备供公众使用的方式存储。
交通研究委员会 (TRB) 对公共交通机构进行了调查,并确定了以下四个不向公众提供开放数据的原因:
- 生成数据需要花费太多精力/我们没有时间或人员;
- 清理数据需要花费太多精力;
- 我们无法控制他人如何使用数据;以及
- 我们不知道数据的准确性。
TRB 的研究表明,公共机构不确定如何有效地向公众提供可信赖的数据,这方面存在诸多问题。数据的准确性是一个重要问题,因为公共机构的预算预测或私人创新工作都依赖于数据。当数据不可信时,公共机构和私人用户都会受到损害。
此外,TRB 调查显示,60% 的受访交通机构仅根据发布数据的难易程度来确定哪些数据公开发布给公众。这会产生一个问题,即公共机构没有专业知识来确定相关数据供公众使用,也没有人力来正确发布数据。某些在其他开放数据中可能具有上下文意义的数据未提供给公众,从而限制了开放数据的可能用途。如果数据仅在实体易于发布时才发布,则数据提供者和数据消费者之间将持续存在关于数据准确性和有用性的斗争。
为了向公众提供开放数据,政府实体需要为参与制定基本规则。开放数据可能是公众与政府实体唯一互动的方式,因此,必须有成功的项目管理选项。
- 获得并保持管理层对该计划的支持;
- 认识到提供和维护开放数据门户所需的适当资源级别;
- 建立监控数据准确性、及时性、可靠性、质量、使用情况和维护的方式;
- 创建和维护许可和注册;以及
- 与开发人员和客户进行持续对话,实践表明,这可以提高基于数据的价值和产品价值。
要点是需要积极管理开放数据。未得到妥善维护或未及时更新的数据对公众或控制它的实体都没有用处。机构需要提供充足的资源来解决这个问题。由于技术的不断变化的需求,系统需要不断更新,以确保能够实现所有用户都能使用开放数据的目标。
- 美国案例
- 俄勒冈州波特兰的三县都会区25
- 2005 年,三县都会区的地理信息系统部门允许所有交通数据免费分发给所有方,特别是 Google Transit,这是一个允许用户在 Google 地图中规划交通出行路线的网站。
- 以开放格式和标准条款在线发布数据使三县都会区能够在与交通相关的应用程序开发方面引发爆炸式增长。开发了 50 多个应用程序来利用新可用数据。
- 2007 年,三县都会区将其在线系统地图替换为开源地图工具,而不是专有软件。使用开放数据方法帮助波特兰的三县都会区提供了原始系统未考虑的其他选项。原始系统的目标是规划仅限于交通的出行路线。通过外部影响,三县都会区的出行计划软件不断更新,以提供规划多式联运出行路线的能力,其中结合了交通、步行和骑自行车选项。该项目的开源性质允许将更多信息聚合到一个中心位置,并为通勤者提供做出明智的交通决策。
- 纽约市市长数据分析办公室 (MODA)30
- MODA 由布隆伯格市长于 2013 年创建,其明确任务是收集、聚合、控制、衡量和分析纽约市的所有数据和信息。
- 目标是从纽约市各部门和机构中消除数据控制的要求,并允许建立一个集中的数据共享和分析机构。MODA 允许纽约市“分析来自纽约市各机构和其他来源的数据,通过更具战略意义地确定风险、更有效地提供服务以及更有效地执行法律,更有效地解决犯罪、公共安全和生活质量问题。”30
- MODA 运营纽约市开放数据门户,允许公民访问信息以利用公共和私人事业的创新。
- MODA 有 5 个使用开放数据的战略举措
- 支持运营 - 帮助纽约市各机构更有效地提供服务,包括纽约警察局、纽约消防局、卫生局和公园/娱乐局等。
- 全市数据共享 - 提供一个数据共享平台,用于聚合和存储所有城市数据,包括将数据合并到地理信息中。
- 灾害应对和恢复能力 - 提供资源管理工具,以保护公民并有效规划应急事件。
- 经济发展 - 为市民和企业提供所需的数据分析工具,以推动创新并在纽约市促进增长。
- 开放数据 - 鼓励纽约市所有数据免费公开提供,以便纽约市能够从创新和机遇中受益。
- 俄勒冈州波特兰的三县都会区25
- 英国案例
- 2010 年,伦敦交通局 (TfL) 发布了“伦敦交通局 2010-2013 年数字战略”。26 在该战略中,计划如下:
- 发布对伦敦交通局网站上发布的所有关键交通数据的访问权限,以便第三方重新使用;
- 对所有数据使用通用许可流程;以及
- 与关键战略合作伙伴密切合作,鼓励使用伦敦交通局和其他机构数据的新服务。
- 它在其网站上提供了三种类型的开放数据27
- 静态数据文件 – 很少更改的数据文件;
- 数据馈送 – 定期更新的数据文件;以及
- API
- 尽可能以XML格式呈现数据。在遵守一些与保护其品牌相关的规则的前提下,允许自由使用这些数据。截至2016年4月18日,其网站上提供了约30个数据馈送和API,超过5000名开发人员已注册使用其开放数据。一个例子是ITO World Ltd和Google将伦敦地铁中断的实时信息整合到Google地图中。28
- 除了分发数据外,英国政府还评估了对开放数据的需求。该评估由商业、创新与技能部于2013年完成。根据评估,在页面浏览量和开发的应用程序数量方面,交通数据显然是最受欢迎的。29
- 政府如何鼓励潜在的数据提供者公开发布其数据?
- 政府如何在鼓励开放数据使用的同时,保护个人数据和隐私?
- 政府如何确保开放数据的准确性,特别是诸如公共交通运营信息之类的实时数据?
- 数据提供者能否满足用户不断增长的需求?
- 资金最好用于提供开放数据还是提供更好的服务?
- 美国开放数据行动计划
- TRB交通合作研究计划综述115 - 开放数据:公交机构面临的挑战和机遇
- Ben Wellington的TED演讲 - 如何利用大数据找到纽约市最糟糕的停车位
- 开放数据影响 - 由纽约大学坦登工程学院维护的案例研究库
- 公共部门信息市场评估
1 Auer, S. R.;Bizer, C.;Kobilarov, G.;Lehmann, J.;Cyganiak, R.;Ives, Z. (2007)。“DBpedia:开放数据网络的核心”。语义Web。计算机科学讲义4825。第722页。doi:10.1007/978-3-540-76298-0_52。ISBN 978-3-540-76297-3。
2 “开放数据手册”,访问日期:2016年4月10日,http://opendatahandbook.org/guide/en/。
3 “开放数据简史”,访问日期:2016年3月24日,http://www.paristechreview.com/2013/03/29/brief-history-open-data/。
4 “开放数据简史 - FCW”,访问日期:2016年3月24日,https://fcw.com/articles/2014/06/09/exec-tech-brief-history-of-open-data.aspx。
5 交通合作研究计划 (TCRP) - 综述 115。(2015)。开放数据:公交机构面临的挑战和机遇。华盛顿特区:交通研究委员会 (TRB)。
6 “透明度和开放政府 | 白宫”,访问日期:2016年3月24日,https://www.whitehouse.gov/the_press_office/TransparencyandOpenGovernment。
7 “Data.gov”,Data.gov,访问日期:2016年4月6日,https://www.data.gov/。
8 “总统备忘录 - 建立21世纪数字政府”,Whitehouse.gov,2012年5月23日,https://www.whitehouse.gov/the-press-office/2012/05/23/presidential-memorandum-building-21st-century-digital-government。
9 “行政命令 - 使开放和机器可读成为政府信息的新默认值 | Whitehouse.gov”,访问日期:2016年3月24日,https://www.whitehouse.gov/the-press-office/2013/05/09/executive-order-making-open-and-machine-readable-new-default-government-。
10 “Data.gov.au”,访问日期:2016年4月15日,https://www.data.gov.au/。
11 “Open.canada.ca”,访问日期:2016年4月19日,http://open.canada.ca/en。
12 “Accueil - Data.gouv.fr”,访问日期:2016年4月19日,https://www.data.gouv.fr/fr/。
13 “GovData | 德国数据门户 - GovData”,访问日期:2016年4月19日,https://www.govdata.de/。
14 “Data.go.jp”,访问日期:2016年4月15日,http://www.data.go.jp/。
15 “Data.go.kr”,访问日期:2016年4月19日,https://www.data.go.kr/e_main.jsp#/L21haW4=。
16 “Data.gov.sg”,Data.gov.sg,访问日期:2016年4月15日,https://data.gov.sg/。
17 “Data.gov.uk”,访问日期:2016年4月15日,https://data.gov.uk/。
18 “首页 - 数据门户”,访问日期:2016年4月19日,http://dataportals.org/。
19 “让开放数据成为现实:公众咨询”(英国政府,2011年8月),https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/78884/Open-Data-Consultation.pdf。
20 美国公共交通协会 (APTA)。(2015年8月)。公共交通拥抱开放数据。政策发展与研究。
21 交通合作研究计划 (TCRP) - 综述 115。(2015)。开放数据:公交机构面临的挑战和机遇。华盛顿特区:交通研究委员会 (TRB)。
22 TransitScreen。
23 “符合的许可证 - 开放定义 - 定义开放数据、开放内容和开放知识中的开放”,访问日期:2016年4月17日,http://opendefinition.org/licenses/。
24 Kaufman, S. M. (2012)。开放数据入门:交通机构指南。纽约市:纽约大学。
25 可持续社区研究所。“TriMet:开放数据领域的先驱”。快照:俄勒冈州波特兰。访问日期:http://sustainablecommunitiesleadershipacademy.org/resource_files/documents/TriMet-Portland-OR.pdf
26 “TfL数字战略2010-2013”(伦敦交通局,2010年10月)。
27 伦敦交通局 | 每一次旅程都很重要,“开放数据用户”,伦敦交通局,访问日期:2016年4月19日,https://www.tfl.gov.uk/info-for/open-data-users/。
28 “开放数据白皮书:释放潜力”(英国政府,2012年6月)。
29 “公共部门信息市场评估”(英国政府商业、创新与技能部,2013年5月)。
30 纽约市市长数据分析办公室 (MODA)。访问地址:http://www1.nyc.gov/site/analytics/index.page。