局域网设计/存储区域网络简介
公司通常需要存储大量数据
- 大型机（历史）：数据访问集中在物理存储数据的同一台机器上；
- 客户端-服务器模型：多个客户端要求服务器机器检索存储在硬盘上的数据；
- 对等模型：数据分布在所有相互连接的机器之间，每台机器都可以要求其他任何机器获取一些数据。
- 比较
- 成本：对等网络中的每台机器不需要高计算能力和高存储容量，而服务器则需要同时管理来自多个客户端的请求，因此服务器非常昂贵；
- 可扩展性：在对等模型中，数据可以分布在无限数量的机器上，而服务器的计算能力和存储容量是有限的；
- 健壮性：服务器具有很高的可靠性，但故障更难解决；对等网络中的机器更容易出现故障，因为它们是低端且不太可靠的机器，但管理对等网络的软件意识到这种弱点，被设计为保持数据完整性，例如通过执行自动备份。
- 数据中心
数据中心是一个集中式位置，所有服务器都集中在那里，可以避免在公司的控制下有太多服务器分散在各个组织。
- 数据访问：数据可能可用，但需要它们的人可能属于另一个组织，或者可能没有所需的权限；
- 完整性：如果服务器分散在公司各地，很难备份所有服务器；
- 安全性：很容易从无保护的服务器上窃取硬盘。
在一个DAS 系统中，每个服务器都拥有对自身硬盘集的独占访问权限
- 内部磁盘：对于服务器来说不是一个合适的解决方案，因为在出现故障的情况下，必须从机器内部物理提取硬盘；
- 外部磁盘：磁盘通过 SCSI 连接到服务器；多个磁盘集可以像总线架构一样级联连接。
磁盘可以放在一个名为JBOD 的专用机柜中：SCSI 控制器能够导出与物理磁盘不同的虚拟驱动器结构，通过聚合或拆分磁盘容量并提供高级服务（例如 RAID）。
TheSCSI 标准定义了一个完整的协议栈
- 物理接口（例如电缆和连接器）：它们允许将硬盘物理连接到服务器；
- 协议：它们允许通过直接根据逻辑块寻址 (LBA) 方案寻址磁盘块来执行读写事务；
- 命令导出到应用程序：它们允许通过发出诸如 READ、WRITE、FORMAT 等命令来执行读写操作。
- 优点
- 低延迟：通过磁盘的延迟在毫秒级，通过缓存的延迟在微秒级；
- 高可靠性：错误概率非常低，数据完整性始终得到保证；
- 广泛的兼容性：它得到操作系统的广泛支持，除了磁盘之外，还被许多外部设备使用。
- 缺点
- 缓慢的错误恢复：由于错误很少发生，错误恢复机制从性能角度来看效率不高；
- 集中式访问磁盘：只有服务器可以访问磁盘，因此如果服务器出现故障，就无法再访问磁盘；
- 可扩展性限制：在级联中最多可以连接 16 个设备，最大长度为 25 米。
NAS 和 SAN 允许通过网络将磁盘与服务器分离，从而使这些实体连接起来，因此多个服务器可以访问磁盘。
一个NAS 导出文件系统，在网络（通常是 LAN）上提供逻辑文件，而不是磁盘块。
文件系统与网络客户端共享：连接到网络的服务器和客户端都可以访问文件。
用于导出文件系统的典型协议是
- NFS：在 UNIX 系统上很流行；
- CIFS：Windows 系统使用；
在 TCP/IP 网络上工作
| NFS/CIFS |
| TCP |
| IP |
| 以太网 |
- 优点
- 除了文件系统之外，还可以导出用户权限和访问保护（例如用户名和密码）；
- 与网络客户端的兼容性：NAS 系统对现有基础设施的影响最小：所有操作系统都能够安装共享磁盘，而无需额外的驱动程序。
- 缺点
- 与应用程序的兼容性：原始磁盘对客户端不可见：磁盘无法在块级别进行格式化或管理，因此一些需要直接访问磁盘块的应用程序无法在远程磁盘上工作：操作系统、数据库管理系统、交换文件/分区；
- NAS 设备需要足够的计算能力来进行用户权限管理以及从文件相关的请求到块相关的请求的重新映射；
- 协议栈不是为 NAS 而开发的：TCP 错误恢复机制可能会引入不可忽略的性能开销。
一个SAN 导出物理磁盘，而不是逻辑卷，并允许根据 LBA 方案寻址磁盘块，就像磁盘直接通过 SCSI（DAS 系统）连接到服务器一样。
客户端可以通过服务器访问数据，它们通过广域网或局域网连接到服务器。通常，数据中心遵循三层模型
- Web 服务器：它是面向客户端的前端；
- 应用程序/数据库服务器：它可以安装一个共享磁盘文件系统，该文件系统将客户端发出的与文件相关的请求转换为与块相关的请求，然后通过 SAN 发送到远程磁盘；
- 硬盘：它们通常放在 JBOD 中。
SAN 不能完全依赖于传统的 TCP/IP，因为 TCP 错误恢复机制可能会引入不可忽略的性能开销，因此已经开发了一些用于 SAN 的协议，旨在尽可能保持 SCSI 的高速、低延迟和高可靠性。
|
|
|
|
所有 SAN 协议在其协议栈的上层都采用 SCSI，并在其下方工作→这保证了与所有现有的基于 SCSI 的应用程序的兼容性，并且在从 DAS 迁移到 SAN 时影响最小。
光纤通道标准诞生于对服务器和存储磁盘之间光纤连接的可靠支持的需求，被认为可以替代 SCSI 的物理层。光纤通道支持高传输速率：1 Gbps、2 Gbps、4 Gbps、8 Gbps、16 Gbps。
该标准考虑了 SAN 的三种可能的拓扑结构
- 点对点：服务器和 JBOD 之间的直接连接，如 SCSI 中的连接；
- 仲裁环：出于可靠性目的的环形拓扑；
- 交换式结构：多个服务器通过结构（即桥接器的网状网络）连接到多个 JBOD。
交换式结构拓扑结构在存储领域是新的：SCSI 仅允许像总线架构一样级联连接。
路由由结构最短路径优先 (FSPF) 协议执行，与 IP 网络中的 OSPF 协议非常相似。拓扑结构中的环路不考虑任何生成树协议。
光纤通道节点（服务器或 JBOD）的每个端口都动态分配一个 24 位地址
| 8 | 16 | 24 |
| 域 ID | 区域 ID | 端口 ID |
其中字段为
- 域 ID 字段（8 位）：标识节点连接到的桥接器；
- 区域 ID 字段（8 位）：标识节点连接到的桥接器端口所属的端口组；
- 端口 ID 字段（8 位）：标识节点端口。
每个服务器都通过一个名为主机总线适配器 (HBA) 的接口连接到结构。
光纤通道通过引入基于信贷机制的逐跳流量控制来增强 SCSI 错误恢复机制：每个端口都有一个信贷额度，每转发一个数据包信贷额度就会减少，每收到一个确认消息就会增加→如果可用信贷额度降至 0，则该端口将无法发送其他数据包，必须等待下一跳通过确认消息进行通信，确认消息表明它已准备好将其他数据接收进其缓冲区→此机制避免了节点缓冲区拥塞，从而避免了数据包丢失。
此外，信贷机制允许资源预留并保证帧按顺序交付：目标节点不必实现数据包重新排序机制（如 TCP 中的机制）。
- 问题
- 由于信贷不足，链接上的流量可能会被阻止一段时间→必须根据链接另一端端口的缓冲区容量适当设置端口的最大信贷数；
- 网状网络中可能出现循环依赖关系的死锁。
- 虚拟 SAN (VSAN)：SAN 的 VLAN 等效项；
- 链路聚合;
- 负载均衡;
- 虚拟化：SCSI 控制器的虚拟化功能可以直接移动到 JBOD 连接到的桥接器。
 |
此页面部分内容基于 维基百科：免费百科全书. |
以太网上的光纤通道 (FCoE) 技术允许通过 FCoE 适配层将光纤通道帧封装到以太网帧中，FCoE 适配层替换了光纤通道的物理层→这允许使用 10 千兆以太网（或更高速度）网络，同时保留光纤通道协议。
在 FCoE 之前，数据中心使用以太网进行 TCP/IP 网络，使用光纤通道进行 SAN。使用 FCoE，光纤通道成为在以太网上运行的另一种网络协议，与传统的 IP 流量并存：与 iSCSI 在 TCP 和 IP 之上运行相反，FCoE 在网络协议栈中直接位于以太网之上
- 优势：服务器不再需要具有特定于光纤通道的 HBA 接口，而是单个 NIC 接口可以提供到 SAN 和 Internet 的连接→更少的电缆和桥接器，更低的功耗；
- 劣势：FCoE 在 IP 层不可路由，即它不能在 SAN 之外的 Internet 网络上运行。
由于与光纤通道不同，经典以太网不包含任何流量控制机制，因此 FCoE 需要对以太网标准进行一些增强，以支持基于优先级的流量控制机制，以减少由于拥塞而导致的帧丢失。
基本思想是采用IEEE 802.3x 标准中的 PAUSE 数据包，用于以太网上的流量控制，但是两个桥接器之间的以太网通道在逻辑上被划分为通道（例如，一个专用于存储流量，另一个专用于正常的互联网流量）→PAUSE 数据包，而不是阻止整个链接上的流量，而是只阻止特定通道的流量，而不会影响其他通道的流量。
通常，对于具有 FCoE 技术的服务器，首选机架顶端 (TOR) 交换机，而不是与光纤通道一起使用的机架末端 (EOR) 交换机，因为具有 FCoE 技术的交换机相对于具有光纤通道技术的交换机而言成本更低
- 机架末端交换机：有一个主交换机，每个服务器都通过自己的电缆连接到它→更长的电缆；
- 机架顶端交换机：每个机架的顶部都有一个交换机，每个服务器都连接到其机架交换机，然后所有机架交换机都连接到主交换机→更多交换机，但电缆更短。
TheiSCSI 协议由思科提出，旨在对抗光纤通道的霸权，允许通过使用最常见的网络技术（即 TCP/IP）来建立 SAN：SCSI 命令通过 iSCSI 适配层封装到 TCP 数据包中，并通过以太网网络跨越 SAN。
- 优点
- 服务器不再需要具有特定于光纤通道的 HBA 接口，而是单个 NIC 接口可以提供到 SAN 和 Internet 的连接→更少的电缆和桥接器，更低的功耗；
- 客户端也可以通过 Internet 访问磁盘；
- 无需专门为 SAN 连接铺设光纤。
- 缺点
- SAN 中的桥接器缓冲区需要调整大小，以最大程度地减少由于缓冲区溢出而导致的数据包丢失，从而最大程度地减少由于 TCP 错误恢复机制而导致的性能开销；
- 存储领域对以太网技术并不熟悉，过去一直使用光纤通道工具→iSCSI 协议并没有取得很大成功。
数据中心容易受到自然灾害（如地震、海啸等）导致的数据丢失风险的影响→为了提高弹性（业务连续性），数据中心可以在另一个位置完全复制，通常相距数百公里。主数据中心和备份数据中心可以使用光纤通道相互通信，但由于距离较远，通过简单的光纤连接它们成本过高。
IP 上的光纤通道 (FCIP) 技术允许地理分布式 SAN 通过使用现有的 TCP/IP 基础设施（即 Internet）相互连接，而不会让数据中心中的内部设备感知到 IP 网络的存在
- 主数据中心发送一个光纤通道帧；
- 边缘路由器通过 FCIP 适配层（替换了光纤通道的物理层）将光纤通道帧封装到 TCP 数据包中，然后通过 Internet 网络将 TCP 数据包转发到另一个边缘路由器，形成一个隧道；
- 另一个边缘路由器提取光纤通道帧并将其发送到备份数据中心；
- 备份数据中心接收光纤通道帧。
但是，光纤通道帧的最小尺寸超过了以太网有效载荷尺寸限制，碎片化带来的开销过高→以太网帧必须扩展到大约 2.2 KB，才能封装最小尺寸的光纤通道帧。