存储区域网(SAN-Storage Area Network)

一. 存储区域网络（SAN）

存储区域网络SAN是一个用在应用服务器和存储资源之间的专用的高性能的网络体系，在多台主机和多个存储设备之间提供任意两个结点之间的通信通道。该类网络针对大量存储数据的传输进行了专门的优化，使用的典型协议是SCSI-FCP(SmallComputerSystemInterface-FiberChannelProtocol，小型计算机系统接口——光纤通道协议)，因此可以把SAN看成是对SCSI协议在长距离应用上的扩展。

光纤通道特别适合于存储网络，原因在于一方面它可以传输大块数据(这点类似于SCSI)，另一方面它能够实现远距离传输(这点又与SCSI不同)。

普通的计算机局域网也能用来连接主机和存储设备，就是NAS。存储区域网是独立于计算机局域网的专用于存储服务的网络，它有不同的协议栈和不同的物理设备。现在大多数的存储区域网都是建立在光纤通道网络之上。

光纤通道存储区域网是与计算机局域网完全分开的一个网络。存储区域网连接时用服务器和存储数据的存储设备，应用服务器和存储设备之间通过这个存储网络来交换数据。存储区域网通信系统本身是由光纤或铜缆介质、光纤通道集线器、光纤通道交换机等网络设各组成。

存储区域网采用单独的网络，它不与计算机局域网共用通信通道。这种专用的网络使得存储网络具有更好的灵活性、可靠性和可扩展性。

存储区域网可以动态地连接任意服务器和存储设备，因此，当服务器需要与不同的存储设备通信时，存储区域网可以为它建立新的连接路径，而不需要重新连接线缆。

存储区域网在任意两个结点之间通常都有多条通路可供选择。如果一条线路中断：存储网络可以换用另一条线路，从而避免了一个设备出故障导致整个系统都不能正常运行的情况，提高了系统的可靠性。

当需要增加存储设备时，只需把新的存储设备连接到存储区域网就可以了。所有连接到存储区域网的主机都可以使用新增的存储设备，而不必改变已有的应用服务和其他存储设备的设置。

存储区域网的上述特点使它特别适合有大量数据交换、对可靠性要求很高的存储系统。例如银行的数据中心每天都有大量新的金融交易数据需要存储，而且所有的交易数据必须百分之百正确，还必须保证数据随时都可以被存取。因此存储区域网络最适合于这类信息系统的需求。

1.1 SAN 与DAS和NAS的比较

在传统的直接附接存储(DAS)模式中，SCSI最多允许连接15个设备。这些设各串行地连接在SCSI总线上，设备越多，性能就越低。一台主机上的存储设备往往不能与其他主机共享。如果一台主机的存储设备已用完，即使其他主机有空闲存储空间，它也难以使用，必须增加新的存储设备。

网络附接存储（NAS）在一定程度上解决了直接附接存储存在的问题，很多人把NAS也当作存储区域网系统，但实际上NAS并不是存储区域网。它们之间有一些相同的地方，例如在存储设备和操作数据的主机之间都是通过网络连接的，都有较好的可扩展性，但NAS和SAN之间还是有很大差别的。

1.1.1 NAS和SAN的本质区别

NAS和SAN之间一个本质的区别在于：对用户而言，NAS提供的是文件级服务，而SAN提供的是块存储服务。

NAS在存储服务设施中实现文件系统。存储设备一般是通过SCSI并行电缆直接连接到NAS文件服务器，NAS文件服务器负责管理这些存储设备，给应用服务器提供一个或几个文件系统。应用程序对文件系统进行文件级操作，例如打开、读、写、关闭一个文件。NAS文件服务器把对文件的操作映射成对磁盘块的操作，但应用程序不知道文件位于哪个磁盘块。应用服务器和NAS文件服务器之间的数据交换可以通过传统的计算机网络，例如以太网进行。

在SAN中，文件系统位于应用服务器上。应用程序可以对文件进行操作，也可以直接操作存储块。对文件进行操作时，应用服务器把对文件的操作映射成对磁盘块的操作，再把对磁盘块的操作通过SAN执行，最终是附接到SAN的存储设备完成对存储块的操作。因此，对于存储网络的用户而言，NAS提供的是面向文件的存储服务，而SAN提供的是面向存储块的存储服务。

NAS存储设备中的数据通常是通过常规的局域网传输，和其他类型的计算机通信共享网络带宽。大量存储数据的传输将占用较大比例的局域网带宽，特别是在执行数据备份时，上千兆的数据传输会长时间地占用局域网，这会严重影响其他应用程序对局域网的使用。另一方面，如果局域网上有许多应用程序在使用局域网通信，也会使存储数据的传输得不到足够的带宽保证。SAN专用于存储服务的属性可以有效地避免这样的问题。

SAN通常使用适合存储数据传输的光纤通道协议。首先，光纤通道协议的效率比NAS所用的局域网中的TCP/IP协议高。TCP/IP协议中每个协议数据单元的头比光纤通道协议数据帧的头大两倍。其次，光纤通道协议中数据帧的最大长度也比以太网大。因此，鉴于存储网络中经常传大量数据的特点，光纤通道协议更适合在存储网络中使用。

1.1.2 NAS优点

NAS也有自己的优点。首先，NAS文件服务器的管理简单，基本上是即插即用，买来以后连接到局域网上就可以使用了。用户通常使用NFS(NetworkFileSystem，网络文件系统)软件把磁盘存储设备映射成一个UNIX文件目录，或者使用CIFS软件把磁盘存储设备映射成Windows中的一个虚拟盘；其次，NAS可以利用现有的局域网进行文件传送，而SAN需要购买光纤通道网络设备和主机适配卡，因此，NAS的成本一般低于有同样存储容童的SAN。

总之，NAS和SAN各有所长，它们都有各自适合的应用场所，在实际的存储系统中，经常可以看到NAS和SAN同时存在的情况。事实上，存储网络的演进就是基于DAS、NAS和SAN中最佳要素的融合，从而满足现代信息产业对存储提出的越来越高的要求。

1.2 采用光纤通道网络的原因

光纤通道是一个已经标准化了的开放网络，它结合了I/0总线的通道传输特征和传统网络灵活的连接性和远距离特征。

由于光纤通道具有通道特征，主机和应用程序可以把连接到它的存储设备看作好像是在本地附接的。又由于具有传统网络的特征，光纤通道能够支持多种协议和广大范围的设备，它可以被作为一个网络来管理。光纤通道可以使用光纤介质(用于远距离)，也可以使用铜线介质(用于短距离和低成本)。

光纤通道是一种基于标准的多层次的网络结构。它的标准定义了通过网络移动数据的特征和功能。它们包括诸如线缆、距离和信号这样的物理接口，数据编码和链路控制，采用帧格式的数据投递、流控制和服务类别、公共服务和应用协议接口。

与其他网络一样，信息以结构化的分组或帜的形式传送，并且在传输之前被串行化。但是，又和其他网络不同，光纤通道体系结构包括显著数量的硬件处理，从而可投递高性能。由于串行传输简化了线缆和接插件的设计，光纤通道可以支持更长的距离；通过使用多种互连设备，可以把园区SAN扩展成企业范围的SAN。

光纤通道无论采用什么样的拓扑，信息都是在两个结点即发起方和目标方之间传送。结点可以是应用服务器(个人计算机，工作站或主计算机)，也可以是外部设备(磁盘，磁带等)。信息帧在结点之间传输，帧的结构由协议定义。原则上，源和日的结点必须使用同样的协议，但是每个结点可以支持多个不同的协议或数据类型。

光纤通道在其潜在的应用方面是非常灵活的。光纤通道的传输层是协议无关的，它可以传输多种协议。使用基于信用量的流控制，光纤通道以接收方可以接受的速度传送数据。低的传输开销使得无数据丢失的高通道利用率成为可能。

光纤通道结合了传统I/0通道和计算机网络的最好特征，其中包括：

(1)通过使用简单的传输协议和广泛的硬件辅助取得大量数据传送的高性能；

(2)串行数据传输；

(3)低误码率的物理接口；

(4)借助保证或确认数据无错投递的能力取得可靠的数据传输；

(5)以分组(在光纤通道中称作帧)的形式封装数据；

(6)在帧中可以传输的信息类型的灵活性(例如数据，视频和音频)；

(7)使用现有的面向命令集的设备，例如SCSI和FCP；

(8)跟I/0接口相比可以寻址的设备数目的巨大扩展。

正是由于其高度的灵活性、可提供性和可扩展性、长距离上高速度的多协议结合，以及IT工业界对光纤通道标准的广泛接受情况，使得光纤通道体系结构成了建立企业SAN的理想选择。

1.3 光纤通道SAN的组成结构

除了光纤通道使用的传输介质即光缆和铜缆外，光纤通道SAN的组成结构包括应用服务器连接卡、存储网络连接设备、存储设备和存储软件。

1.3.1 服务器连接卡（HBA）

位于应用服务器上与存储网络连接的设备一般称作主机总线适配卡(HBA：HostBusAdapter)。HBA是服务器内部I/O通道与存储系统I/O通道之间的物理连接。最常用的服务器内部I/0通道是PCI和Sun公司的SBus，它们是连接服务器CPU和外围设备的通信协议。常用的存储系统I/0通道是SCSI。在使用光纤通道SAN的情况下，存储系统I/0通道实际上就是光纤通道，而HBA的作用就是实现内部通道协议PCI或Sbus等和光纤通道协议之间的转换。在使用并行SCSI总线的DAS系统中，HBA就是SCSI控制器；而连接光纤通道的HBA也被称作光纤通道卡。

HBA通常在其内部有一个自己的CPU，有一些用作数据缓存的内存，还有连接光纤通道和总线的连接器件。一般由卡上的CPU执行两种协议的转换。

HBA还有一些其他的功能，如初始化与光纤通道网络连接的服务器端口，支持SCSI等上层协议。8b/l0b编码解码往往也由HBA实现，HBA覆盖光纤通道从FCO到FC4所有层次。

1.3.2 存储网络连接设备

存储网络设备是连接应用服务器和存储设备的网络设备，包括光纤通道集线器、交换机、桥接器和路由器。

（1）光纤通道集线器

仲裁环是SAN中一种比较简单的方式，它最多可以连接126个存储设备和应用服务器。但是这种连接方式在增加和除去其中的一个设备时必须让环上所有的设备都停止工作一段时间。另外,如果一个设各有了故障，整个环都不能正常工作。

使用光纤通道集线器可以解决上述问题。它类似于局域网集线器，所有的设备连接到作为中心的集线器端口上，在集线器内部把它们连接成环，物理拓扑结构看越来是星形，但工作时按照环网的方式运行，所以也被称作星环结构。

光纤通道集线器把各个设备连接成仲裁环，在同一时刻只能有两个设备使用环地信，相当于所有设备共享一个光纤通道的带宽。

（2）交换机

光纤通道交换机则不同，当一个设备需要和另一个设备通信时，交换机就在它们之间建立一个通道。如果同时还有另外两个设备需要通信，交换机就为它们再建立一个通道。因此交换机能让任意两个设备都拥有一个光纤通道的带宽。向仲裁环中添加新设备会进一步分割共享的带宽，而在交换机尚未使用的端口上连接新设备却会增加总的带宽。例如，一个拥有4个发起方设备和4个目标方设备的8端口交换网，在2Gbps速率的规格中能够支持4个并行的200MBps的会话，或者说总数为800MBps的吞吐率。

在地址方面，交换网与仲裁环也有差别。交换网并不受限于由传输字的连续不均衡性决定的地址(AL-PA)空间。连接交换网的结点使用24位的端口地址，从理论上讲，有超过1600万个可能的地址。光纤通道交换机产品所提供的端口数量，为从部门级交换机的8端口到更大的企业级交换机的128个或更多个端口。

SCSI到光纤通道桥接器可以把传统的SCSI设备连接到光纤通道存储网络，并在两种协议之间做转换工作。存储网络有两种端口，一种是SCSI端口，用于连接SCSI设备；另一种是光纤通道端口，用于连接光纤通道设备。它通常提供一个或两个光纤通道接口，以连接到光纤通道SAN，同时也为SCSI磁盘阵列或磁带备份子系统提供2-4个SCSI端口。这样，连接在光纤通道SAN上的所有应用服务器都可以使用传统的SCSI磁盘阵列或磁带备份子系统，共享原来属于个别服务器专有的存储资源。

（3）桥接器

光纤通道广域网桥接器可以把两个光纤通道SAN通过诸如ATM这样的广域网互连。在互连的两个场点各配置一个桥接器，该桥接器一端(B端口)连接本地光纤通道SAN交换机的E端口，另一端连接ATM交换机端口。B端口提供E端口功能的一个子集，可以在两个场点的光纤通道交换机的E端口之间透明地传输F类SAN帧。在本例中，光纤通道广域网桥接器使用ATM虚电路传送SAN帧，从而形成跨越远程的ATM网络的单个光纤通道交换网。

（4）FCIP路由器

FCIP路由器是一个IP隧道(FiberChannelOverIP，在IP上的光纤通道)解决方案。该设各一端(E端口)连接光纤通道交换机，另一端通过以太网链路连接IP路由器。目的地在远程的光纤通道SAN帧被封装在IP分组中，然后通过IP网络发送。在目的场点的隧道出口处，原始的SAN帧被从IP分组中抽出，再由那里的光纤通道交换机继续转发到目的结点。

FCIP是一个点到点的广域网连接，每条远程链路都需要一对FCIP路由器，并且在每个场点除了端结点外还需要有一台光纤网交换机。

从光纤网SAN的角度看，FCIP在本质上也是一种远程桥接器，但由于它连接光纤网SAN和IP网络，而且还把SAN帧作为载荷封装在IP分组内传送到IP网络，所以从TCP/IP的协议层次看，人们通常把它也称作路由器。

1.3.3 存储设备

存储设备主要包括磁盘系统和磁带系统。

简单地讲，磁盘系统是把若干个物理存储盘组合在一起的设备，所有这些盘都被放在单个机箱里，通常有一个中心的控制单元，负责管理所有的I/0，并简化与诸如使用服务器或其他磁盘系统的网络集成。取决于这个中心控制单元具体管理磁盘的智能程度，磁盘系统可以是一个JBOD，也可以是一个RAID。

与磁盘系统类似，磁带系统也包括管理使用磁带所需要的所有设备，然而磁带的串行特征使得它们不可能像RAID那样做并行处理，因此其结构比较简单。

有3种类型的磁带系统：磁带驱动器、磁带自动装载机和磁带库。

（1）磁带驱动器提供读写磁带的物理和逻辑结构，并提供磁带与其他设备连接的途径。

（2）磁带自动装载机是自治的磁带驱动器，能够管理磁带并执行自动备份操作。它们通常连接到需要不间断的进行数据备份的高吞吐率的设备。

（3）磁带库能够同时管理多个磁带，可以把它看成一组独立的磁带驱动器或自动装载机。

它们通常是在需要非常大的存储容量的系统时使用，或者在需要某种程度的数据分离而导致需要多个单独磁带的系统中采用。由于磁带不是随机存取的媒体，因此磁带库不可能通过提供对多个磁带的并行访问来提高性能，但它们可以提供冗余，作为改善数据可提供性和容错能力的一个途径。

由于磁盘系统的优秀的性能，因而通常被用于在线存储，同时由于其极低的每字节成本而成为离线大吞吐率存储的理想选择。

1.3.4 存储软件

存储软件用于控制存储网络系统中的各种设备及相互间的通信，还提供存储系统与应用程序之间的编程界面以及存储系统与操作人员之间的人机界面。它们包括SAN管理软件、数据管理、设备控制和管理、存储可视化以及协议软件等。

SAN管理软件通常是由SAN设备商提供的专门用于管理他们的SAN设备的软件。数据管理软件是指与一些存储设备(例如磁带)捆绑的软件，它们具有数据备份、恢复、存档等功能。存储设备控制和管理软件是用于控制和管理各种存储设备的软件。而可视化软件使存储系统的控制和管理可视化，从而使管理工作更容易。协议是指存储设备之间交换数据所遵循的协议，是存储系统正常工作的基石。协议处于存储软件的底层，因而往往不会单独出现。协议一般通过在操作系统上运行的软件或存储硬件的驱动程序实现。光纤通道协议是最常见的协议例子。

当前存储软件发展的热点是存储虚拟化和可视化。存储虚拟化是指把各种复杂的存储硬件以及它们的复杂操作隐蔽起来，提供一个虚拟的统一界面，从而使运行不同操作系统和不同文件系统的服务器都能用同样的界面操作存储系统。而存储可视化则把大量的存储设备使用情况、数据量等信息可视化，为管理人员提供实时的可视化信息，从而使管理更加有效。

二. 仲裁环SAN

仲裁环可以通过把一个设备的发送端连接到另一个设备的接收端直至最终所有的设备都被连到一个环中来实现。这种结构不需要使用集线器，但系统的稳定性不高。如果环中任何一条连接出了问题，那么整个环都会瘫痪。向环中添加或删除一个结点需要中断环的工作才能完成。

环集线器通过在中心位置集中所有物理连线简化了线缆的敷设工作，同时通过为每个端口提供旁路机制，把环工作中断的可能性降到最低。加入环的每个结点都必须物理地连接到集线器，这样整个系统呈现出来的是一种星形的结构，同时也保持了经过所有设备的闭合通路。端口旁路机制能够自动绕过任何一个失去转发光纤通道信号能力的端口，从而可防止因某根线缆的损坏或某个结点的失效而引起整个环瘫痪的情况发生。

对仲裁环的访问权受两个因素的影响：NL设备AL_PA的优先级和该设备在赢得仲裁后被赋给的访问变量。按照公平性策略，一个NL端口在赢得仲裁后，就会自动地把自己的访问位置或0，随后它在没有其他设备竞争的情况下，才能再把访问位置成重新参与竞争。这样就能保证即使是优先级最低的设备也有机会赢得对环的访问权，这样可避免任何一个端口“饿死”的现象发生。

但是公平性并非适用于所有的端口。假如FL端口也参与公平竞争，那么许多要通过环传送的帧就会在队列里等待，交换机就很容易变为拥挤状态。所以在实践中，FL端口对于仲裁环的访问都是不公平竞争，并且拥有最高的优先级，所以只要它需要访问环，任何时候都能赢得仲裁。

仲裁环网络给AL-PA分配优先级，地址值越小，优先级越高。一个FL端口的地址默认值是00h，表明它拥有最高的优先级，比任何一个NL端口的优先级都高。另外，在分配地址时，总是让应用服务器取得数值较低、优先级较高的地址，而让存储设备取得数值较高、优先级较低的地址。

当环上的一个设备，我们不妨把它称作A，需要访问环时，它就发送一个仲裁原语ARB(x)，它的格式是“K28.5D20.4AL_PAAL_PA”，但通常都表示成ARB(x)，它的最后两个字节中的每一个都含有参与竞争的设备的AL-PA。在整个环处于空闲状态的情况下，环上传送的填充字是IDLE(空闲)原语，此时A传输它的ARB(x)显然不会有什么问题，它把经过的IDLE替换成它的ARB(x)。实际上，即使当前有另一个结点拥有对环的访问权并且正在使用环时，A也能够发送该仲裁原语。当有帧穿过环时，它可以利用帧间的空闲时间传输。结点A把每个作为帧间填充的IDLE(空闲)原语用自己的ARB(x)代替。正在使用环的设备，不妨把它称作B，把发送的填充字变成ARB(FO)，并把经过它的ARB(x)都用ARB(FO)代替。该原语中的FO表示具有最低的优先级。如果同一时刻有两个或更多个设备申请仲裁，那么它们都可以把经过的ARB(FO)用自己的ARB(x)代替。结点A在收到上游设备传来的ARB(x)时，如果发送该ARB(x)的端口地址的优先级比自己的高，A就让这个ARB(x)继续往下传；反之，A就用自己的ARB(x)取代收到的ARB(x)。如果A能够收到自己发出去的ARB(x)，那么A就赢得了仲裁，取得对环的访问权。显然，仅在当前环的拥有者B停止把经过它的ARB(x)替换成ARB(FO)，并且A在环上所有请求仲裁的结点中具有最高的AL_PA优先级-的情况下，A才能够收到自己的ARB(x)，从而赢得仲裁。

系统的公平性是通过对原语ARB(FO)的监控实现的。在当前环的拥有者B收到ARB(x)时，它就知道还有活动的设备在申请仲裁，于是B放弃接收到的ARB(x)，总是用ARB(FO)代替。当B结束此次对环的使用时，它就停止把经过它的ARB(x)替换成ARB(FO)，而让经过它的ARB(x)继续沿着环传输。此时，如果在请求仲裁的所有结点中，A具有最高优先级的AL-PA，那么A很快就赢得了仲裁，把自己的访问变量置成0，开始使用环与另一个结点通信，并执行与先前的B类似的ARB(FO)替代过程。此时B的访问变量仍然是0，不可以请求仲裁。

这样，只要还有活动的结点在请求仲裁，环上就一直会有ARB(FO)在传输。所有在此之前在使用过环后把自己的访问变量置成0的结点都不能参与对访问权的竞争。环上各个优先级较低的设备，如果需要，都可以请求并得到对环的使用权。如果当前环的拥有者收到了自己发送的ARB(FO)，就表明不再有其他低优先级结点请求对环的访问，这个采用公平性策略的仲裁过程结束。在当前环的拥有者完成通信任务并让控制权时，它除了把自己的访问变量置成0外，不再发送ARB(FO)，而是发送DLE原语。接着，环上所有从前的环拥有者在接收到 DLE原语时都把访问变量置成1，从而可以再次参与对环访问权的竞争。

光纤通道SAN可以利用公平性让各种设备都能有机会得到对环的访问，并且可减少空闲时间，提高环的总体利用率；而不公平性则可以让一些关键的应用服务器比那些普通的服务器有更多的机会去访问存储设备。事实上，并没有要求任何设备都必须运行上述公平性算法的规则。

与传统局域网的令牌环不同，仲裁环是属于非广播的通信方式。当一个设备赢得仲裁并开始与目标方通信后，会在发起方与目标方之间传送一系列的帧。环上处于发送方和接收方之间的设备能够看到帧，并传送给下一个设备。而接收方设备通常是从环上取出帧，把它从环上清除，并向发送方应答一个诸如R-RDY(接收就绪)或CLS(关闭通道)这样的控制帧。此时，位于接收方下游的设备将会协助把这个应答原语传送给发送方，但看不到发送方传给接收方的帧。

在正常的环操作中，仲裁环的非广播特征通过让部分环上的结点无须传送较大数据帧而得以减轻负担，从而提高性能。

在仲裁环中，存储设备或服务器与环连接的端口称作NL端口。环还可以连接到交换机的端口上，从而使环上的设备能和交换机连接的设备通信。交换机与环连接的端口称作FL端口。

FL端口与环连接时，比其他NL端口有更高的优先权，这是因为与交换机连接的所有设备和环上的设备通信时都要经过该端口。不过由于仲裁环共享一个通道带宽的属性，在任一时刻环上只有一个设备可以跟交换网上的结点通信，并且在建立跟环外部结点的会话之前需要先在交换机上登录。

三. 交换网SAN

光纤通道标准定义了三种不同的拓扑：点到点、仲裁环和交换网。点到点的结构只能用于小型存储系统，仲裁环则可以用于少于127个结点的存储区域网。在仲裁环结构中，所有的结点共享一个光纤通道的通信带宽，当结点数目比较多时，性能不高。因此交换网结构的存储区域网逐渐成为主流。现在，怎样选择交换机以及怎样设计交换机之间的连接等是设计存储区域网的关键，同时，对光纤通道交换机的管理也将成为存储区域网管理的重要组成部分。

一般来说，光纤通道交换机由以下几部分组成：

(1)至少两个交换端口；

(2)一个交换组件，用于实现端口之间的帧交换；

(3)一个地址管理器；