光纤磁盘阵列

采用光纤通道技术的磁盘阵列

指采用光纤通道技术磁盘阵列。采用光纤通道技术有两层含义,一层是指其对外--即对主机--使用光纤通道接口连接方式,一层是指其内部采用光纤通道技术来连接其内部的各个磁盘。通常意义来说,光纤磁盘阵列指的是后一种含义。但在最初光纤磁盘阵列上市的时候,内部往往采用SCSI、SSA等存储接口,对外才是光纤通道接口。光纤磁盘阵列逐渐向内外俱是光纤通道接口的方向发展,内部使用IDE、SCSI、SSA等接口技术、外部使用光纤通道技术,或者内部使用光纤通道技术,外部使用SCSI等其他接口技术的磁盘阵列,也可看作光纤磁盘阵列。

技术简介
随着信息技术的发展,磁盘阵列被越来越多地使用到各种应用系统中。开始只是简单地作为某台主机或服务器的附加外置存储设备,主要用于扩展单台主机或服务器的永久存储空间,一般通过SCSI或其他接口与主机直接相连;后来随着存储网络技术,尤其是光纤通道Fibre Channel技术的发展,磁盘阵列通过光纤通道FC接口接入到存储区域网SAN中,为多台主机提供共享的存储空间。目前人们一方面正在致力于开发更多的接口技术(如iSCSI、InfiniBand等)让磁盘阵列接入到成本更低的存储网络(如IP网络)、或性能更高、功能更全的存储网络(如InfiniBand网络)中,一方面致力于通过存储虚拟化技术、全局文件系统技术提高磁盘阵列的利用率。
从硬件构成来说它应当是由一堆磁盘和控制器及内外接口组成。一般的中、低端光纤磁盘阵列也正是这种结构:由一个或多个供大量磁盘放置的磁盘柜、两个阵列控制器、阵列背板、若干电源、风扇等硬件部件组成。
其中最为主要的部件就是阵列控制器和磁盘柜。控制器通过其内置的控制软件,实现整个阵列的管理。一般阵列对主机的接口就在阵列控制器上,一般每控制器至少有一个主机接口,有些控制器提供更多的主机接口;这些主机接口可以直接或通过光纤交换机与主机连接。此外各种管理接口(串口、以太网口等)也在控制器上。
而一般之所以采用两个控制器,主要是从高可用性、提高性能和负载均衡的角度考虑的。很多阵列都可以通过这两个控制器间的切换,防止控制器、连接线缆、网络设备(如光纤通道交换机集线器)、主机HBA的单点故障。某些阵列则可以通过主机或阵列软件实现多通道的数据访问和通道间的负载均衡
可以说阵列控制器是中低端磁盘阵列的核心,相当于PC的主板、内存和CPU;而放置硬盘的磁盘柜是阵列实际存储数据的地方,相当于PC的硬盘。光纤磁盘阵列磁盘柜的主要特点是内部一般至少采用冗余的双FC-AL仲裁环环路结构,内部硬盘实际上同时接在两条仲裁环上。而中端磁盘阵列支持的环路数更多,可以达到4、8、16条之多。这种多冗余仲裁环结构最主要的目的就是为了高可用性,它可以防止单个线路、接口的故障导致整个阵列的失效。而且每个环路采用旁路技术来防止无硬盘接入和硬盘故障对环路通信的影响。
阵列技术
当今世界信息爆炸式的增长,除了给科技与技术的发展带来更大的发展动力外,也给企业的数据存储带来了巨大的挑战。然而,作为企业信息存储系统中的最关键部分??磁盘阵列,很多人未必能说得清楚。 磁盘阵列技术诞生于1987年,由美国加州大学伯克利分校提出。这项技术的核心设计理念是RAID技术。原来的名称是“RedundantArrayofInexpensive Disk”,最初的研制它的目的是为了组合小型的廉价磁盘来代替大的昂贵磁盘,以降低大批量数据存储的费用。同时也希望通过冗余信息的方式,使得单一磁盘失效时不会丢失数据,因此开发出不同级别的RAID数据保护技术,并在此基础上逐渐致力于提升数据访问速度。这个名字后来改为“Redundant Array of Independent Disk”,但仍然称作“RAID”。
经过多年的发展,企业中数据的价值越来越高,而承载这些数据的磁盘阵列也越发受到用户的重视。从市场分布可以看出,存储与服务器所占比例呈逐年上升趋势。用户的强大需求同时也给存储系统供应商创造了巨大的商机。目前市场上不但有老牌厂商提供的各种产品,也有初创公司新推的各种系统。自然,当前市场上的磁盘阵列也是一番花团锦簇的景象。在用户有了众多选择的同时,也有了选择上的困惑。因此,我们就从体系结构的角度,简要分析目前磁盘阵列的差异性,希望可以给用户在选择磁盘阵列时参考。
目前的磁盘接口有IDE、SATA、SCSI、SAS、FC等几种。其中IDE接口磁盘正在被SATA接口硬盘取代,将逐渐退出历史舞台,两者主要多用于桌面;SAS接口磁盘也正在逐渐淘汰SCSI接口,很快将占领企业应用的低端市场;而FC(FibreChannel,光纤)接口硬盘一出生就是专门针对高可靠、高可用、高性能的企业存储应用的,不但接口速度快,而且支持双端口访问,又经过严格的生产工艺控制,可靠性很好。由于这些天生优势,FC接口硬盘在企业用户中尤其是关键数据存储应用中占据着绝对优势,也是高端存储应用的首选磁盘。
基于SATA、SCSI接口的磁盘阵列大家见过很多了,这里就不再赘述,重点说是所光纤接口磁盘阵列。光纤磁盘阵列又可进一步从体系结构细分成三大类:JBOD磁盘阵列、双控制器磁盘阵列和多控制器磁盘阵列。
严格意义上讲,JBOD还不能称之为“阵列”。JBOD是JustBundleofDisk的缩写,意即只是一串磁盘的组合。这样的“磁盘阵列”也被称为傻盘阵列,因为JBOD内部既没有控制器,也没有缓存,磁盘之间也没有提高性能和安全性的任何手段。每个磁盘都独立地接收来自主机的数据访问。如果需要实现RAID级别的保护,主机不但要负担磁盘读写等操作,还要进行RAID算法的处理,对主机资源的占用率较大,严重影响系统整体性能。
因此,在采用光纤磁盘阵列时,一般都采用带智能磁盘控制器的磁盘阵列。磁盘控制器是介于主机和磁盘之间的控制单元,配置有专门为I/O进行过优化的处理器以及一定数量的cache。控制器上的CPU和cache共同实现对来自主机系统I/O请求的操作和对磁盘阵列的RAID管理。相对于JBOD磁盘阵列,控制器磁盘阵列释放了大量主机资源,来自主机的I/O请求由控制器接受并处理,阵列上的cache则作为I/O缓冲池,能够大大提高了磁盘阵列的读写响应速度,显著改善磁盘阵列的性能。又由于光纤磁盘天生拥有双端口,所以,一般的光纤盘阵都采用双控制器,从而充分发挥光纤磁盘的高可用特性。两个控制器不管配置成active-active还是active-standby,都能为用户提供高可用特性,而且大都支持热插拔功能,能够实现简单的无单点故障,为用户提供的7*24不间断业务。
在配置了CPU和cache的磁盘阵列中,其部分高端产品还可以运行基于磁盘阵列的存储软件。因此,它可以提供比较全面的基于磁盘阵列的解决方案。
在当前存储市场上,这一类的磁盘阵列种类繁多,数量巨大,同时也在质量和性能上也存在着巨大的差距,价格跨度也很大。其代表产品有IBMDS系列、HPEVA系列、EMCCLARⅡON系列、HDS Thunder 95系列等等。LSI也在这一档次的磁盘阵列方面颇有建树。尤其值得一提的是,IBM S-4000系列、STK D系列及SGI TP系列都是OEM LSI公司的E系列阵列控制器。
基本架构
开始只是简单地作为某台主机或服务器的附加外置存储设备,主要用于扩展单台主机或服务器的永久存储空间,一般通过SCSI或其他接口与主机直接相连;后来随着存储网络技术,尤其是光纤通道Fibre Channel技术的发展,磁盘阵列通过光纤通道FC接口接入到存储区域网SAN中,为多台主机提供共享的存储空间。
目前人们一方面正在致力于开发更多的接口技术(如iSCSI、InfiniBand等)让磁盘阵列接入到成本更低的存储网络(如IP网络)、或性能更高、功能更全的存储网络(如InfiniBand网络)中,一方面致力于通过存储虚拟化技术、全局文件系统技术提高磁盘阵列的利用率。
本文我们主要想讨论目前使用最为广泛的光纤磁盘阵列。之前我们先来看什么是光纤磁盘阵列,或者说讨论一下光纤磁盘阵列的定义。
名词分解:
磁盘阵列:实际上我们日常所说的磁盘阵列一词的定义并不准确,根据SNIA(存储网络国际协会)的定义解释,磁盘阵列(disk array)就是通过一套控制软件结合在一起的、在一个或多个可访问磁盘子系统上的一系列磁盘;该控制软件将这些磁盘的存储空间以一个或多个虚拟磁盘的形式提供给主机;运行在控制器上的控制软件一般称为固件(firmware)或微码(microcode);运行在主机上的通常称为卷管理器。而磁盘阵列子系统(disk array subsystem)才是我们通常所称的磁盘阵列,即具有可将其磁盘组织起来的控制软件的磁盘子系统。
为了不引起误解,在此我们只是告诉大家要注意区分磁盘阵列disk array和磁盘阵列子系统disk array subsystem的细微区别,在后面的讨论中我们还是使用大伙熟悉的磁盘阵列这个词汇来代替较为晦涩的磁盘阵列子系统一词。
而为什么又称为光纤磁盘阵列呢?这是指这种磁盘阵列采用光纤通道技术。采用光纤通道技术有两层含义,一层是指其对外--即对主机--使用光纤通道接口连接方式,一层是指其内部采用光纤通道技术来连接其内部的各个磁盘。
通常意义来说,光纤磁盘阵列指的是后一种含义。
但在最初光纤磁盘阵列上市的时候,内部往往采用SCSI、SSA等存储接口,对外才是光纤通道接口。现在越来越多的光纤磁盘阵列逐渐向内外俱是光纤通道接口的方向发展,这里我们想讨论的就是这种磁盘阵列。至于内部使用IDE、SCSI、SSA等接口技术、外部使用光纤通道技术,或者内部使用光纤通道技术,外部使用SCSI等其他接口技术的磁盘阵列(尽管这有些违背常识,但这种磁盘阵列的确存在),虽然也是光纤磁盘阵列,但不在我们的讨论范围内。
从光纤磁盘阵列的名词解释我们可以看出,从硬件构成来说它应当是由一堆磁盘和控制器及内外接口组成。一般的中、低端光纤磁盘阵列也正是这种结构:由一个或多个供大量磁盘放置的磁盘柜、两个阵列控制器、阵列背板、若干电源、风扇等硬件部件组成。
其中最为主要的部件就是阵列控制器和磁盘柜
控制器:通过其内置的控制软件,实现整个阵列的管理。
一般阵列对主机的接口就在阵列控制器上,一般每控制器至少有一个主机接口,有些控制器提供更多的主机接口;这些主机接口可以直接或通过光纤交换机与主机连接。此外各种管理接口(串口、以太网口等)也在控制器上。
而一般之所以采用两个控制器,主要是从高可用性、提高性能和负载均衡的角度考虑的。很多阵列都可以通过这两个控制器间的切换,防止控制器、连接线缆、网络设备(如光纤通道交换机和集线器)、主机HBA的单点故障。某些阵列则可以通过主机或阵列软件实现多通道的数据访问和通道间的负载均衡。
可以说阵列控制器是中低端磁盘阵列的核心,相当于PC的主板、内存和CPU;而放置硬盘的磁盘柜是阵列实际存储数据的地方,相当于PC的硬盘。
光纤磁盘阵列磁盘柜:主要特点是内部一般至少采用冗余的双FC-AL仲裁环环路结构,内部硬盘实际上同时接在两条仲裁环上。而中端磁盘阵列支持的环路数更多,可以达到4、8、16条之多。这种多冗余仲裁环结构最主要的目的就是为了高可用性,它可以防止单个线路、接口的故障导致整个阵列的失效。而且每个环路采用旁路技术来防止无硬盘接入和硬盘故障对环路通信的影响。
连接光纤
操作如下
一、集群的基本概念 有一种常见的方法可以大幅提高服务器的安全性,这就是集群。Cluster集群技术可如下定义:一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。大多数模式下,集群中所有的计算机拥有一个共同的名称,集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败,并可透明地向Cluster中加入组件。一个Cluster包含多台(至少二台)拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时,应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。Cluster内各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时,这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时,应用服务将被重新启动或被另一台服务器接管。当以上任一故障发生时,客户将能很快连接到新的应用服务上。
二、集群硬件配置 镜像服务器双机 集群中镜像服务器双机系统是硬件配置最简单和价格最低廉的解决方案,通常镜像服务的硬件配置需要两台服务器,在每台服务器有独立操作系统硬盘和数据存贮硬盘,每台服务器有与客户端相连的网卡,另有一对镜像卡或完成镜像功能的网卡。镜像服务器具有配置简单,使用方便,价格低廉诸多优点,但由于镜像服务器需要采用网络方式镜像数据,通过镜像软件实现数据的同步,因此需要占用网络服务器的CPU及内存资源,镜像服务器的性能比单一服务器的性能要低一些。有一些镜像服务器集群系统采用内存镜像的技术,这个技术的优点是所有的应用程序和网络操作系统在两台服务器上镜像同步,当主机出现故障时,备份机可以在几乎没有感觉的情况下接管所有应用程序。因为两个服务器的内存完全一致,但当系统应用程序带有缺陷从而导致系统宕机时,两台服务器会同步宕机。这也是内存镜像卡或网卡实现数据同步,在大数据量读写过程中两台服务器在某些状态下会产生数据不同步,因此镜像服务器适合那些预算较少、对集群系统要求不高的用户。硬件配置范例:网络服务器 两台 服务器操作系统硬盘 两块 服务器数据存贮硬盘 视用户需要确定 服务器镜像卡(部分软件可使用标准网卡) 两块 网络服务网卡 两块三、双机与磁盘阵列柜 与镜像服务器双机系统相比,双机与磁盘阵列柜互联结构多出了第三方生产的磁盘阵列柜,目前,豪威公司、精业公司等许多公司都生产有磁盘阵列柜,在磁盘阵列柜中安装有磁盘阵列控制卡,阵列柜可以直接将柜中的硬盘配置成为逻辑盘阵。磁盘阵列柜通过SCSI电缆与服务器上普通SCSI卡相连,系统管理员需直接在磁盘柜上配置磁盘阵列。双机与磁盘阵列柜互联结构不采用内存镜像技术,因此需要有一定的切换时间(通常为60?D?D180秒),它可以有郊的避免由于应用程序自身的缺陷导致系统全部宕机,同时由于所有的数据全部存贮在中置的磁盘阵列柜中,当工作机出现故障时,备份机接替工作机,从磁盘阵列中读取数据,所以不会产生数据不同步的问题,由于这种方案不需要网络镜像同步,因此这种集群方案服务器的性能要比镜像服务器结构高出很多。双机与磁盘阵列柜互联结构的缺点是在系统当中存在单点错的缺陷,所谓单点错是指当系统中某个部件或某个应用程序出现故障时,导致所有系统全部宕机。在这个系统中磁盘阵列柜是会导致单点错,当磁盘阵列柜出现逻辑或物理故障时,所有存贮的数据会全部丢失,因此,在选配这种方案时,需要选用一个品质与售后服务较好的产品。硬件配置范例:网络服务器 两台 服务器操作系统硬盘 两块 第三方生产的磁盘阵列柜 一台 磁盘柜专用SCSI电线 两根 磁盘阵列柜数据存贮硬盘 视用户需求确定 网络服务网卡 两块 除此之外,一些厂商还有更优秀的技术的解决方案,比如 HP. 四、HP双机双控容错系统 HP NetServer为双机双控容错系统提供了高品质和高可靠的硬件基础…… HP双机双控容错系统结合了HP服务器产品的安全可靠性与Cluster技术的优点,相互配合二者的优势。
全国各地天气预报查询

上海市

  • 市辖区
  • 云南省

  • 临沧市
  • 云南省

  • 丽江市
  • 云南省

  • 保山市
  • 云南省

  • 大理白族自治州
  • 云南省

  • 德宏傣族景颇族自治州
  • 云南省

  • 怒江傈僳族自治州
  • 云南省

  • 文山壮族苗族自治州
  • 云南省

  • 昆明市
  • 云南省

  • 昭通市
  • 云南省

  • 普洱市
  • 云南省

  • 曲靖市
  • 云南省

  • 楚雄彝族自治州
  • 云南省

  • 玉溪市
  • 云南省

  • 红河哈尼族彝族自治州
  • 云南省

  • 西双版纳傣族自治州
  • 云南省

  • 迪庆藏族自治州
  • 内蒙古自治区

  • 乌兰察布市
  • 内蒙古自治区

  • 乌海市
  • 内蒙古自治区

  • 兴安盟
  • 内蒙古自治区

  • 包头市
  • 内蒙古自治区

  • 呼伦贝尔市
  • 内蒙古自治区

  • 呼和浩特市
  • 内蒙古自治区

  • 巴彦淖尔市
  • 内蒙古自治区

  • 赤峰市
  • 内蒙古自治区

  • 通辽市
  • 内蒙古自治区

  • 鄂尔多斯市
  • 内蒙古自治区

  • 锡林郭勒盟
  • 内蒙古自治区

  • 阿拉善盟
  • 北京市

  • 市辖区
  • 吉林省

  • 吉林市
  • 吉林省

  • 四平市
  • 吉林省

  • 延边朝鲜族自治州
  • 吉林省

  • 松原市
  • 吉林省

  • 白城市
  • 吉林省

  • 白山市
  • 吉林省

  • 辽源市
  • 吉林省

  • 通化市
  • 吉林省

  • 长春市
  • 四川省

  • 乐山市
  • 四川省

  • 内江市
  • 四川省

  • 凉山彝族自治州
  • 四川省

  • 南充市
  • 四川省

  • 宜宾市
  • 四川省

  • 巴中市
  • 四川省

  • 广元市
  • 四川省

  • 广安市
  • 四川省

  • 德阳市
  • 四川省

  • 成都市
  • 四川省

  • 攀枝花市
  • 四川省

  • 泸州市
  • 四川省

  • 甘孜藏族自治州
  • 四川省

  • 眉山市
  • 四川省

  • 绵阳市
  • 四川省

  • 自贡市
  • 四川省

  • 资阳市
  • 四川省

  • 达州市
  • 四川省

  • 遂宁市
  • 四川省

  • 阿坝藏族羌族自治州
  • 四川省

  • 雅安市
  • 天津市

  • 市辖区
  • 宁夏回族自治区

  • 中卫市
  • 宁夏回族自治区

  • 吴忠市
  • 宁夏回族自治区

  • 固原市
  • 宁夏回族自治区

  • 石嘴山市
  • 宁夏回族自治区

  • 银川市
  • 安徽省

  • 亳州市
  • 安徽省

  • 六安市
  • 安徽省

  • 合肥市
  • 安徽省

  • 安庆市
  • 安徽省

  • 宣城市
  • 安徽省

  • 宿州市
  • 安徽省

  • 池州市
  • 安徽省

  • 淮北市
  • 安徽省

  • 淮南市
  • 安徽省

  • 滁州市
  • 安徽省

  • 芜湖市
  • 安徽省

  • 蚌埠市
  • 安徽省

  • 铜陵市
  • 安徽省

  • 阜阳市
  • 安徽省

  • 马鞍山市
  • 安徽省

  • 黄山市
  • 山东省

  • 东营市
  • 山东省

  • 临沂市
  • 山东省

  • 威海市
  • 山东省

  • 德州市
  • 山东省

  • 日照市
  • 山东省

  • 枣庄市
  • 山东省

  • 泰安市
  • 山东省

  • 济南市
  • 山东省

  • 济宁市
  • 山东省

  • 淄博市
  • 山东省

  • 滨州市
  • 山东省

  • 潍坊市
  • 山东省

  • 烟台市
  • 山东省

  • 聊城市
  • 山东省

  • 菏泽市
  • 山东省

  • 青岛市
  • 山西省

  • 临汾市
  • 山西省

  • 吕梁市
  • 山西省

  • 大同市
  • 山西省

  • 太原市
  • 山西省

  • 忻州市
  • 山西省

  • 晋中市
  • 山西省

  • 晋城市
  • 山西省

  • 朔州市
  • 山西省

  • 运城市
  • 山西省

  • 长治市
  • 山西省

  • 阳泉市
  • 广东省

  • 东莞市
  • 广东省

  • 中山市
  • 广东省

  • 云浮市
  • 广东省

  • 佛山市
  • 广东省

  • 广州市
  • 广东省

  • 惠州市
  • 广东省

  • 揭阳市
  • 广东省

  • 梅州市
  • 广东省

  • 汕头市
  • 广东省

  • 汕尾市
  • 广东省

  • 江门市
  • 广东省

  • 河源市
  • 广东省

  • 深圳市
  • 广东省

  • 清远市
  • 广东省

  • 湛江市
  • 广东省

  • 潮州市
  • 广东省

  • 珠海市
  • 广东省

  • 肇庆市
  • 广东省

  • 茂名市
  • 广东省

  • 阳江市
  • 广东省

  • 韶关市
  • 广西壮族自治区

  • 北海市
  • 广西壮族自治区

  • 南宁市
  • 广西壮族自治区

  • 崇左市
  • 广西壮族自治区

  • 来宾市
  • 广西壮族自治区

  • 柳州市
  • 广西壮族自治区

  • 桂林市
  • 广西壮族自治区

  • 梧州市
  • 广西壮族自治区

  • 河池市
  • 广西壮族自治区

  • 玉林市
  • 广西壮族自治区

  • 百色市
  • 广西壮族自治区

  • 贵港市
  • 广西壮族自治区

  • 贺州市
  • 广西壮族自治区

  • 钦州市
  • 广西壮族自治区

  • 防城港市
  • 新疆维吾尔自治区

  • 乌鲁木齐市
  • 新疆维吾尔自治区

  • 伊犁哈萨克自治州
  • 新疆维吾尔自治区

  • 克孜勒苏柯尔克孜自治州
  • 新疆维吾尔自治区

  • 克拉玛依市
  • 新疆维吾尔自治区

  • 博尔塔拉蒙古自治州
  • 新疆维吾尔自治区

  • 吐鲁番市
  • 新疆维吾尔自治区

  • 和田地区
  • 新疆维吾尔自治区

  • 哈密市
  • 新疆维吾尔自治区

  • 喀什地区
  • 新疆维吾尔自治区

  • 塔城地区
  • 新疆维吾尔自治区

  • 巴音郭楞蒙古自治州
  • 新疆维吾尔自治区

  • 昌吉回族自治州
  • 新疆维吾尔自治区

  • 自治区直辖县级行政区划
  • 新疆维吾尔自治区

  • 阿克苏地区
  • 新疆维吾尔自治区

  • 阿勒泰地区
  • 江苏省

  • 南京市
  • 江苏省

  • 南通市
  • 江苏省

  • 宿迁市
  • 江苏省

  • 常州市
  • 江苏省

  • 徐州市
  • 江苏省

  • 扬州市
  • 江苏省

  • 无锡市
  • 江苏省

  • 泰州市
  • 江苏省

  • 淮安市
  • 江苏省

  • 盐城市
  • 江苏省

  • 苏州市
  • 江苏省

  • 连云港市
  • 江苏省

  • 镇江市
  • 江西省

  • 上饶市
  • 江西省

  • 九江市
  • 江西省

  • 南昌市
  • 江西省

  • 吉安市
  • 江西省

  • 宜春市
  • 江西省

  • 抚州市
  • 江西省

  • 新余市
  • 江西省

  • 景德镇市
  • 江西省

  • 萍乡市
  • 江西省

  • 赣州市
  • 江西省

  • 鹰潭市
  • 河北省

  • 保定市
  • 河北省

  • 唐山市
  • 河北省

  • 廊坊市
  • 河北省

  • 张家口市
  • 河北省

  • 承德市
  • 河北省

  • 沧州市
  • 河北省

  • 石家庄市
  • 河北省

  • 秦皇岛市
  • 河北省

  • 衡水市
  • 河北省

  • 邢台市
  • 河北省

  • 邯郸市
  • 河南省

  • 三门峡市
  • 河南省

  • 信阳市
  • 河南省

  • 南阳市
  • 河南省

  • 周口市
  • 河南省

  • 商丘市
  • 河南省

  • 安阳市
  • 河南省

  • 平顶山市
  • 河南省

  • 开封市
  • 河南省

  • 新乡市
  • 河南省

  • 洛阳市
  • 河南省

  • 漯河市
  • 河南省

  • 濮阳市
  • 河南省

  • 焦作市
  • 河南省

  • 省直辖县级行政区划
  • 河南省

  • 许昌市
  • 河南省

  • 郑州市
  • 河南省

  • 驻马店市
  • 河南省

  • 鹤壁市
  • 浙江省

  • 丽水市
  • 浙江省

  • 台州市
  • 浙江省

  • 嘉兴市
  • 浙江省

  • 宁波市
  • 浙江省

  • 杭州市
  • 浙江省

  • 温州市
  • 浙江省

  • 湖州市
  • 浙江省

  • 绍兴市
  • 浙江省

  • 舟山市
  • 浙江省

  • 衢州市
  • 浙江省

  • 金华市
  • 海南省

  • 三亚市
  • 海南省

  • 三沙市
  • 海南省

  • 儋州市
  • 海南省

  • 海口市
  • 海南省

  • 省直辖县级行政区划
  • 湖北省

  • 十堰市
  • 湖北省

  • 咸宁市
  • 湖北省

  • 孝感市
  • 湖北省

  • 宜昌市
  • 湖北省

  • 恩施土家族苗族自治州
  • 湖北省

  • 武汉市
  • 湖北省

  • 省直辖县级行政区划
  • 湖北省

  • 荆州市
  • 湖北省

  • 荆门市
  • 湖北省

  • 襄阳市
  • 湖北省

  • 鄂州市
  • 湖北省

  • 随州市
  • 湖北省

  • 黄冈市
  • 湖北省

  • 黄石市
  • 湖南省

  • 娄底市
  • 湖南省

  • 岳阳市
  • 湖南省

  • 常德市
  • 湖南省

  • 张家界市
  • 湖南省

  • 怀化市
  • 湖南省

  • 株洲市
  • 湖南省

  • 永州市
  • 湖南省

  • 湘潭市
  • 湖南省

  • 湘西土家族苗族自治州
  • 湖南省

  • 益阳市
  • 湖南省

  • 衡阳市
  • 湖南省

  • 邵阳市
  • 湖南省

  • 郴州市
  • 湖南省

  • 长沙市
  • 甘肃省

  • 临夏回族自治州
  • 甘肃省

  • 兰州市
  • 甘肃省

  • 嘉峪关市
  • 甘肃省

  • 天水市
  • 甘肃省

  • 定西市
  • 甘肃省

  • 平凉市
  • 甘肃省

  • 庆阳市
  • 甘肃省

  • 张掖市
  • 甘肃省

  • 武威市
  • 甘肃省

  • 甘南藏族自治州
  • 甘肃省

  • 白银市
  • 甘肃省

  • 酒泉市
  • 甘肃省

  • 金昌市
  • 甘肃省

  • 陇南市
  • 福建省

  • 三明市
  • 福建省

  • 南平市
  • 福建省

  • 厦门市
  • 福建省

  • 宁德市
  • 福建省

  • 泉州市
  • 福建省

  • 漳州市
  • 福建省

  • 福州市
  • 福建省

  • 莆田市
  • 福建省

  • 龙岩市
  • 西藏自治区

  • 山南市
  • 西藏自治区

  • 拉萨市
  • 西藏自治区

  • 日喀则市
  • 西藏自治区

  • 昌都市
  • 西藏自治区

  • 林芝市
  • 西藏自治区

  • 那曲市
  • 西藏自治区

  • 阿里地区
  • 贵州省

  • 六盘水市
  • 贵州省

  • 安顺市
  • 贵州省

  • 毕节市
  • 贵州省

  • 贵阳市
  • 贵州省

  • 遵义市
  • 贵州省

  • 铜仁市
  • 贵州省

  • 黔东南苗族侗族自治州
  • 贵州省

  • 黔南布依族苗族自治州
  • 贵州省

  • 黔西南布依族苗族自治州
  • 辽宁省

  • 丹东市
  • 辽宁省

  • 大连市
  • 辽宁省

  • 抚顺市
  • 辽宁省

  • 朝阳市
  • 辽宁省

  • 本溪市
  • 辽宁省

  • 沈阳市
  • 辽宁省

  • 盘锦市
  • 辽宁省

  • 营口市
  • 辽宁省

  • 葫芦岛市
  • 辽宁省

  • 辽阳市
  • 辽宁省

  • 铁岭市
  • 辽宁省

  • 锦州市
  • 辽宁省

  • 阜新市
  • 辽宁省

  • 鞍山市
  • 重庆市

  • 重庆市

  • 市辖区
  • 陕西省

  • 咸阳市
  • 陕西省

  • 商洛市
  • 陕西省

  • 安康市
  • 陕西省

  • 宝鸡市
  • 陕西省

  • 延安市
  • 陕西省

  • 榆林市
  • 陕西省

  • 汉中市
  • 陕西省

  • 渭南市
  • 陕西省

  • 西安市
  • 陕西省

  • 铜川市
  • 青海省

  • 果洛藏族自治州
  • 青海省

  • 海东市
  • 青海省

  • 海北藏族自治州
  • 青海省

  • 海南藏族自治州
  • 青海省

  • 海西蒙古族藏族自治州
  • 青海省

  • 玉树藏族自治州
  • 青海省

  • 西宁市
  • 青海省

  • 黄南藏族自治州
  • 黑龙江省

  • 七台河市
  • 黑龙江省

  • 伊春市
  • 黑龙江省

  • 佳木斯市
  • 黑龙江省

  • 双鸭山市
  • 黑龙江省

  • 哈尔滨市
  • 黑龙江省

  • 大兴安岭地区
  • 黑龙江省

  • 大庆市
  • 黑龙江省

  • 牡丹江市
  • 黑龙江省

  • 绥化市
  • 黑龙江省

  • 鸡西市
  • 黑龙江省

  • 鹤岗市
  • 黑龙江省

  • 黑河市
  • 黑龙江省

  • 齐齐哈尔市