超融合基础架构

实现模块化横向扩展的系统平台

超融合基础架构(Hyper Converged Infrastructure,或简称“HCI”)是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括备份软件快照技术重复数据删除、在线数据压缩等元素,而多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。超融合(甚至超超融合)在本地很容易实现:将计算、网络和存储都集成在一个设备内,并且通过它由供应商预先配置好且差不多到手就可以使用。HCI是实现“软件定义数据中心”(SDDC)的终极技术途径。HCI类似GoogleFacebook后台的大规模基础架构模式,可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护

系统简介
超融合基础架构(Hyper-Converged Infrastructure)是一种集成了虚拟计算资源和存储设备的信息基础架构。在这样的架构环境中,同一套单元设备中不但具备了计算、网络、存储和服务器虚拟化等资源和技术,而且多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(Scale—Out),形成统一的资源池。
超融合基础架构是以硬件服务器为基础,最大限度实现数据中心容量扩展性和数据的可用性。超融合架构以虚拟机为核心,提升集群的运算效能和存储空间,具有简单、高效、高性能、易部署等优势。成本的控制和风险防范等方面,它不需要单独采购服务器和存储,节省了大量的机柜空间,而且对电源的消耗较小。系统所采用的软件和硬件都是统一的技术接口,而且不存在虚拟化环境的资源争抢问题,可以灵活调配资源,方便快捷。在超融合架构模式下,用户所使用的虚拟机和存储空间是利用软件构建的,这样就使得底层物理设备与用户之间保持隔离的状态,实现了硬件资源与虚拟化平台的完整融合。用户可以以堆叠的形式实现节点的添加,进而实现超融合架构丛集容量的扩展。
超融合技术主要组件有三大组成部分:计算虚拟化、存储虚拟化、网络虚拟化。计算虚拟化四大主流路线有KVM、VMWARE、Hyper-VXen,存储虚拟化两大主流路线glustfs、ceph,网络虚拟化一般采用自研的方式,主要技术有VxLAN、SDN等。
组成
超融合系统将存储和计算功能集成到一个单一节点(或节点集群,每个节点都提供计算和存储功能),超融合系统都具有以下通用核心组件:
(1)分布式存储系统:构建在虚拟化平台之上,在服务器虚拟化基础上,通过部署存储虚拟设备的方式,对本地存储资源进行虚拟化,再经集群整合成资源池,为应用虚拟机提供存储服务。
(2)高速网络:GE/10GE以太网交换机,或者Infiniband光纤交换机分布式计算和存储集群提供可扩展和高可用性的网络通道。
(3)统一管理平台:其管理程序除了提供硬盘或SSD硬件抽象层之外,还提供工作负载邻接、冗余、故障迁移、管理和容器化作用。
因此,超融合架构可以基于X86服务器等低单价企业服务器为基础,对服务器的内置硬盘资源进行虚拟化,提供 raid后的存储空间供服务器使用。服务器采用集群的方式部署在数据中心的多个机架内,通过机架间及机架内的高速二层交换网络提供极高的连接可靠性。整个超融合集群系统,以一个2UX86机架服务器提供40TB裸容量为例,一个100个服务器组成的集群可以提供4PB的存储容量,可满足90%以上企业的业务增长需求。通过批量采购的商用服务器可使基于超融合架构建设的数据中心具有较高的性价比。
特点
超融合基础架构继承了融合式架构的一些特性,同样都是使用通用硬件服务器为基础,将多台服务器组成含有跨节点统一储存池的群集,来获得整个虚拟化环境需要的效能、容量扩展性与数据可用性,可透过增加群集中的节点数量,来扩充整个群集的运算效能与储存空间,并透过群集各节点间的彼此数据复制与备份,提供服务高可用性与数据保护能力。而为能灵活地调配资源,超融合架构也采用了以虚拟机(VM)为核心,软件定义方式来规划与运用底层硬件资源,然后向终端用户交付需要的资源。
1、运算单元与储存单元的融合
传统的存储区域网络架构使用的运算和储存单元是分离的。传统的服务器外接SAN交换机、储存设备等,超融合架构则将运算和储存单元合二为一。这样每个服务器节点单元同时可提供运算资源和储存空间,每一台超融合架构的服务器节点就相当于传统服务器外接SAN交换机和储存设备,即使用服务器节点的磁盘驱动器来提供需要的储存空间。
2、实际的硬件资源与虚拟化平台的完整融合
超融合架构是通过虚拟化平台软件来合理硬件资源的,运算资源和储存资源都是通过虚拟机来合理调配使用,是一种以虚拟机为核心的虚拟化应用。另外,超融合架构的运算资源和储存资源都是软件定义化的,硬件部份只是一台普通的通用硬件服务器,用户使用的虚拟机与储存空间完全依靠Hypervisor等软件所构建,隔绝了用户与底层的物理设备。
3、更易于管理的超融合架构
在融合式架构中,由于运算与储存资源是由各自独立的服务器与储存设备来提供,操作管理也是独立的,管理者必须分别透过不同的管理工具来管理这两种设备。管理者须在储存设备上从LUN、连接映像等这些设定着手,然后再将设定好的储存装置挂载到服务器主机上,通过Hypervisor提供给VM使用。超融合架构,运算与储存二合一,只需单一的平台就可同时管理运算和储存资源的设定。用户可根据自身需要来设定运算与储存资源的服务等级,实际资源的分配可由管理平台自动完成,管理变得轻松而简单。
4、纵向构建和横向扩展
超融合架构由于把运算与储存融合在一台设备,每台超融合设备都含有独立、完整的运算、储存硬件资源,所以每台设备也就构成了一个独立的基础单元。通过丛集架构,用户可以以一台超融合设备为单元,以堆叠的方式将更多的节点加入到丛集中,来扩展整个超融合架构丛集的容量。
超融合技术
概念
超融合技术,又称“超融合架构技术”,是指在单个一体化基础架构中同时具备计算、存储、网络和虚拟化等资源和技术的架构。超融合架构打破了传统的服务器、网络和存储的孤立界线,将CPU、内存、存储、网络、虚拟化技术整合在一台设备上,每一台设备作为一个单元节点,多节点通过网络聚合实现模块化的无缝横向扩展,形成统一的资源池。
超融合架构以通用x86服务器为基础,通过集成计算、存储、网络及虚拟化技术,汇聚单台服务器的存储形成跨多个节点统一存储池的集群,提供更好的性能和扩展性。通过增加集群中的节点数量,即可扩展整个集群的计算性能和存储容量,并通过集群各节点间彼此的数据复制与备份,提供服务高可用性与数据保护能力。
特点
1、融合
传统架构下的计算资源和存储资源是分离的,服务器通过SAN交换机与存储设备连接获取存储空间。超融合技术改变了传统服务器、存储、网络相互孤立的基础架构,实现计算资源、存储资源和网络资源的统一融合,每一台超融合节点单元可同时提供计算资源和存储空间。超融合架构采用软件定义的体系结构,不再依赖于硬件,计算、存储、网络完全虚拟化并由软件控制。服务器和存储得到了统一的部署和管理,并为整个虚拟化体系提供了简单、通用的管理和自动化平台。
2、敏捷
超融合技术通过软硬件一体化的融合,实现设备快速交付、架构弹性伸缩、业务敏捷部署和系统精简运维。超融合一体机在出厂时已根据需求完成硬件的集成和软件的安装,设备上架开机即可交付使用,极大简化了设备安装调试的复杂度。超融合技术基于虚拟化和软件定义,构建扁平化、随需而变、弹性可扩展的敏捷架构,所有资源均可按需部署、灵活调度和动态扩展。传统架构下的计算资源、存储资源和网络资源由不同的设备提供,管理者必须分别通过不同的管理工具管理多种设备,超融合架构下只需通过单一的平台即可同时管理计算、存储和网络资源,降低运维难度,实现精简运维。
3、安全
超融合技术实现了计算、存储和网络资源的融合,原来分散在不同服务器和存储设备上的数据全部集中在超融合节点本地磁盘上,系统及数据的安全风险随即凸显。超融合架构采用集群管理方式,系统出现故障时能够自动在其他节点设备上重启,避免物理环境单点故障。数据多副本机制实现数据分散存放,不同数据副本放在不同的超融合节点上,当一个节点出现故障时,仍然可以依靠其他节点上的数据副本继续对外提供服务,有效保障业务连续性和数据安全。
4、开放
超融合架构采用软硬件解耦架构,在服务器层面,超融合架构能够在任何x86服务器上运行,与物理服务器的硬件配置无关,无需修改上层系统和应用即可运行;在存储层面,超融合架构支持与各种类型的外置存储进行对接,将数据存储到外置存储或使用外置存储作为备份介质;在网络层面,超融合架构无需依赖任何支持特定协议的网络设备,支持与现有网络设备组网连接。超融合架构能够为上层应用屏蔽底层复杂和异构的基础架构,对主流操作系统和应用进行兼容性适配和性能优化集成。
关键技术
1、服务器虚拟化
服务器虚拟化是整个超融合架构中的核心组件,基于裸金属架构的虚拟化程序直接运行在服务器上,实现对服务器物理资源的抽象,将CPU、内存、硬盘等服务器物理资源转化为一组可统一管理、调度和分配的逻辑资源,并基于这些逻辑资源在单个物理服务器上构建多个同时运行、相互隔离的虚拟机执行环境,实现更高的资源利用率,减少系统管理复杂度,加快对业务需求的响应速度,提供高可靠、高可用的应用服务。
存储虚拟化是将集群各节点服务器上独立的硬盘存储空间进行组织聚合,构成一个共享的存储资源池,所有的存储资源在这个存储池中统一管理,实现存储资源的自动化管理和分配,构建高效灵活的存储架构与管理平台,提供高可靠、高性能存储。存储虚拟化基于分布式存储系统,融合了分布式缓存、SSD读写缓存加速、多副本机制等多种存储技术,在功能上与独立共享存储完全一致。存储虚拟化通过SSD缓存,可以大幅提升服务器硬盘的I/O性能,实现高性能存储和业务高效可靠运行。存储虚拟化采用多副本机制,一份数据同时存储在多个不同的物理服务器硬盘上,提升数据可靠性,保障关键业务安全稳定运行。此外,由于存储和计算完全融合在一台服务器上,省却了外置磁盘阵列的控制器、光纤交换机等设备,达到了降低成本的目的。
网络虚拟化通过实现网络中所需的各类网络连接服务(包括路由、交换、安全、负载均衡等)按需分配和灵活调度,提供了全新的网络连接运维模式,解决了传统硬件网络的众多管理和运维难题,可满足业务应用对网络快速、灵活自动化部署的需求。
优势
1、极简的架构
超融合架构直接将存储分散部署到每台PC服务器上,在服务器上部署了快速的闪存盘和大容量传统机械磁盘,来应对系统高IO需求和大容量存储的需要。因此,超融合架构能实现高速访问本地数据,无需跨网络访问。超融合架构还包括备份软件快照技术重复数据删除、在线数据压缩等元素,多套单元设备可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池,它的扩展方式变为横向增加节点即可。通过这种标准化的模块,用来搭建数据中心无疑是非常方便的,这不仅大大方便客户的搭建管理,同时也增强了系统的灵活性,同时让部署和运维都更简单。
(1)让系统更灵活
随着云计算和大数据时代的来临,企业需要IT系统能够快速的跟上业务需求。超融合让系统的扩展更灵活。客户只需要根据需求购买相同的配置,就可以快速的实现IT系统的扩展。
(2)部署更简单
超融合在于对服务器、存储、网络的融合,由于采用开箱即用的部署方式,大大简化规划、连接、配置等复杂的管理操作。像乐高积木一样,只需要相同的模块,根据客户的需求,就可以搭建出各种各样的模型。乐高积木就相当于超融合,而搭建出来的模型就是数据中心。交付时间可以从过去的十几天缩短到一两天,大大缩短交付的时间。
(3)运维更简单
与传统架构相比,超融合架构管理更为简单,传统架构下,虚拟化、服务器、存储、网络四层需要分别进行管理配置,非常的复杂和繁琐,超融合将这些功能集成到一个用户界面上,用户可以在一个运维界面上,实现计算和存储的资源池化、CPU/内存/存储等资源的动态分配、虚拟机的创建和启动,给用户带来极大的便利。总的来说就是,超融合架构具备了统一的系统管理、监控、维护等特点。
通过全部功能组件的全部软件定义,企业级云实现了硬件无关的分布式架构,可以做到硬件故障不影响业务。平台内嵌的CDP功能,当管理员误删除数据库或业务系统遭遇勒索病毒时,可将数据一键恢复到过去3天内的任意1秒。DRX/DRS智能调度技术,保障业务不因资源不足而导致不可用。
3、高性能
企业级云通过分布式存储分层技术、逻辑条带化技术,以及通过优化NUMA和大页内存技术等,充分满足互联网业务、实时交易系统BI分析等业务,以及OracleRACMySQL数据库集群和ERP、MES、HIS等关键应用对性能的高需求。
4、高安全性
企业级云能够为用户提供平台安全、数据安全应用安全、边界安全+云端安全的4+1立体式安全防护体系,由内而外构建数据中心坚固的安全防护堡垒。当用户有安全合规需求时,通过安全中心提供完整的安全规划建议、安全建设模板,真正做到安全可视,帮助用户快速构建自己的云安全体系。
5、高性价比
采用超融合架构,用户的整体拥有成本(TCO)将明显降低;利用超融合设备,不但可以快速搭建出一个数据中心,更重要的是,利用超融合这种方式,能够让客户在搭建过程更方便,客户不需要再对基础设施进行调研,只需要了解自己的需求,同时了解到超融合设备,这样就能够快速的实现搭建。在应用方面无疑大大节省了企业的成本。
融合与超融
超融合基础架构的迅速发展使得管理员可以在更多的虚拟化存储解决方案当中进行选择。
尽管市场上已经拥有多种软件定义存储存储虚拟化解决方案,但是存储的本质并没有发生变化。虚拟机体积不会减小,数量也不会降低。对于已经拥有超融合基础架构的企业来说,部署和管理专用超融合基础架构和网络是一种十分宝贵的经验。尽管这种方式通常需要在硬件和人员方面进行大量投资,但是可靠性和性能表现也是非常值得称道的。超融合基础架构产品也能够提供很多相关功能,比如数据镜像、去重复化、加密和灾难恢复等。
融合和超融合基础架构的出现为企业带来了存储方面的困惑:如何为现有虚拟化环境选择理想的存储解决方案,保证其能够适应未来的发展趋势为了做出正确的决定,管理员需要理解融合和超融合基础架构之间的区别,以及传统存储硬件将继续扮演怎样的角色。
超融合基础架构将计算、网络和存储等资源作为基本组成元素,根据系统需求进行选择和预定义。这种方式基于现有的硬件模块,因此能够实现快速扩展,并且如果不同模块之间相互兼容,那么扩展过程将会非常简单。超融合基础架构这种预配置产品前期会产生大量开销,因为企业不仅需要支付技术费用,还需要请厂商完成完成相关集成工作。随着时间延长,超融合基础架构总拥有成本能够控制在合理范围之内。用户在更改和升级基础组件方面拥有部分灵活性,但仅限于超融合基础架构厂商允许的范围之内。在超融合基础架构当中,存储控制器仍然是硬件设备,并且由“传统”存储区域网络(SAN)或者网络附加存储NAS)解决方案所控制。这种方式更加类似于将传统的数据中心组件封装在一个专用容器当中。
“超级”融合基础架构意味着既利用融合基础架构的现有优势,又增加了额外的软件层,将计算、网络和存储等资源封装在单个容器当中,而不是以基础组件的形式提供。借助于Nutanix或者EVO:RAIL相关产品,超融合基础架构可以在存储硬件当中不再使用存储控制器,将这项功能加入到hypervisor层的软件服务当中。将存储控制器转换为软件服务可以在功能方面提供更大的灵活性。这种“分散式”超融合基础架构能够降低专用超融合基础架构和网络的复杂性。在降低本地存储开销的同时,提供许多高级特性,比如复制和去重复化。 由于能够解决企业当中的许多存储问题,融合和超融合基础架构产品已经获得了大量关注。如果超融合基础架构尝试在存储平台当中使用标准服务器,那么会在硬件耐用性和性能方面遇到问题。因此可以通过在超融合基础架构当中应用软件定义存储特性来解决这些问题,因为超融合基础架构主要用途就是处理虚拟环境当中的负载。
全国各地天气预报查询

上海市

  • 市辖区
  • 云南省

  • 临沧市
  • 云南省

  • 丽江市
  • 云南省

  • 保山市
  • 云南省

  • 大理白族自治州
  • 云南省

  • 德宏傣族景颇族自治州
  • 云南省

  • 怒江傈僳族自治州
  • 云南省

  • 文山壮族苗族自治州
  • 云南省

  • 昆明市
  • 云南省

  • 昭通市
  • 云南省

  • 普洱市
  • 云南省

  • 曲靖市
  • 云南省

  • 楚雄彝族自治州
  • 云南省

  • 玉溪市
  • 云南省

  • 红河哈尼族彝族自治州
  • 云南省

  • 西双版纳傣族自治州
  • 云南省

  • 迪庆藏族自治州
  • 内蒙古自治区

  • 乌兰察布市
  • 内蒙古自治区

  • 乌海市
  • 内蒙古自治区

  • 兴安盟
  • 内蒙古自治区

  • 包头市
  • 内蒙古自治区

  • 呼伦贝尔市
  • 内蒙古自治区

  • 呼和浩特市
  • 内蒙古自治区

  • 巴彦淖尔市
  • 内蒙古自治区

  • 赤峰市
  • 内蒙古自治区

  • 通辽市
  • 内蒙古自治区

  • 鄂尔多斯市
  • 内蒙古自治区

  • 锡林郭勒盟
  • 内蒙古自治区

  • 阿拉善盟
  • 北京市

  • 市辖区
  • 吉林省

  • 吉林市
  • 吉林省

  • 四平市
  • 吉林省

  • 延边朝鲜族自治州
  • 吉林省

  • 松原市
  • 吉林省

  • 白城市
  • 吉林省

  • 白山市
  • 吉林省

  • 辽源市
  • 吉林省

  • 通化市
  • 吉林省

  • 长春市
  • 四川省

  • 乐山市
  • 四川省

  • 内江市
  • 四川省

  • 凉山彝族自治州
  • 四川省

  • 南充市
  • 四川省

  • 宜宾市
  • 四川省

  • 巴中市
  • 四川省

  • 广元市
  • 四川省

  • 广安市
  • 四川省

  • 德阳市
  • 四川省

  • 成都市
  • 四川省

  • 攀枝花市
  • 四川省

  • 泸州市
  • 四川省

  • 甘孜藏族自治州
  • 四川省

  • 眉山市
  • 四川省

  • 绵阳市
  • 四川省

  • 自贡市
  • 四川省

  • 资阳市
  • 四川省

  • 达州市
  • 四川省

  • 遂宁市
  • 四川省

  • 阿坝藏族羌族自治州
  • 四川省

  • 雅安市
  • 天津市

  • 市辖区
  • 宁夏回族自治区

  • 中卫市
  • 宁夏回族自治区

  • 吴忠市
  • 宁夏回族自治区

  • 固原市
  • 宁夏回族自治区

  • 石嘴山市
  • 宁夏回族自治区

  • 银川市
  • 安徽省

  • 亳州市
  • 安徽省

  • 六安市
  • 安徽省

  • 合肥市
  • 安徽省

  • 安庆市
  • 安徽省

  • 宣城市
  • 安徽省

  • 宿州市
  • 安徽省

  • 池州市
  • 安徽省

  • 淮北市
  • 安徽省

  • 淮南市
  • 安徽省

  • 滁州市
  • 安徽省

  • 芜湖市
  • 安徽省

  • 蚌埠市
  • 安徽省

  • 铜陵市
  • 安徽省

  • 阜阳市
  • 安徽省

  • 马鞍山市
  • 安徽省

  • 黄山市
  • 山东省

  • 东营市
  • 山东省

  • 临沂市
  • 山东省

  • 威海市
  • 山东省

  • 德州市
  • 山东省

  • 日照市
  • 山东省

  • 枣庄市
  • 山东省

  • 泰安市
  • 山东省

  • 济南市
  • 山东省

  • 济宁市
  • 山东省

  • 淄博市
  • 山东省

  • 滨州市
  • 山东省

  • 潍坊市
  • 山东省

  • 烟台市
  • 山东省

  • 聊城市
  • 山东省

  • 菏泽市
  • 山东省

  • 青岛市
  • 山西省

  • 临汾市
  • 山西省

  • 吕梁市
  • 山西省

  • 大同市
  • 山西省

  • 太原市
  • 山西省

  • 忻州市
  • 山西省

  • 晋中市
  • 山西省

  • 晋城市
  • 山西省

  • 朔州市
  • 山西省

  • 运城市
  • 山西省

  • 长治市
  • 山西省

  • 阳泉市
  • 广东省

  • 东莞市
  • 广东省

  • 中山市
  • 广东省

  • 云浮市
  • 广东省

  • 佛山市
  • 广东省

  • 广州市
  • 广东省

  • 惠州市
  • 广东省

  • 揭阳市
  • 广东省

  • 梅州市
  • 广东省

  • 汕头市
  • 广东省

  • 汕尾市
  • 广东省

  • 江门市
  • 广东省

  • 河源市
  • 广东省

  • 深圳市
  • 广东省

  • 清远市
  • 广东省

  • 湛江市
  • 广东省

  • 潮州市
  • 广东省

  • 珠海市
  • 广东省

  • 肇庆市
  • 广东省

  • 茂名市
  • 广东省

  • 阳江市
  • 广东省

  • 韶关市
  • 广西壮族自治区

  • 北海市
  • 广西壮族自治区

  • 南宁市
  • 广西壮族自治区

  • 崇左市
  • 广西壮族自治区

  • 来宾市
  • 广西壮族自治区

  • 柳州市
  • 广西壮族自治区

  • 桂林市
  • 广西壮族自治区

  • 梧州市
  • 广西壮族自治区

  • 河池市
  • 广西壮族自治区

  • 玉林市
  • 广西壮族自治区

  • 百色市
  • 广西壮族自治区

  • 贵港市
  • 广西壮族自治区

  • 贺州市
  • 广西壮族自治区

  • 钦州市
  • 广西壮族自治区

  • 防城港市
  • 新疆维吾尔自治区

  • 乌鲁木齐市
  • 新疆维吾尔自治区

  • 伊犁哈萨克自治州
  • 新疆维吾尔自治区

  • 克孜勒苏柯尔克孜自治州
  • 新疆维吾尔自治区

  • 克拉玛依市
  • 新疆维吾尔自治区

  • 博尔塔拉蒙古自治州
  • 新疆维吾尔自治区

  • 吐鲁番市
  • 新疆维吾尔自治区

  • 和田地区
  • 新疆维吾尔自治区

  • 哈密市
  • 新疆维吾尔自治区

  • 喀什地区
  • 新疆维吾尔自治区

  • 塔城地区
  • 新疆维吾尔自治区

  • 巴音郭楞蒙古自治州
  • 新疆维吾尔自治区

  • 昌吉回族自治州
  • 新疆维吾尔自治区

  • 自治区直辖县级行政区划
  • 新疆维吾尔自治区

  • 阿克苏地区
  • 新疆维吾尔自治区

  • 阿勒泰地区
  • 江苏省

  • 南京市
  • 江苏省

  • 南通市
  • 江苏省

  • 宿迁市
  • 江苏省

  • 常州市
  • 江苏省

  • 徐州市
  • 江苏省

  • 扬州市
  • 江苏省

  • 无锡市
  • 江苏省

  • 泰州市
  • 江苏省

  • 淮安市
  • 江苏省

  • 盐城市
  • 江苏省

  • 苏州市
  • 江苏省

  • 连云港市
  • 江苏省

  • 镇江市
  • 江西省

  • 上饶市
  • 江西省

  • 九江市
  • 江西省

  • 南昌市
  • 江西省

  • 吉安市
  • 江西省

  • 宜春市
  • 江西省

  • 抚州市
  • 江西省

  • 新余市
  • 江西省

  • 景德镇市
  • 江西省

  • 萍乡市
  • 江西省

  • 赣州市
  • 江西省

  • 鹰潭市
  • 河北省

  • 保定市
  • 河北省

  • 唐山市
  • 河北省

  • 廊坊市
  • 河北省

  • 张家口市
  • 河北省

  • 承德市
  • 河北省

  • 沧州市
  • 河北省

  • 石家庄市
  • 河北省

  • 秦皇岛市
  • 河北省

  • 衡水市
  • 河北省

  • 邢台市
  • 河北省

  • 邯郸市
  • 河南省

  • 三门峡市
  • 河南省

  • 信阳市
  • 河南省

  • 南阳市
  • 河南省

  • 周口市
  • 河南省

  • 商丘市
  • 河南省

  • 安阳市
  • 河南省

  • 平顶山市
  • 河南省

  • 开封市
  • 河南省

  • 新乡市
  • 河南省

  • 洛阳市
  • 河南省

  • 漯河市
  • 河南省

  • 濮阳市
  • 河南省

  • 焦作市
  • 河南省

  • 省直辖县级行政区划
  • 河南省

  • 许昌市
  • 河南省

  • 郑州市
  • 河南省

  • 驻马店市
  • 河南省

  • 鹤壁市
  • 浙江省

  • 丽水市
  • 浙江省

  • 台州市
  • 浙江省

  • 嘉兴市
  • 浙江省

  • 宁波市
  • 浙江省

  • 杭州市
  • 浙江省

  • 温州市
  • 浙江省

  • 湖州市
  • 浙江省

  • 绍兴市
  • 浙江省

  • 舟山市
  • 浙江省

  • 衢州市
  • 浙江省

  • 金华市
  • 海南省

  • 三亚市
  • 海南省

  • 三沙市
  • 海南省

  • 儋州市
  • 海南省

  • 海口市
  • 海南省

  • 省直辖县级行政区划
  • 湖北省

  • 十堰市
  • 湖北省

  • 咸宁市
  • 湖北省

  • 孝感市
  • 湖北省

  • 宜昌市
  • 湖北省

  • 恩施土家族苗族自治州
  • 湖北省

  • 武汉市
  • 湖北省

  • 省直辖县级行政区划
  • 湖北省

  • 荆州市
  • 湖北省

  • 荆门市
  • 湖北省

  • 襄阳市
  • 湖北省

  • 鄂州市
  • 湖北省

  • 随州市
  • 湖北省

  • 黄冈市
  • 湖北省

  • 黄石市
  • 湖南省

  • 娄底市
  • 湖南省

  • 岳阳市
  • 湖南省

  • 常德市
  • 湖南省

  • 张家界市
  • 湖南省

  • 怀化市
  • 湖南省

  • 株洲市
  • 湖南省

  • 永州市
  • 湖南省

  • 湘潭市
  • 湖南省

  • 湘西土家族苗族自治州
  • 湖南省

  • 益阳市
  • 湖南省

  • 衡阳市
  • 湖南省

  • 邵阳市
  • 湖南省

  • 郴州市
  • 湖南省

  • 长沙市
  • 甘肃省

  • 临夏回族自治州
  • 甘肃省

  • 兰州市
  • 甘肃省

  • 嘉峪关市
  • 甘肃省

  • 天水市
  • 甘肃省

  • 定西市
  • 甘肃省

  • 平凉市
  • 甘肃省

  • 庆阳市
  • 甘肃省

  • 张掖市
  • 甘肃省

  • 武威市
  • 甘肃省

  • 甘南藏族自治州
  • 甘肃省

  • 白银市
  • 甘肃省

  • 酒泉市
  • 甘肃省

  • 金昌市
  • 甘肃省

  • 陇南市
  • 福建省

  • 三明市
  • 福建省

  • 南平市
  • 福建省

  • 厦门市
  • 福建省

  • 宁德市
  • 福建省

  • 泉州市
  • 福建省

  • 漳州市
  • 福建省

  • 福州市
  • 福建省

  • 莆田市
  • 福建省

  • 龙岩市
  • 西藏自治区

  • 山南市
  • 西藏自治区

  • 拉萨市
  • 西藏自治区

  • 日喀则市
  • 西藏自治区

  • 昌都市
  • 西藏自治区

  • 林芝市
  • 西藏自治区

  • 那曲市
  • 西藏自治区

  • 阿里地区
  • 贵州省

  • 六盘水市
  • 贵州省

  • 安顺市
  • 贵州省

  • 毕节市
  • 贵州省

  • 贵阳市
  • 贵州省

  • 遵义市
  • 贵州省

  • 铜仁市
  • 贵州省

  • 黔东南苗族侗族自治州
  • 贵州省

  • 黔南布依族苗族自治州
  • 贵州省

  • 黔西南布依族苗族自治州
  • 辽宁省

  • 丹东市
  • 辽宁省

  • 大连市
  • 辽宁省

  • 抚顺市
  • 辽宁省

  • 朝阳市
  • 辽宁省

  • 本溪市
  • 辽宁省

  • 沈阳市
  • 辽宁省

  • 盘锦市
  • 辽宁省

  • 营口市
  • 辽宁省

  • 葫芦岛市
  • 辽宁省

  • 辽阳市
  • 辽宁省

  • 铁岭市
  • 辽宁省

  • 锦州市
  • 辽宁省

  • 阜新市
  • 辽宁省

  • 鞍山市
  • 重庆市

  • 重庆市

  • 市辖区
  • 陕西省

  • 咸阳市
  • 陕西省

  • 商洛市
  • 陕西省

  • 安康市
  • 陕西省

  • 宝鸡市
  • 陕西省

  • 延安市
  • 陕西省

  • 榆林市
  • 陕西省

  • 汉中市
  • 陕西省

  • 渭南市
  • 陕西省

  • 西安市
  • 陕西省

  • 铜川市
  • 青海省

  • 果洛藏族自治州
  • 青海省

  • 海东市
  • 青海省

  • 海北藏族自治州
  • 青海省

  • 海南藏族自治州
  • 青海省

  • 海西蒙古族藏族自治州
  • 青海省

  • 玉树藏族自治州
  • 青海省

  • 西宁市
  • 青海省

  • 黄南藏族自治州
  • 黑龙江省

  • 七台河市
  • 黑龙江省

  • 伊春市
  • 黑龙江省

  • 佳木斯市
  • 黑龙江省

  • 双鸭山市
  • 黑龙江省

  • 哈尔滨市
  • 黑龙江省

  • 大兴安岭地区
  • 黑龙江省

  • 大庆市
  • 黑龙江省

  • 牡丹江市
  • 黑龙江省

  • 绥化市
  • 黑龙江省

  • 鸡西市
  • 黑龙江省

  • 鹤岗市
  • 黑龙江省

  • 黑河市
  • 黑龙江省

  • 齐齐哈尔市