乐竞体育

华为高俊霞:全闪存数据中心构建安全绿色数据基础设施

发表时间:2022-08-11 07:39:36 | 作者:乐竞体育

  11月23日,由百易传媒(DOIT)主办,中国计算机学会信息存储专委会、中国计算机行业协会信息存储与安全专委会、华中科技大学武汉光电国家研究中心、固态技术协会(JEDEC) 等机构支持,主题为“数据觉醒”的“2021(十七届)中国数据与存储峰会”在线上召开。

  峰会为期三天,包括一场主论坛、九场技术论坛、五十余场演讲。知名院士、专家学者和产业领袖一起共同探讨存储创新与数据觉醒等热点话题,首日吸引各界专业人士10万人次观看,参与互动。

  在今天下午的主论坛上,华为数据存储与机器视觉产品线全闪存营销VP高俊霞以“全闪存数据中心,构建安全、绿色数据基础设施”为题,发表演讲。全文如下:

  大家好,很高兴今天和大家一起分享华为对于数据基础设施的心得和体会。我今天分享的题目是《全闪存数据中心,构建安全绿色数据基础设施》。

  2008年的时候,华为发现业界开始用SSD颗粒来替代传统的机械硬盘,所以我们压强投入,到2010年,我们诞生了业界首批企业级SSD盘。它是一种更快、更可靠的介质。我们不满足于单独一个盘,所以2011年的时候,我们发布了业界首批Tier0全闪存。为什么是Tier0呢?因为它是一个性能极快的,但是没有任何企业级特性的存储,所以一般应用于我们的数据加速。

  经过了6年的投入和研发,到2016年华为发布和业界首批Tier1全闪存。我们将全闪存应用于主存储市场,它不单单是快,而且具有丰富的企业级特性。这个时候的全闪存,硬盘普遍采用基于SAS的协议,所以叫SAS SSD盘。SAS协议是适配机械硬盘的一种协议,所以它成为束缚SSD颗粒的瓶颈。

  2018年,华为发布了业界首家全系列NVMe全闪存,我们将全闪存的时延进一步的降低。到2019年,我们发布了业界唯一基于全互联架构的高端全闪存存储,这个时候全闪存不单单具有丰富的企业级特性,而且再承载用户核心应用方面具有全面的领先能力。

  华为一直助力于闪存普惠,今天我们全闪存已经成为市场的刚需,有业务的需求,有绿色节能的需求,我们刚刚经历了双11的促销,大家看到,由于双11这样的一个电子商务的发展,金融行业高峰期的交易量,从每秒3000笔提升到每秒30000笔,这个时候的存储,机械硬盘是无法承载的。

  再比如说运营商Billing的出账时间,已经不满足于之前的10小时,运营商希望在3.7小时内完成,所以业务加速全闪存应用。

  其次,绿色节能已经成为数据中心建设的主旋律,要降低整个存储的功耗,乃至降低数据中心的功耗,我们发现机械硬盘的耗能是全闪存的3倍,所以我们要加快SSD盘替代机械硬盘的步伐。

  我们发现全球市场闪存占比已经达到43.7%,而在中国这个数字今天只有24.7%,仍然有非常长的发展历程,我们需要加快,让我们的全闪存从SSD加速到主存储到全闪存数据中心。

  2010年华为第一代Tier0全闪存存储关注于单点的技术设计,关注于SSD硬盘性能的发挥,所以它具有高性能的硬件,但是没有任何增值软件,只能用于加速场景,不能用于主存。到2015年,随着企业级特性全闪存的诞生,全闪存已经全面应用于主存储的产品。这个时候,我们开始关注产品级的设计,重点关注系统的可靠性,关注它丰富的企业特性,有没有数据保护能力,有没有QoS能力。

  到2021年的今天,随着数字化转型的加快,随着用户业务对于IT系统性能的要求,随着绿色节能的发展要求,全闪存正在向数据中心全面推广,这个时候我们开始关注数据中心级的设计,要全面释放闪存的潜能,不单单是系统,还包括网络,包括整个数据中心资源的规划等等。

  第一大变化,全场景的闪存普惠。全闪存已经从主存储,从核心业务,发展到非结构化数据的通用存储、文件存储,乃至发展到备份存储。全场景数据的存储应用,达到绿色节能的效果。

  第二大变化,数据中心开始关注数据保护,从原来单维的一个备份系统到今天多维的数据保护,我们开始关注数据保护的性能,我们开始关注我们所保护的数据类型和数据量,关注所能保护的数据的范围,保护对象,还有保护的等级,在多长的时间内能够恢复业务,在多长的时间内能完成备份,我们能够存储多长时间的数据。

  第三大变化,多元融合的管理。在整个数据中心里,要从单一的存储开始到整个数据中心的存储管理,那如何合理的规划我们的应用和存储资源的匹配,如何规划我们的应用和数据保护资源的匹配,如何进行合理的调优,如何随时进行资源的调配,所以我们开始关注整个数据中心的融合存储管理。

  最后我们建设更高速的存储局域网,将传统的SCSI协议变成更快、更低时延的NVMe协议,充分释放全闪存的性能。

  所以今天我们要拥抱变化,构建安全绿色的全闪存数据中心。华为全闪存数据中心解决方案涵盖了方方面面,涵盖了全场景的闪存化,从核心存储到通用存储,从结构化存储到非结构化存储,涵盖了全场景的数据保护,从容灾到备份乃至到归档,全链路的数据保护,那么从存储到存储局域网,由原来的光纤交换机变成今天支持NVMe协议的RoCE交换机,实现了全IP的数据中心网络;从单台存储设备的管理到整个数据的存储资源的管理,要实现数据全生命周期的自动化,从规划到建设到维护到优化,这样的一个数据中心是绿色节能,是安全可靠,是极简运维的,所以我们也把它称之为全场景、全生命周期、全IP。

  我们首先来看全场景的闪存化,我们要从关键核心业务到通用业务到文件业务,全部将机械硬盘变成SSD硬盘,系统的性能提升40倍,灾备效率大幅提升,整个数据中心的电力能耗降低73%,整个空间占用节省50%,这样的一个数据中心是节能的,这样的一个数据中心是高效的。我们做过一笔计算,完成一块SSD硬盘的替换,相当于植树150棵。

  SSD硬盘已经不能满足我们用户的业务需求了,我们需要更快的介质,更低时延的介质,所以下一步我们要开始发展SCM,当然它和SSD硬盘的发展历程几乎类似,我们会首先将SCM应用于我们的数据加速,应用于全闪存领域的加速,让性能达到30%的提升,时延降低50%。

  接下来我们会将SCM应用于整套存储系统,建设一套全SCM的存储。这个时候的性能,再一次提升30%,时延再一次降低50%,所以主存的闪存化需要SCM的加持,需要更低的时延。

  容灾的闪存化也是我们的一个方向,原来的备份系统它是一个静态的,不是随时可用的系统,今天我们要将这套备份系统演变成生产中心,让两个数据中心达到双活的效果,当然,第二个数据中心也需要一套高可靠的存储,以达到当生产中心A故障的时候,马上无感知的接管。

  热数据全容灾,我们还需要做温数据热备份,原来备份只能备份我们的核心业务数据,用户不太关注备份的时间窗,因为数据量较小,往往在规定的时间内是可以完成的,但是今天我们的备份范围已经从结构化数据到非结构化数据,备份的数据量从PB级到EB级,这个时候备份时间窗将成为一个重要的指标,如果在用户规定的时间内,不能完成备份,那么将会对第二天的生产业务造成极大的影响。

  所以要建设一套高效的备份系统,让备份时间从小时级变成分钟级,以满足我们EB级数据备份的需求,满足非结构化数据备份的需求。

  那么高性能的备份当然需要高性能的介质,这样的投资我们需要充分的发挥,所以我们让备份的数据热起来,让备份的副本即时可用,让它能够应用于用户的数据挖掘、开发测试等等,让备份数据也热起来。

  对于长久保存的数据,我们有三级存储介质的解决方案,主存用电、备份用磁、归档用光,通过三级存储介质的数据分层,达到长期数据保存的目的,当用户需要的时候,我们可以从冷数据或者温数据快速的将数据恢复到热数据层,以达到访问时间大大缩短、分钟级访问时间的目的。

  我们进行了一个加速,那么我们需要规划更广的保护对象,从生产核心,从结构化数据,到开发测试,到非结构化数据,有了更高效的备份系统,这些都已经可以实现。要让备份的业务系统响应更快,所以要做双活的容灾,用户有需求的时候,我们可以建立三个数据中心的容灾,也可以建立灾备上云的解决方案,备份的力度更加小,更加细粒,业务恢复的时间更短,即使是灾备上云也可以做到5分钟内在云内完成业务的恢复,所以对用户的灾备响应来说,他的响应会更快。

  基于电、磁、光三级架构的备份归档设计,我们让数据的留存时间更久,留存可以达到30年到50年,整个归档时间段内可以做到防篡改、防病毒,是一个高安全的归档。

  这样的一个数据中心,它已经不单单是一套存储系统了,已经覆盖了从SAN到NAS,从主存到备份,从生产到数据保护,这么多的资源,如何做到管理自动化,是我们的建设目标。我们要根据客户业务的负载进行评估,帮助客户规划更加匹配、更加性价比好的资源,既要满足用户的性能诉求,同时要做到投资最低。根据用户的数据的安全重要性来制定他的保护策略。

  这些过程都是可以自动化的,都有编排的目录可以随用户自动选择;在运维过程中如果发现故障,能够及时的发现并且分析最终定位,做到防患于未然,主动发现,主动维护。

  在资源使用的过程中,我们可以进行优化,进行变更,可以将浪费的资源回收,将积聚的资源发放给更重要的业务区。

  这个运维效率当然也包括存储局域网,原来的FC网和我们的以太网是两张网络,所以用户的管理是两套网络的管理。随着SSD介质的发展,我们发现FC网络已经成为束缚系统端到端时延的一个瓶颈,所以需要更低时延的协议,满足我们的需求。

  基于NVMe over RoCE协议,正好达到了简化运维、提升性能、降低时延的效果。华为采用了增强型NOF网络,与我们的交换机进行了强强联合,不单单实现了成本的降低,实现了统一的管理,而且实现了比传统专用网络更高的性能,更好的易用性。

  这样的数据中心正在广泛的被客户采纳。全球已经有超过1.5万个NA客户采用华为的存储,我们也很欣喜地发现,已经有很多客户开始部署全闪存的数据中心,比如同仁医院等等。

  华为全闪存数据中心具有四大能力,全场景的闪存化、全场景的数据保护、全场景的自动化数据管理、以及高速的数据中心网络。这一切都来自于持续创新,我们的目标是助力我们的客户数字化、智能化的转型,加快客户的智能化转型。