华为云存储的微秒级数据处理

发布时间:2019-07-10

阅读量:1349

微秒这个名词,相信大多数人都没有什么概念。长久以来,受限于网络和存储的因素,微秒级时延或者响应时间在实际应用中是可望不可及。但是,伴随着5G等新兴技术的发展,越来越多的智能化应用都开始涌现出来——比如今年3月,中国人民解放军总医院的医生就在远隔3000公里外操作手术器械,完成全国首例基于5G的远程帕金森病“脑起搏器”植入手术。

这项成就得益于5G网络高速率、大带宽、低时延特性。既然网络已经能够提供微秒级的应用,那么对于存储介质来说也必须迎合这种发展趋势,才能够最大限度地发挥系统效能。于是,才有了刚刚我们介绍的华为云存储All-Flash战略,它的出现将传统意义上的“慢车”——存储和网络大大提速,并与计算一起,构成了数据处理迈向智能时代的“三驾马车”。

   “从毫秒进入微秒时代,数据中心客户主要面临两大时延瓶颈:一方面是传统软硬件协同,特别是网络传输的时延瓶颈;另一方面则是传统HDD介质的物理能力瓶颈。”华为云CTO张宇昕介绍道。“在我们印象中,网络时延一直是数据处理能力的“硬伤”,这期间哪怕是瞬间的等待也会带来糟糕的体验。另一方面,HDD存储介质的发展的确遇到了越来越多的问题。如今伴随着16TB容量硬盘的出现,HDD的响应时间依然是大众吐槽的重点。”

面对大量客户的需求与痛点,华为云也从多个层面着手解决。针对系统层级的时延,华为云通过软硬件架构和数据中心架构的优化,实现了极简网络,也实现了多核免锁并发,使得软件的时延和网络的时延降到了极低。所以整个数据处理IO从进来到出去,能实现50μs -100μs的稳定时延。而关于存储介质时延问题,华为云采用Flash替代掉了HDD,将介质时延从原本四毫秒左右缩短到几十微秒的级别。

当然这并不是简单的替换就可以的。俗话说好马配好鞍,有了高速Flash介质,还需要对软件进行优化才能让介质性能得到最大限度的发挥。同时,尽可能的降低时延,达到与网络时延的一致性,需要彻底解决硬件层面的瓶颈问题。

    “传统硬盘是物理盘片,在提供算法的时候需要考虑到大圈小圈的问题,所以之前的算法都是对于物理磁头的读写性能进行优化,随机读写方面的性能就明显低得多。”张宇昕说,“更换为Flash介质之后就完全不存在这种问题,随机读写的性能表现非常不错。但是对于Flash来说,我们需要保证不在某一个位置持续、频繁地读写,所以在算法上也要进行调整。”而对于这一点,华为云的工程师们进行了大量、复杂的算法优化工作,在提升性能、降低时延的同时,也保证了Flash介质的寿命和应用可靠性。

我们正处于数据爆炸的时代,在迈向智能化的道路上,数据成为了我们赖以生存的“食粮”,而掌握了数据应用,就能掌握未来的智能时代。据华为全球产业展望(GIV)报告预计,2025年的全球年数据增量将提升至180ZB,但是,目前企业数据利用率却只有10%,数据价值没有得到充分释放。而如果想让数据发挥价值,则需要从多个方面采取措施,为此华为本次也带来了全新的“数据底座”概念。

华为云指出,制约云计算为智能时代更好地服务的瓶颈就在“最后一公里”。在云端,“最后一公里”就是数据通过服务端软件、网络、存储服务器,最终抵达介质的这一过程。