百度智能云:释放“傲腾上云”红利重新定义归档存储服务

2020-09-25 16:47 来源:本站

  此为,的SSD替代数据节点上基于HDD的缓存盘百度智能云团队首先研究了使用基于NAND。究显示但是研,SSD的局限在于基于NAND的,大量的后台介质管理随机写入操作需要,的吞吐量并缩短磁盘寿命这会大大降低每个磁盘。

  是三,要求方面耐用性,容量为16PB磁带库的存储,存盘能够持续服务三代磁带而百度智能云团队希望缓,现此目标为了实,盘理论寿命所对应的总写入数据量)的耐用性缓存盘需支持总写入量为48 PBW (硬。

  来看总的,期正变得越来越长今天数据的生命周,息安全和个人隐私的相关法律特别是过去几年国家出台了信,点困扰的企业也不在少数而被合规、数据保护等痛;数据越来越重视再加上企业对,甚至要求生产环境下的数据特别是某些关键领域的企业,年、十年需要有五,十年的保存甚至数个,档变得更加重要由此也让数据归。

  实际业务情况根据自身的,其缓存驱动的替代方案时百度智能云团队在考虑,数据层要求提出了以下:

  如例,车上的物联网(IoT)传感器通过安装在车队 300 辆,决方案生成了大量数据百度的自动驾驶汽车解,200万公里且已记录超过,分被归类为“冷”数据这些物联网数据大部,磁带上以进行长期存储并通过数据节点发送到,磁盘速度较慢但由于缓存层,变得十分的缓慢使得这个工作。

  基础上在此,AND 驱动器的两种配置百度的团队又评估多个 N,0 的标准耐用性配置包括16盘 RAID,+1的中等耐用性配置以及6盘 RAID0,00 MB/s的读取和写入要求虽然这两种配置方案都能满足6,插槽才能达到所需的吞吐率但却需要过多的NVMe,作变得更加复杂这将使得维护工。

  过程中而在此,盘作为缓存数据提升磁带库备份速度百度智能云通过将英特尔傲腾固态,带来的归档和备份的压力不仅破解了海量数据增长,更为丰富的产品体验也为众多用户提供了。 供图(百度)

  此因,的做法是业内通常,不同划分为三个分层将数据根据类型的,数据和冷数据即热数据、温。中其,库这种价格便宜的长期存储介质之中最“冷”的数据十分适合存储到磁带。

  看出不难,是基于NAND的SSD无论是传统的HDD还,望实现的性能和耐用性要求都难以满足百度智能云希,方的对比通过多,锁定在了英特尔傲腾固态盘上最终百度智能云团队将目标。

  如再,将存储在磁带库上的数据转移至新磁带库百度的数据保留政策要求每3-6年就要,使用缓存盘这就需要,断写入和读取越来越多的存档数据)而这种超负荷的缓存工作负载(不,统的低效率问题同样也暴露出系。

  天今,成为一种“新常态”海量数据的增长正在,量数据也变得日益困难而保存和管理这些海,个存储介质中更是不切实际的特别是把所有数据保存在同一。

  显示测试,固态盘作为数据节点上的缓存盘百度智能云通过采用英特尔傲腾,/s (随机)写入工作负载下该解决方案可在600 MB,B/s 的读取性能实现 600 M。D 的固态盘不同与基于 NAN,盘的优势还在于英特尔傲腾固态,入压力如何无论其写,响应时间不变都能保持读取。

  此对,借其高带宽、高耐用性、低延迟和易于维护的优势百度智能云相关人士表示:“英特尔傲腾固态盘凭,来了高价值为百度带,新磁带库解决方案并帮助我们加快创,本、提高效率同时降低成。”

  如此不仅,W 和每日整盘写入次数为 60 DWPD)英特尔傲腾固态盘的高耐用性(164 PB,PBW的耐用性要求远远超出了48 ,新解决方案通过这一全,内备份三倍的数据量百度可以在相同时间。

  是一,要求方面读取速度,力很大的情况下希望在写入压,00 MB/s的读取性能替代的缓存盘也需具备6, MB/s的写入速度以匹配磁带库600。

  CSI(SAS)等技术的发展得益于光纤通道和串行连接 S,写性能也得以不断提升如今磁带库的顺序读。而然,写入速度虽快磁带库本身的,妨碍数据以其最大速率写入磁带库的技术障碍但是基于磁带库的备份架构却存在一个常常会。

  外此,行的计算还表明根据设备规格进,不能满足耐用性要求这两种配置方案也都,.72和36.75其PBW分别为30,8 PBW目标“相距甚远”显然和百度智能云所确定的4。

  提的是值得一,发挥其产品及技术优势百度智能云还进一步,方案推上云端将英特尔傲腾,生数据库 GaiaDB 等产品为出口以智能云虚拟化块存储 CDS、云原,样解决方案打造云上多。能保持数据的快速响应及高性能读写而傲腾方案在较大的写入压力下依然,低成本及便携的数据管理能力让百度智能云为客户提供超,进的云服务输出持续先,体验打下了坚实的基础丰富云端存储产品和。

  际应用中但在实,虽然可以快速写入数据百度智能云发现磁带库,缓存盘上进行序列化但数据首先需要在,盘作为载体化解这一难题这就需要一款快速的缓存。于此基,入了英特尔傲腾固态盘百度智能云创新的引,用性兼备的特性借助其速度和耐,磁带库备份的速度不仅大大提升了,的读/写混合型工作负载的要求也满足了归档存储应用中繁重。

  前目,务、媒体和娱乐、政府、医疗等行业特别明显类似的需求在视频监控、生命科学、金融服。以所,内的可用性、可回溯性、可审计性未来如何保障数据在更长久周期,最为关注的话题无疑今天用户。

  样的云服务商来说对于百度智能云这,是资产也是压力海量的数据既,存储分层变得“迫在眉睫”尤其是大量冷数据的产生让。背景下在此,高且能够快速写入磁带库因性价比较,存档冷数据的理想之选成为了百度智能云快速。

  可见由此,不开快速缓存盘快速的磁带库离,份速度的重要性不言而喻缓存盘的性能之于数据备。盘带来的“瓶颈”为了打破缓存层磁,一种更好的缓存驱动替代方案百度智能云希望通过寻找到,带库备份的速度以进一步提升磁。

  是二,要求方面写速度,度饱和以提高成本效益为了保持磁带写入速,至少与缓存数据写入磁带的速度相等磁盘将新数据写入缓存盘的速度应, MB/s即600。

  来说具体,到磁带库上之前在将数据备份,到缓存层的数据节点上首先需要将数据收集,做准备(进行序列化)以便为写入磁带介质。AS RAID缓存层磁盘对于此类数据节点中的S,达到让磁带库管道饱和的速度其读取和写入操作通常无法,份速度缓慢等挑战进而导致出现备,库的高速潜能无法发挥磁带。

  观察”百度智能云:释放“傲腾上云”红利“申耀的科技观察”近期发表了标题为《“,储服务》的文章重新定义归档存,如下原文:

  看到可以,傲腾固态盘借助英特尔,了出色耐用性的同时百度智能云不仅实现,合型工作负载带宽要求也满足繁重的读/写混,解决方案而通过此,间比之前的解决方案减少了67%百度现在备份相同数据量所需的时。

  机械硬盘(HDD)为例以百度智能云此前使用的,200 MB/s其读取速度仅为,为每秒600 MB/s的要求不但难以满足磁带库写入速度,速度降低了三分之二还把磁带库的备份,和备份工作变得效率低下使得大量数据存储归档。

  经济时代在数字,经济的重要生产要素海量的数据成为数字,年疫情的影响特别是受今,迅速地转移到了线上线下的生产和生活,来了新一波快速增长相应的数据也再次迎。

  疑问毫无,特尔的成功合作百度智能云与英,升级提供了重要的参考和借鉴方向不仅为数据归档和备份的优化和,到了云存储服务所带来的好处也让更多的行业和用户享受,内的可用性、可回溯性和可审计性真正实现了冷数据在更长久周期。

版权声明:转载须经版权人书面授权并注明来源
分享到:0