腾讯云领跑对象存储背后,做海量数据驱动的新引擎毫无疑问,随着云计算、大数据、人工智能、物联网等新技术在各行各业更加广泛的普及与应用,在催生越来越多数据量产生的同时,也让数据的管理和价值挖掘变得愈加复杂和困难。 可以看到,未来大量数据可能不是来自数据中心内部,而是分散在各种的边缘设备上;同时,数据不仅仅是完成存储就万事大吉,还要支持智能化的管理和分析;此外,数据还需要在本地数据中心与云之间,甚至是多个云之间自由流动,以确保数据始终随时可用等,这种前所未有的变化,也意味着存储乃至整个数据基础设施迎来了一个关键的重构期。 在此背景下,腾讯云今年推出了面向对象存储服务cos的新一代存储引擎yottastore,并依托yottastore陆续发布了全新的一站式数据湖、智能分层和深度归档等服务,可以说yottastore不仅成为腾讯云存储服务的坚实技术“底座”,同时更为众多客户海量数据的存储和管理创造了无限的可能。
腾讯云存储pg娱乐电子游戏平台的产品中心副总经理陈峥 正如腾讯云存储pg娱乐电子游戏平台的产品中心副总经理陈峥日前在腾讯techo park开发者大会上所言:“腾讯云在过去的十年中,基于自身业务发展夯实了存储技术底座,在开放兼容的趋势中提升了存储产品的能力。而下一个十年,是产业互联网的十年,我们也衷心希望能和腾讯云的客户一起腾云而上,为客户提供更好的存储服务。” 在这背后,正是腾讯云一直以来在存储领域“与时俱进”积极响应用户需求的最新举措,也是其跟随产业互联网时代不断进化和迭代的具体体现,相信这种持续的前瞻力、创新力和产品力,将为腾讯云在存储市场实现“长跑”乃至“领跑”起到更加至关重要的作用,也将会为释放数据更大潜能发挥出更为关键的价值。 打造新一代存储技术底座 随着数字化转型的提速,越来越多的海量数据正呈现出爆炸式增长,企业的存储基础设施也正面临着“翻天覆地”的变化,特别是新的数据形态、新的部署环境、新的安全需求,都对存储的发展提出了新的挑战。 这种挑战对于腾讯云而言主要表现在两个方面:一方面是如何在满足数据飞速增长、对功能、性能的要求不断增加的情况下,持续降低成本、并提升服务质量;另一方面,是腾讯云如何在充分享受硬件发展红利的同时,也能够持续分享给最终的客户? 陈峥说:“最早我们研发了tfs存储引擎,这个存储引擎在腾讯也有超过十年的历史,但是随着整个腾讯的业务越来越多,数据量越来越大,我们发现原有的架构在未来几年应对不了zb级数据存储的需求,因此面向未来就必须未雨绸缪,yottastore引擎也就应运而生。”
据了解,腾讯云新一代存储引擎yottastore于2018年开始启动研发,2019年正式完成上线,这是一个完全由腾讯自研的面向百eb级别的分布式存储架构。其中,yotta的中文谐音是“有他”,代表了安全可靠的意思,而在腾讯内部,也有“存储有他,能力无限”的说法,而yottastore也在三个维度实现了重大的技术突破,具体而言: 一是,超大规模集群,极高资源利用率。传统分布式存储系统往往存在这样的瓶颈,即单机无法承担过高的qps、元数据量大但单机容量有限、内部逻辑往往非常复杂,此前也有社区尝试突破这种瓶颈,比如通过垂直拆分federation,但依然无法解决数据分布不均匀、请求分布不均匀等问题。 而yottastore通过分级自治、读写分离以及按功能拆分等创新,化解了上述难题,目前yottastore单集群规模就可达百万台,有效数据占比90%以上,存储数据规模高达百eb级别,可靠性远超 12 个 9,可用性超过 99.995%,还为客户提供了单bucket高达6万的请求 qps,为满足客户云上大数据分析需求提 供了底层能力支撑,在云上形成数据闭环。 二是,极致灵活,支持原生多az且硬件自适应。yottastore支持原生多az、任意副本和ec的冗余模式。原生多az的优势在于,所有的服务器可以共同承担数据的吞吐量、数据一致性天然有保障,az出现故障降级即可,系统能够自动恢复,其中rto(恢复时间目标)可实现分钟级,rpo(恢复点目标)为0。 除此之外,yottastore也支持异构硬件自适应混合部署,同时代码零改动就能兼容新硬件,包括存储引擎、写入分配、数据均衡、可用区划分以及服务器部署都能自适应。 | |||||
| |||||