在数字化浪潮的推动下,企业正加速其数字化转型的步伐,随着企业规模的快速增长,云厂商需要在大规模运营下保证服务的可用性,同时优化成本和提升运营效率;而企业则需在数字化转型的过程中,提高开发和运营效率,同时应对业务负载的波动性和不确定性。
因此,云原生数据库的技术创新和智能化升级显得尤为重要。从软件架构的优化到硬件资源的合理配置,再到AI技术的深度融合,每一步都关乎着云原生数据库能否满足现代业务的需求,在数字化转型的浪潮中立于不败之地。近日,在51CTO举办的“WOT全球技术创新大会2024·北京站”上,腾讯云数据库产品总监刘迪向与会嘉宾分享了腾讯云面对规模增长带来的效率挑战,通过软件、硬件和AI的"三位一体"策略,实现了数据库的全面升级,赋能企业业务,实现降本增效。
腾讯云数据库产品总监 刘迪
技术+业务,双擎驱动云原生数据库进程“数据库的发展主要受到两个因素的驱动:业务需求与技术进步。”
随着企业业务的不断扩展和规模化,对数据库的要求也越来越高。传统的商用数据库如Oracle、DB2、SQL Server等,虽然在一定程度上满足了企业的需求,但随着业务的复杂性和多样性增加,这些数据库逐渐显露出其局限性。因此,越来越多的企业开始寻求更为灵活、高效、可扩展的数据库解决方案。云原生数据库以其独特的优势,如弹性伸缩、高可用、自动化运维等,成为了企业业务发展的理想选择。近几年,以电商和直播带货为例,业务的快速增长和不可预测的流量高峰,要求数据库必须具备快速扩展和高效处理的能力。
同时,刘迪也观察到,后疫情时代企业纷纷出海又给云原生数据库带来新一波的挑战——企业需要构建高效的全球化数据库网络,以确保不同地区的用户都能获得一致的体验,所以跨地域的数据一致性和延迟问题变得尤为突出,需要数据库技术不断适应这种全球化的趋势。
与业务需求相辅相成的是技术的进步。随着时间的推移,云原生架构从提出发展至今,其周边服务和生态系统也日趋完善。
在腾讯云数据库产品总监刘迪看来,在技术和业务的驱动下,目前云原生数据库已进入3.0阶段。3.0阶段的云原生数据库开始融合多种新技术实现Serverless化,包括人工智能(AI)技术和其他新兴的周边生态技术。Serverless化是云原生3.0阶段的一个关键特征,它代表了一种技术革新,能够为用户在成本控制、性能提升以及应对极端业务场景方面带来显著的好处。Serverless架构允许云服务提供商自动管理服务器,从而使用户能够专注于代码和应用,而不必担心后端维护工作。
软件+硬件+AI,三位一体升级数据库"所有行业都值得用AI重做一遍。"在数据库领域,AI的加入不仅是一种趋势,更是一种革命。腾讯云正以软件、硬件与AI的"三位一体"策略将数据库“重做”一遍。
腾讯云原生数据库TDSQL-C的设计,是软件定义数据库概念的典型体现。它采用了计算与存储分离的架构,这一设计的优势在于能够根据业务的实际需求灵活调整资源分配。"log is database"的理念,使得TDSQL-C在处理大量数据时,能够保持高效的数据写入和恢复能力。与传统的MySQL相比,TDSQL-C通过Segment化存储,实现了数据的高可用性和灵活扩展。
腾讯云通过软件架构设计与硬件的紧密结合,打破了传统数据库设计的局限。全面升级至全链路RDMA网络,实现了存储层与计算层间高效互联,显著降低延迟,优化I/O性能。其中,zero copy技术避免了内存拷贝,通过kernel bypass减少了CPU开销。进一步地,腾讯云采用oneAPI DPC++/C++编译器进行代码优化,利用链接时优化(LTO)和配置文件引导优化(PGO),实现了应用程序性能的最优化,提升高达85%。
此外,CXL协议支持的三层解耦架构,为资源配置提供了更大的灵活性和成本效益,独立配置CPU和内存资源,适应不同业务需求。而基于持久化内存的二级缓存,通过智能数据重分布,提升了IO密集场景下的性能,实现了3倍以上的性能提升。
"腾讯构建了一个打破了传统的数据库的软件架构设计的方法,"刘迪提到。TDSQL-C MySQL作为腾讯云自研的新一代云原生关系型数据库,融合了传统数据库、云计算与新硬件技术的优势,采用‘存储和计算分离的架构’,100%兼容MySQL,为用户提供极致弹性、高性能、高可用、高可靠、安全的数据库服务。
AI技术在云原生数据库中的应用,是腾讯云革新的另一大亮点。刘迪透露,腾讯云的AI技术主要分为AI for DB和DB for AI两个方向。目前,腾讯云的重心主要集中在AI for DB上,致力于提升数据库的性能和用户体验。AI for DB的应用包括自动化参数调优、智能故障分析与检测,以及基于大型模型的自然语言处理技术,实现自然语言到SQL的转换。结合大数据分析模型和Serverless技术,腾讯云进行了负载预测和弹性预测,引入了自适应和自治数据库的概念。
刘迪强调,腾讯云通过AI for DB的能力,不仅提升了数据库的运行效率,还通过智能装箱策略等手段降低了运营成本,这些成本的降低最终回馈给了用户。
综合来看,软件、硬件和AI的结合,为云原生数据库带来了革命性的升级。这种"三位一体"的升级策略,不仅提升了数据库的性能和可用性,还实现了智能化的管理和优化,预示着数据库技术未来的发展方向。
业务+运营+技术,AI助推极致效率“腾讯云的目标是确保AI的益处能够转化为实际的业务价值,让用户真正感受到AI带来的红利。”正如刘迪所说,AI技术的引入,无论是企业使用资源过程,还是腾讯云管理资源、服务客户的过程,效率水平都得到了极大的提升。
在客户使用资源的业务效率方面,AI的引入,使得数据库的参数调优服务变得更加智能化和自动化。腾讯云数据库通过深度强化学习等AI算法,实现了基于场景的自动探索优化参数,沉淀专家经验,并加入遗传算法,大幅缩短了调优时间。"6000+ 场景调优,提升TPS,降低RT",现网调优实例超过10万+,平均性能提升达到了65%。
在腾讯云自身的运营效率方面,数据库的全景化业务连续性管理,通过自诊断和自演进的能力,实现了从故障预测到故障转移的全流程智能化处理。故障前能预测负载变化,发现硬件故障;故障中能进行DB、OS和硬件的实时检测,实现秒级的精确故障发现;故障后可以基于数据库代理的连接保持和事务保持能力,连接不中断,事务不回滚。这种实时智能的异常分析能力,大幅提升了异常处理效率,降低了故障对业务的影响。
在系统效率方面, 硬件、软件和AI的结合,为系统效率的提升提供了强大动力。腾讯云数据库通过智能Serverless技术,实现了资源的极致弹性和高性价比,按需付费。实例建模,资源使用预测,智能的装箱和调度策略,这些技术使得资源物尽其用,让相同的资源处理更多的Query,同时为实例寻找最合适的机器进行放置,提高了资源使用效率。
刘迪透露,目前人工智能(AI)的应用已经从理论走向了实践,落地于多个案例中,这AI的集成,特别是在新一代架构中,已经开始展现出其在数据库领域的工程化潜力。
目前,AI for DB的尝试主要由云服务提供商推动,通过AI服务为用户提供更为极致的体验。也就是说用户可能并不直接感知到AI的作用,只是在无形中感受到效率和体验的提升。展望未来,刘迪认为随着技术的进一步发展,可能会出现DB for AI的新模式,让用户能够更直接地利用数据库进行智能分析和处理。
写在最后根据IDC发布的《IDC MarketScape:中国分布式关系型数据库 2023年厂商评估》,腾讯云数据库TDSQL的市场份额已经成为行业第一,腾讯云过去的技术和服务已经受到市场广泛的认可。随着客户需求的不断增长和技术的持续进步,腾讯云数据库的创新之旅将不会仅限于“软件+硬件+AI”的三位一体模式,而将不断拓展新的前沿领域。我们不妨拭目以待,腾讯云会为正在追求数智化转型的企业带来怎样的惊喜。