突破数据库备份恢复瓶颈:华瑞指数云“无损快照”技术赋能企业数据库实现秒级数据保护

互联网
2025
05/19
22:30
分享
评论

引言

在快节奏的数字化时代,数据已成为企业的生命线。各行各业都在以前所未有的速度产生和积累数据,而如何高效、可靠地保护和恢复这些数据,成为了企业持续运营和创新发展的关键挑战。

在近日举办的 IF Club 技术研讨会上,独立技术顾问、IFClub联合发起人萧少聪老师带来的主题分享《复刻云数据库的高端特性:秒级克隆、备份与恢复》,其中介绍了基于华瑞指数云高性能存储产品WDS的ROW无损快照方案实现,高性能分布式存储结合数据库场景的秒级快照克隆方案。分享之后,数据库备份恢复技术成为了讨论的焦点。与会专家深入剖析了传统备份恢复方案的痛点,并重点探讨了以“快照”技术为代表的新一代数据保护方案。本文将以研讨会内容为基础,结合对主流云数据库服务快照技术原理的分析,为读者呈现一场关于企业级数据保护的 技术解析。

数据库备份恢复:一场与时间和资源的博弈

传统数据库备份恢复面临着严峻的挑战:

数据复制之困:传统备份方法通常需要对整个数据库进行完整拷贝,这不仅耗时漫长,而且会占用大量的存储空间,甚至可能导致存储成本翻倍. 更糟糕的是,备份过程会严重消耗源数据库的 I/O 性能,影响业务的正常运行。

恢复时间之殇:恢复数据库同样是一项耗时的任务。虽然在理想情况下,恢复操作本身可能只需几秒钟,但实际场景中,数据传输、日志重放等环节都会增加恢复时间,使得企业面临更长的业务中断风险。

资源消耗之痛:传统备份方式对存储空间、计算资源和网络带宽都有着巨大的需求,这无疑给企业带来了沉重的运营成本和资源负担。

技术深潜:从COW到ROW,快照技术的进化论

“快照”技术作为一种先进的数据备份与恢复手段,通过创建数据在特定时间点的逻辑副本,实现了快速备份和恢复,“快照”技术作为一种先进的数据备份与恢复手段,通过创建数据在特定时间点的逻辑副本,实现了快速备份和恢复。

1.快照的本质:

快照,顾名思义,就是对数据在某一时刻的状态进行“拍照”,生成一个逻辑副本. 这个副本并非完整的数据拷贝,而是指向原始数据或其变化部分的指针。  

2.  快照的优势:

瞬时生成:由于无需进行物理数据拷贝,快照的创建速度极快,通常只需几秒钟。

节省空间:快照只记录数据的变化,因此占用空间远小于全量备份。 研讨会上,有专家举例指出,对于一个 500GB+ 的企业数据库,使用传统备份方式可能需要额外500GB+ 甚至更多的存储空间来存储备份数据,而采用快照机制,首次快照可能只占用几十 GB 的空间,后续的增量快照占用空间更少。

降低 I/O:快照的创建和恢复过程对源数据库的 I/O 影响较小。

3.  快照的关键技术:

实现快照的关键在于“写时复制”(Copy-on-Write,COW)和“写时重定向”(Redirect-on-Write,ROW)这两种技术。

COW 快照: COW 快照的核心思想是,在修改数据之前,先将原始数据复制到快照区域,然后再进行修改。

优点:实现简单

缺点:写入性能会受到较大影响,因为每次写入都需要先复制数据

ROW 快照: ROW 快照则是在修改数据时,将修改操作重定向到新的存储区域,保持原始数据不变。

优点:写入性能更高,因为无需复制原始数据

缺点:读取数据时可能需要查询多个指针,导致读取性能略有下降

“不可能完成的任务” —— 数据库秒级备份恢复

当前主流的开源数据库产品以PostgreSQL还是MySQL为主,大多数是私有化部署,如果需要实现数据库基于快照的备份恢复方案,大多数场景需要对接第三方存储或者本地盘来实现。

本地盘(HDD或者SSD)方案一般会选用操作系统自带的LVM来实现快照,而对接第三方存储多数会架构在ceph等分布式存储的基础上,使用ceph的快照。而无论是LVM还是Ceph,都是使用COW实现的快照,带来的快照和克隆都是有大幅的性能下降风险。别说秒级,就算小时级都达不到。

所以当前私有化部署的数据库大多数没有基于快照克隆的太好的存储解决方案,大多数第三方存储方案由于快照实现的方案的各种局限性,也不能完全满足数据库秒级数据备份的需求,至此实现数据库“秒级备份恢复”成为了一个“不可能完成的任务”。

主流云数据库的技术实践 —— “秒级备份恢复”

在公有云产品中数据库的功能实现相较于私有部署场景具备更加完整的能力实现,很多公有云数据库都已经具备或者接近“秒级备份恢复”的数据库数据保护能力,我们基于行业的一些主流资料对于几个主流的头部云数据库产品的数据备份恢复能力做了分析:

AWS:RDS 和 Aurora(基于COW优化接近秒级备份恢复体验)

RDS:AWS RDS 主要依赖于 EBS实现的快照来实现备份和恢复。

克隆:AWS RDS 的实例克隆主要通过“从快照还原”(Restore Snapshot)操作实现,本质上是数据的完全复制。

快照:EBS 快照是增量式的,仅存储自上一个快照以来发生变化的数据块。

PITR:RDS 的 PITR 结合了快照和事务日志,可以恢复到指定的某个时间点。

Aurora:AWS Aurora 采用了一种计算和存储分离的架构,并在此基础上实现了更高效的快照和克隆。  

克隆:Aurora 的克隆利用了“写时复制”(Copy-on-Write,CoW)机制,只需创建指向共享存储的元数据指针,无需拷贝数据,因此速度极快。

快照:Aurora 快照实际上是在这个连续备份流中的元数据指针或标记,是一个 O(1) 操作。

PITR:Aurora 的 PITR 基于连续备份流,可以实现秒级恢复。

阿里云:RDS 和 PolarDB(基于高性能快照实现了秒级备份恢复)

RDS:阿里云 RDS 与 AWS RDS 类似,也主要依赖于云盘的快照功能来实现备份和恢复。

克隆:阿里云 RDS 的克隆是通过将源实例的数据恢复到一个新实例来实现的,本质上是一个还原操作,创建数据的完整副本。

快照:阿里云 RDS 的快照也是增量式的。

PITR:阿里云 RDS 的 PITR 同样结合了快照和日志备份。

PolarDB:阿里云 PolarDB 的架构与 AWS Aurora 类似,也采用了计算存储分离的设计,并实现了快速克隆和恢复。

克隆:PolarDB 利用其底层存储的快照技术来实现快速克隆。

通过对比分析 AWS 和阿里云两家基于自己不同的存储快照能力实现的备份恢复效果,我们可以看到,主流云数据库服务在利用快照技术提升数据备份恢复的效率和性能的方向已经取得了一定的成绩。

但是如何提升企业私有化部署场景的数据库数据备份恢复能力呢?

数据库秒级备份恢复的破局者:华瑞指数云的“ROW无损快照克隆”

在前文COW与ROW的实现原理中,可以看到,虽然 ROW 快照在写入性能方面优于 COW 快照,但通用的 ROW 实现方案通常会牺牲一定的读取性能。而一些前沿的分布式数据库厂商(比如:华瑞指数云),已经实现了更先进的“无损 ROW 快照”技术,即在保证写入性能的同时,也实现了读取性能的零损耗。在私有化部署场景让客户能够拥有近乎完美的快照体验。

当前华瑞指数云 WDS 基于自己的快照能力真正实现了“无损 ROW 快照克隆”技术,克服了通用 ROW 快照的局限性,实现了真正的秒级快照和读写性能零损耗 。  

读写零损耗: 传统快照技术可能会对数据库的读写性能产生一定的影响,而华瑞指数云WDS的“ROW无损快照”技术,通过针对读场景的针对性优化,解决了ROW快照读流程实现中的缺陷,真正能够确保在快照创建和使用过程中,数据库的读写性能始终如一,不会出现任何下降。

秒级快照: 通过快照实现流程的精细化实现,华瑞指数云WDS实现的ROW快照真正支持以秒级的粒度创建快照,这意味着可以更加频繁地备份数据,实现更精细的数据恢复,将数据丢失的风险降到最低。甚至单卷的快照个数可以达到数万个级别。

灵活的备份策略: 由于华瑞指数云ROW快照技术的出色实现,WDS高性能块存储产品也可以通过快照实现并支持多种数据备份策略,用户可以根据自身的业务需求,灵活地设置备份频率、保留时间和备份方式,实现定制化的数据保护。

秒级克隆:基于“无损快照”技术,华瑞指数云WDS实现了数据库的秒级克隆能力. 传统数据库克隆为了解决克隆卷读写性能折损的问题,需要进行大量的数据拷贝来用Flatten功能与原快照解耦,耗时漫长,而华瑞指数云WDS只需秒级即可完成一个数据库的克隆,由于读写性能真正做到了无损,无需再使用Flatten克隆来做大量的全量拷贝,极大地提升了数据库的敏捷性。  

通过以上的“无损 ROW 快照克隆”技术,可以真正帮助私有化部署场景的数据库对接华瑞指数云WDS存储实现“秒级备份恢复”能力,可以让企业用户在私有化部署场景真正能够体验公有云数据库一样的流畅的备份恢复效果。

实践案例:PostgreSQL 数据库的备份与恢复

IF Club 技术研讨会上,萧少聪老师带来的主题分享《复刻云数据库的高端特性:秒级克隆、备份与恢复》PPT 中还提供了 PostgreSQL 数据库在使用 Ceph 和华瑞指数云 WDS 进行备份和恢复的详细操作步骤:  

备份过程: 通过 pg_backup_start 和 pg_backup_stop 命令配合存储系统的快照功能,实现数据库的备份 。

恢复过程: 通过克隆快照并挂载到目标服务器,实现数据库的快速恢复 。

性能恢复: Ceph 需要进行 flatten 操作才能恢复性能,而华瑞指数云 WDS 无此步骤,恢复速度更快 。

秒级克隆:基于快照创建完整数据库副本,无需全量拷贝。

PITR精准恢复:结合WAL日志,实现任意时间点数据回溯,误差<1秒。

# 华瑞WDS克隆操作示例(3步完成)

cli_ts snap create --snap_name prod_snap --vol_name pg_main  # 创建快照

cli_ts snap clone --vol_name pg_clone --snap_name prod_snap  # 克隆快照

cli_ts vol attach --vol_name pg_clone --target nqn.2024-06.wds  # 挂载克隆体

详细流程可以参见《复刻云数据库的高端特性:秒级克隆、备份与恢复》。

华瑞指数云WDS:定义新一代企业级数据库存储

华瑞指数云所有的产品能力无论是ROW无损快照,还是极致的低时延都得益于华瑞指数云先进的存储架构能力,为数据库应用带来了前所未有的灵活性和性能提升。在数字化转型的浪潮中,企业对于数据库的依赖日益加深。数据库使用的传统存储架构的种种局限性,如扩展性瓶颈、性能瓶颈、资源浪费等,已经成为制约企业发展的桎梏。华瑞指数云WDS,作为一款创新的分布式存储解决方案,旨在打破这些束缚,为企业级数据库应用带来前所未有的自由度和效率提升。

高性能、无限扩展的分布式存储:数据库的“超强引擎”

华瑞指数云WDS不仅在快照和克隆方面表现出色,更具备卓越的存储性能和扩展能力,为数据库应用提供强大的支撑。

极致性能: 华瑞指数云WDS的性能经过权威机构 SPC-1 的验证,IOPS 达到数千万,延迟低至微秒级别,超越了众多高端全闪存阵列,为数据库应用提供极致的性能体验。

线性扩展: 华瑞指数云WDS的分布式架构支持无限的线性扩展,可以轻松应对数据库数据量的增长和业务规模的扩大,满足业务持续发展的需求。

全信创、纯软件定义: 华瑞指数云WDS实现了全栈的信创支持,满足了对信息安全有较高要求的行业和场景的需求。同时,纯软件定义的架构,可以灵活地部署在各种硬件平台之上,降低用户的采购成本和运维复杂度。

数据库与分布式存储的 融合:释放数据潜能,定义新的能力边界

华瑞指数云WDS与数据库的结合,打破了传统架构的束缚,释放了数据的巨大潜能,并能够实现一些过去只能在公有云数据库产品上才能实现的高级能力,在私有云环境中为数据库赋予了新的生命力。

高级能力普惠化: 华瑞指数云WDS将公有云上的数据库高级能力,如弹性伸缩、多活容灾等,带到私有云环境,让更多的企业能够享受到这些技术红利,加速数字化转型。

定义新的能力边界: 通过分布式存储带来的高性能、无限扩展能力,数据库可以处理更大规模的数据,支撑更复杂的业务场景,突破传统数据库的能力边界,为企业带来更大的创新空间。

结论

通过华瑞指数云WDS以其“无损快照克隆”技术,真正可以实现数据库的”秒级备份恢复“的能力,让客户在私有化部署场景一样可以体验到云数据库的备份恢复能力。结合华瑞指数云的各种高性能存储能力,为企业级数据库应用带来了革命性的变革。它不仅能够满足客户对高性能、高扩展性、高安全性的需求,更能够赋能数据库应用,实现更多高级功能,助力企业在数字经济时代获得更大的竞争优势。

另外感谢IF Club 技术研讨会为我们提供了一个深入了解数据库备份恢复技术的平台。通过对“快照”技术的剖析,以及对主流云数据库服务实践的探讨,我们看到了数据保护领域正在发生的深刻变革。

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表 的观点和立场。

相关热点

相关推荐

1
3
Baidu
map