数据存储资源
通过部署敏捷数据管理平台ADM产品的数据副本管理模块,实现了测试数据版本迭代管理,提升了数据使用过程中的应用效率。随着移动互联网技术的不断革新,移动应用业务不断扩张,企业面临着前台业务频繁更新升级的现状,为保证既有业务稳定,需要对新提出的升级需求开展仿真测试与回归测试,因此亟需一套能够对测试环境的测试数据进行版本灵活切换的解决方案,便于测试数据版本的即时调用,迅速适应不同业务程序提供不同版本的测试数据。ADM的虚拟数据库快照功能解决了这一问题,通过对数据库状态进行定时或即时的记录,管理和维护当前虚拟数据库的数据,使用人员可以随时通过记录的虚拟数据库快照提供一个版本的测试数据,经过测试后保存当前的数据库使用状态,便于开发测试的数据版本迭代,通过这一功能明显提升了程序升级测试、版本迭代的效率.备份数据是一家企业数据资产的来源,要注重安全防护。数据存储资源
数据备份面临存储成本高的问题,ADM采用内置高效的压缩存储池存放数据,压缩比约为3:1,存储即压缩,降低了备份数据的存储成本;其次,通过ADM的数据库虚拟化技术,一份基础数据即可快速拉起多份虚拟数据库,由于虚拟数据库90%的数据均与原始数据相同,因此拉起时几乎不占用额外的物理存储空间,只对新增的写操作计入容量占用,因此,随着数据分发使用的场景和频率增加,虚拟库的数量越来越多,而存储成本将会呈倍数级节约,例如针对同一份数据创建N个虚拟库,传统方法需要N倍的存储空间占用,而通过ADM只需要占用近乎0TB的存储空间,节约了数据存储环节的资源和成本。备份数据的完整性上讯信息敏捷数据管理平台ADM包括PDM、BDM、SDM、CDM四大功能模块。
敏感数据处理是上讯敏捷数据管理平台(ADM)产品功能模块之一,主要针对敏感数据的处理使用,提供集敏感数据自动识别、仿真处理与数据交付为一体的敏感数据管理功能,覆盖了敏感数据使用与管理的全部场景。针对敏感数据识别提供通用数据特征库,敏感数据类型包括但不限于个人身份信息、组织机构信息、资质资格证信息、金融数据信息、医疗数据信息、车辆数据信息等众多类别,支持全库与子集自动扫描识别,包括数据内容、字段类型、约束关系均可以实现自动识别,并依据类型特征加以分类;针对敏感数据的仿真处理,ADM内置大量数据算法对敏感数据进行随机化、模糊化替换,保证处理后数据的完整性、仿真性以及数据间的关联关系保持不变,支持处理结果的校验。
上讯敏捷数据管理平台适用场景:数据交付速度慢的开发测试部门企业通过交付生产数据辅助第三方业务决策,如开发/测试环境、统计分析、准业务系统环境搭建等,交付生产数据的方式是通过生成业务系统数据副本,而副本的准备通常需要几小时,甚至几天不等,严重拖延了项目进度。
备份数据的有效性验证效率低的运维部门,大部分企业对其**业务系统进行了数据备份,为了检验备份数据的有效性,以及满足相关法律法规的要求,企业对备份数据采取周期性的恢复验证;由于企业的业务系统繁多,而人员相对紧缺,验证工作需要大量重复性动作,成为企业当前面临的一大挑战。
数据副本分散存放难以管理的数据中心数据副本一旦被交付使用,就**存在于使用环境中,随着数据使用场景的日益增多,数据副本在非生产环境中逐渐累积,**分散的存放方式导致副本的辨识度不高,后续使用与销毁难度明显增大。同时,重复存放现象严重造成了存储资源的浪费。u隐私数据泄露风险高的用户无论是通过生产数据库导出,还是通过备份系统恢复,都能够直接获取到企业的**生产数据,其中包含企业内部机密数据和客户个人隐私信息,一旦发生泄露将带来严重后果,不仅影响企业的名誉,也会造成一定的经济损失。 上讯敏捷数据管理平台ADM产品数据库虚拟化技术是什么意思?
在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。国内较早发布CDM领域的平台型产品是上讯敏捷数据管理平台ADM产品。敏感数据处理效率每秒几万条
上讯ADM专注于备份数据的合理合法开发利用。数据存储资源
(1)国产化数据备份系统兼容性不足当前国产化数据保护系统对国产化数据库、文件、虚拟化平台、容器、云服务器等备份源类型兼容不***,适配过程中需要更多的时间进行功能稳定性验证。(2)数据备份恢复验证耗时耗力当前采用NetBackup等集中备份系统备份的数据需采用手动恢复数据,过程繁琐、重复度高、专业性强,耗费大量的时间和人力成本。(3)数据交付时间长不论是通过数据恢复还是数据拷贝来提供测试数据,需要几小时到几周的时间。(4)占用大量存储资源数以千计的数据副本占用大量存储资源,需要更多的维护成本。(5)数据版本回退困难开发、测试环境中,当完成一轮跑批测试或功能调试后,重置数据状态需要重新导入数据或重新恢复数据,回退数据产生的时间成本巨大。(6)数据安全风险真实数据被用于测试使用后无法及时回收和销毁,造成资源浪费,存在敏感信息泄露的安全风险。(7)敏感数据安全隐患生产数据库中存在着大量的敏感信息,传统的手工***效率低、仿真度差、***不完全,交付给测试环境后存在隐私泄漏的风险。数据存储资源