kafka

敏捷数据管理平台ADM能够将上游的数据收集、存储，中游的数据处理、传输，下游的数据分发和交付全流程贯通，形成一套自动化、智能化的副本数据全生命周期管理解决方案，为银行业实现测试业务多场景的数据覆盖，实现业务版本的高质量交付和快速迭代提供了行之有效的工具。ADM的数据库虚拟化功能与GoldenDB高可用、高可靠的数据库服务相结合，为该行提供了敏捷的副本数据交付能力与灵活的副本数据管理能力，对银行测试数据管理体系的构建起到了强有力的助推作用，助力打造数字化业务增长新模式.上讯信息敏捷数据管理平台ADM产品的数据备份模块通过数据重删可节省传输占用的网络带宽和数据存储空间。kafka

功能节点统一管理，支持弹性扩展ADM采用多节点高可用部署架构，保障数据服务高可用，并消除单节点故障导致的业务不可用问题，确保数据服务连续性。采用Scale-out架构，根据业务发展规模，按需扩展集群节点，无需停止服务，灵活满足业务需求。同时，ADM支持存储池容量的弹性扩充，满足不断增长的数据存储需求。（2）数据存储成本倍数级节约，提升数据存储环节的效能首先，数据备份面临存储成本高的问题，ADM采用内置高效的压缩存储池存放数据，压缩比约为3:1，存储即压缩，***降低了备份数据的存储成本；其次，通过ADM的数据库虚拟化技术，一份基础数据即可快速拉起多份虚拟数据库，由于虚拟数据库90%的数据均与原始数据相同，因此拉起时几乎不占用额外的物理存储空间，*对新增的写操作计入容量占用，因此，随着数据分发使用的场景和频率增加，虚拟库的数量越来越多，而存储成本将会呈倍数级节约，例如针对同一份数据创建N个虚拟库，传统方法需要N倍的存储空间占用，而通过ADM只需要占用近乎0TB的存储空间，**节约了数据存储环节的资源和成本。敏感信息扫描后以匹配度和敏感信息类型进行排序敏捷数据管理平台ADM产品数据信创产品，实现了国产数据库的备份与国产操作系统的兼容。

ADM平台具备根据管理人员、测试需求等内容的不同进行分组划分的功能，将处理过的数据进行分组管理，从下游测试数据管理的源头管控数据资源的类别，做到从源头划分类别，使下游测试数据管理形成上游数据源-中游数据中转-下游数据目标的闭环式数据使用流程，规范化的数据流程使数据管理者成为数据的负责人，自动化的资源管理也更有效地为金融行业用户提供安全的数据管理方案。同时，ADM提供对数据流转的树状拓扑结构图，可详细了解数据的来源、所属存储池、挂载的测试服务器，以及数据快照的层级关系，方便对系统全局的数据使用结构进行预览，通过可视化的结构拓扑图，帮助用户了解下游测试网中测试数据的归属关系，完善数据流转路径，优化数据资源的合理分配，可视化功能的动态展示将助力企业向着智能化数据安全治理的方向转型。

通过敏捷数据管理平台ADM产品的部署实施，采用数据库虚拟化技术，快速将数据交付到开发、测试网，有效减少开发、测试场景中测试数据的准备时间，提高了开发、测试环境搭建的效率。ADM内置独有的高效压缩存储池，平均压缩比3:1，存储即压缩，降低了基础数据源获取的存储成本，只需一份基础数据源，即可快速拉起多份虚拟数据库，节约了存储成本10倍以上。ADM通过虚拟数据库快照功能，可以灵活地对虚拟数据库的状态进行管理和维护。使用人员可以随时保存当前的数据库使用状态，用于开发、测试的数据版本迭代。通过网络远程挂载的方式，ADM将TB量级数据拉起时间控制在分钟级，数据恢复的响应速度极快。

上讯敏捷数据管理平台（ADM）支持重复数据删除技术，在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。ADM是纯国产化的CDM产品。端到端的自动化

备份数据是一家企业数据资产的来源，要注重安全防护。kafka

数据备份管理是ADM功能模块之一，主要用于实现云环境、物理环境、虚拟化平台下的***数据保护。包括支持各种主流平台下的系统、数据库及文件数据的保护，支持主流的虚拟化平台、国产化云服务器以及容器的保护，并可对物理服务器及虚拟化平台下的备份数据进行即时挂载恢复，提供业务应急的能力和数据快速恢复能力；针对数据备份的存储资源类型，ADM***支持DAS（包括SSD/HDD）、SAN（包括IP-SAN/FC-SAN）、对象存储等存储资源。支持接入第三方云存储、对象存储等作为大容量数据存储池，具备较强的扩展能力。kafka