不同表多字段合并抽取

在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的***标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，比较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。上讯信息的自主产品敏捷数据管理平台ADM是国内副本数据管理CDM领域的重要产品。不同表多字段合并抽取

数据资源可视化管理，有效满足上中下游数据的政策合规ADM平台具备根据管理人员、测试需求等内容的不同进行分组划分的功能，将***过的数据进行分组管理，从下游测试数据管理的源头管控数据资源的类别，做到从源头划分类别，使下游测试数据管理形成上游数据源----中游数据中转----下游数据目标的闭环式数据使用流程，规范化的数据流程使数据管理者成为数据的负责人，自动化的资源管理也更有效地为金融行业用户提供安全的数据管理方案。同时，ADM提供对数据流转的树状拓扑结构图，可详细了解数据的来源、所属存储池、挂载的测试服务器，以及数据快照的层级关系，方便对系统全局的数据使用结构进行预览，通过可视化的结构拓扑图，**帮助用户了解下游测试网中测试数据的归属关系，完善数据流转路径，优化数据资源的合理分配，可视化功能的动态展示将助力企业向着智能化数据安全治理的方向转型。动态快照数据备份产品关注数据备份，上讯敏捷数据管理平台ADM产品能用于数据的备份与快速恢复验证。

数据流程管理是ADM功能模块之一，主要通过灵活配置数据流转环节实现数据管理流程的自动化作业编排，ADM采用基于画布的方式默认作业流程的起止节点，根据实际需求将数据的获取、恢复、传输、共享、交付、销毁等各个环节对应的任务组件灵活拖动到作业画布，组成一个完整的任务流程，各任务之间支持依赖关系、延时机制以及断点处理机制，实现数据管理流程任务的串联组建和并行执行，达到数据管理流程的自动化执行，协助用户将数据交付流程的各个工作环节灵活地组合起来，实现数据交付的自动化，从而摆脱人工值守，达到缩减时间成本和人力成本的目标。

通过智能定义敏感数据类型，自动发现和识别敏感数据，包括数据类型、内容、约束关系，灵活排序减少人为筛选，定位敏感数据源。丰富的算法与仿真的字典库相结合，保证处理后数据仍具有业务属性，数据表间关系仍具有业务一致性，不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据，包括资金财产、个人、企业隐私的对照关系进行敏感数据识别，通过内置的规则进行处理，将数据敏感部分去隐私化，但并不失去数据挖掘的价值特征，减少数据隐私泄露带来的风险和损失，甚至降低可能发生的人身伤害和违法犯罪事件。上讯ADM产品的可管理性体现在数据从上游到下游获取、传输、流转的集中式管理，同时可进行版本管理。

敏捷数据管理平台是国内较早发布的副本数据管理（CDM）产品，纯国产化技术自主研发，**国内CDM厂商率先应用在大型头部金融机构和运营商企业，在金融、能源、运营商、交通、物流等行业拥有***的实践。与众多银行用户建立全方位、多层次的深度合作，结合不同国产数据库的特性采用自动化的数据获取方式，为银行在国产化替换进程中解决配套的信息安全产品问题，在实现金融服务质效提升的同时，帮助银行实现数字化、智能化发展，实现国产信创的快速推进，促进以数据为关键要素的数字经济发展.上讯敏捷数据管理平台ADM产品虚拟数据支持无限副本，几乎不占用额外的存储空间。关系型数据库变形

上讯ADM产品的数据备份模块实现了数据库、文件、虚拟化平台的备份恢复。不同表多字段合并抽取

l变化数据块跟踪技术块修改跟踪技术（BlockChangeTracking）简称BCT，Oracle数据库通过BCT技术可以只备份新增的或变化的数据块，VMware通过内置的CBT技术获取新增或变化的虚拟磁盘数据块，从而提升增量备份效率。l备份数据传输压缩加密ADM支持AES256和SM4加密算法，用户可根据实际情况，灵活选择。在数据传输过程中，通过加密算法对备份数据进行加密处理，确保抓包、***攻击、钓鱼等恶意方式所截获的备份数据无法被解析，从而有效避免数据泄露等安全问题。不同表多字段合并抽取