发现数据质量的基本组成部分, 为什么这对你的业务很重要, 以及如何更好地管理数据质量.

什么是数据质素?

数据质量 是确保组织数据适合用途的数据治理的组成部分吗. 它指的是数据集的整体效用,以及它易于处理和分析以供其他用途的能力. 管理数据质量维度,如完整性, 整合, 一致性, 精度, 和完整性, 帮助你的 数据治理,分析和AI/ML倡议提供可靠可信的结果.

关于数据质量,我需要知道什么?

质量数据是有用的数据. 为了达到高质量,数据必须是一致的和明确的. 数据质量问题通常是数据库合并或系统/云集成过程的结果,在这些过程中,本应兼容的数据字段不是由于模式或格式不一致造成的. 对于质量不高的数据,可以通过数据清理来提高数据质量.

数据质量的好处是什么?

当数据质量极好时, 它可以很容易地处理和分析, 引导洞察力,帮助组织做出更好的决策. 高质量的数据对于云分析至关重要, 人工智能项目, 商业智能的努力, 以及其他类型的数据分析.

除了帮助您的组织从数据中提取更多的价值之外, 数据质量管理的过程提高了组织的效率和生产力, 同时降低与低质量数据相关的风险和成本. 数据质量, 简而言之, 可信数据的基础将推动数字转型,并对数据质量进行战略投资 反复偿还,在多个用例中,跨企业.

数据质量管理涉及哪些活动?

数据质量活动包括数据合理化和验证. 在合并和收购活动中集成不同的应用程序时,经常需要进行数据质量方面的工作, 但当一个组织内的竖井数据系统第一次在一个 云数据仓库 或数据湖. 数据质量对于水平业务应用程序(如企业资源规划(ERP)或 客户关系管理.

数据质量的基本组成部分

数据质量管理的成功与否取决于您对分析的准确性有多大的信心, 数据在多大程度上支持各种计划, 以及这些计划以多快的速度交付切实的战略价值(想要评估您的数据质量ROI? 使用太阳2平台--apple app store-太阳2排行榜的在线计算器). 要实现所有这些目标,您的数据质量工具必须能够:

  • 支持所有用例:与下一代分析相比,数据迁移需要不同的数据质量指标. 避免一刀切的方法,支持一个集成的解决方案,让您为特定的用例选择正确的功能. 例如, 如果您正在迁移数据, 在移动数据之前,首先需要了解有哪些数据(分析). 对于分析用例,您需要清理、解析、标准化和重复数据删除.
  • 加速和扩展:数据质量对于web服务同样重要, 批处理, 大数据, 和实时工作负载. 它需要被信任, 安全, 治理, 并且适合使用,无论它驻留在哪里, 云)或其速度(批处理, 实时, 传感器/物联网, 等等). 寻找一种能够适应跨所有部门的任何工作负载的解决方案. 您可能希望从关注一个应用程序或过程中的数据质量开始, 使用开箱即用的业务规则和加速器以及基于角色的自助服务工具进行概要分析, 准备, 清理你的数据. 然后, 当你准备好扩展程序时, 您可以大规模地跨所有应用程序和数据类型部署相同的业务规则和清理流程.
  • 提供灵活的用户体验:数据科学家, 数据管家, 数据消费者都有特定的能力, 技能, 以及对数据工作的兴趣. 选择一个根据角色定制用户体验的数据质量解决方案,这样所有团队成员都可以在没有IT干预的情况下实现他们的目标.
  • 自动化关键任务:音量, 各种, 当今企业数据的速度使得人工数据质量管理成为不可能. 人工智能解决方案可以自动评估数据质量,并提出智能建议,简化数据发现和数据质量规则创建等关键任务.

数据质量的维度

数据质量涉及六个核心维度:

  1. 精度:数据反映了它想要建模的真实世界的对象和/或事件. 准确性通常由价值观与已知正确的信息源的一致性来衡量.
  2. 完整性:数据使所有需要的记录和值可用.
  3. 一致性:多个位置的数据值不会相互冲突, 通过一个记录或消息, 或者沿着单个属性的所有值. 请注意,一致的数据不一定是准确或完整的.
  4. 及时性:数据会根据需要随时更新, 包括实时的, 确保满足用户对准确性的要求, 可访问性和可用性.
  5. 有效性:数据符合定义的业务规则,当应用这些规则时,数据在允许的参数范围内.
  6. 独特性:任何记录在数据集中都不存在超过一次,即使它存在于多个位置. 每个记录都可以在数据集中和跨应用程序唯一地标识和访问.

数据质量的所有六个方面都很重要, 但是您的组织可能需要比其他组织强调更多的内容来支持特定的用例. 例如, 制药业需要精确, 而金融服务公司必须优先考虑有效性.

数据质量指标的例子

例如,一些数据质量指标在组织和行业之间是一致的, 客户的账单和运输信息是准确的, 网站提供了产品和服务的所有必要细节, 员工记录是最新的,正确的.

以下是一些与不同行业相关的例子:

  • 医疗保健数据质量指标

    医疗保健组织需要完整的, 正确的, 独特的病人记录,以推动正确的治疗, 快速准确的计费, 风险管理, 以及更有效的产品定价和销售.

  • 公共部门数据质量指标

    公共部门机构需要齐全, 一致的, 准确的成分数据, 提出倡议, 以及当前的项目,以了解他们实现目标的情况.
  • 金融服务数据质量指标

    金融服务公司必须识别并保护敏感数据, 自动报告流程, 并监督和纠正法规遵从性.
  • 制造数据质量度量

    制造商需要保持准确的客户和供应商记录, 及时通知QA问题和维护需求, 跟踪供应商的整体支出,以降低运营成本.

数据质量问题

数据质量差的潜在后果从轻微的不便到业务失败不等. 数据质量问题浪费时间,降低生产力,提高成本. 它们也会损害顾客的满意度, 损害品牌声誉, 迫使一个组织为不遵守法规支付重罚——甚至威胁客户或公众的安全. 以下是一些面临数据质量问题后果并找到解决方法的公司的例子:

  • 糟糕的数据质量掩盖了有价值的交叉销售和追加销售机会,使公司难以发现其产品的差距,这些差距可能激发创新产品和服务,或使其进入新市场. 日产欧洲 客户数据不可靠,分散在各种断开连接的系统中, 这使得该公司难以产生个性化的优惠并有效地针对他们. 通过提高数据质量, 该公司现在对现有和潜在客户有了更好的了解, 是什么帮助它改善了客户沟通,提高了转化率,同时降低了营销成本.
  • 糟糕的数据质量浪费时间,当手工处理失败或必须反复检查准确性时,还迫使返工. CA技术 为了完成Salesforce的一次大迁移,需要花费几个月的时间手动修正和增强客户联系数据. 通过将自动电子邮件验证和其他数据质量度量纳入迁移和集成过程, 该公司能够使用比预期更小的迁移团队,并在分配时间的三分之一内使用可度量的更好的数据完成项目.

开始提高数据质量的四个步骤

1. 发现

只有理解了起点,才能规划数据质量之旅. 要做到这一点, 您需要评估数据的当前状态:您拥有什么, 在那里居住, 它的灵敏度, 数据关系, 以及任何质量问题.

2. 定义规则

在发现阶段收集的信息决定了您需要的数据质量度量以及为达到期望的最终状态而创建的规则. 例如, 您可能需要清理和重复数据删除, 规范的格式, 或者丢弃某个日期之前的数据. 请注意,这是业务和IT之间的协作过程.

3. 应用规则

一旦定义了规则,就可以将它们集成到数据管道中. Don’t get stuck in a silo; your 数据质量工具s need to be integrated across all data sources and targets in order to remediate data quality across the entire organization.

4. 监控和管理

数据质量不是一蹴而就的事情. 保持它, 您需要能够持续地监视和报告所有数据质量过程, 在本地和云端, 使用仪表板, 记分卡, 和可视化.

数据质量客户成功案例

芝加哥小熊队

这支著名的美国职业棒球大联盟球队依靠数据来提供更丰富的球场体验, 最大化品牌商品的营销机会, 并决定如何最好地投资于玩家, 工作人员, 和基础设施. 使用 Informatica数据质量 让团队清理和改善来自24个本地站点和云系统以及第三方的数据,从而推动新的收入, 快做决定, 并与世界各地数百万的粉丝建立终生的关系.

友邦保险新加坡

新加坡领先的金融服务和保险公司之一, AIA新加坡部署了Informatica数据质量来分析其数据, 跟踪关键绩效指标(kpi), 并执行补救. 高质量的数据有助于加深对客户信息和其他关键业务数据的理解, 这反过来又能帮助公司优化销售呢, 决策, 和运营成本.

 

开始释放你数据的价值

数据无处不在,数据质量对于让每个人、每个地方都能充分利用数据至关重要. 当您努力提高数据质量时,请记住这些原则:

  • 使其成为企业范围内的战略行动.
  • 强调数据质量对数据治理的重要性.
  • 将数据质量集成到您的操作中.
  • 与业务用户协作,将数据上下文化并评估其价值.
  • 将数据质量扩展到新领域(数据湖、AI、物联网)和新数据源.
  • 利用AI/机器学习自动化重复任务,如合并记录和模式匹配.

通过Informatica的集成,所有这些都变得更加容易 智能数据平台,它将数据质量整合到涉及所有企业数据的更广泛的基础设施中.

数据质量的资源