数据：“减”不断 理更乱？

|林杨|2008-01-31

当今，数据正日益成为企业的关键资产。这时候，数据质量的重要性也被提上了日程。

首先，准确、可靠的实时源数据将减小项目风险。作为数据集成项目初期的关键需求，提高数据质量可以防止项目的延期，同时节省成本。高质量的数据有助于简化IT运营并充分利用有限的资源。拥有高质量数据的IT机构可以专心致力于项目的实施，最终提高营业收入。

其次，当数据质量低下或不可靠时，企业效益会受到影响。另外，高质量的数据有助于满足行业法规的要求，从而支持业务的运营。可靠、可审计的高质量数据提供了合规性所需的透明度。同时，利用数据匹配与合规性应用程序以及司法、智能和防伪系统，高质量数据也在幕后为企业提供支持。

最后，高质量数据可以帮助企业拓展客户群。面向客户的系统（如CRM、呼叫中心和营销应用程序）中正确及时的数据，将帮助企业提供高级客户服务、提高交叉销售和上行销售的效率，并将更多的潜在顾客转变为真正的客户。

六大要素评估数据质量

要评估企业的数据质量，必须要考虑六大因素。存在性：企业是否拥有数据;有效性：数据的价值是否位于有效的范围或区域内;一致性：存储在不同位置的同一组数据是否具有相同的价值;适时性：业务流程是否能在适当的时间获取数据;准确性：数据是否能正确描述所建模对象的属性;相关性：数据是否支持业务目标。

确保数据质量不仅涉及到在企业范围内查找并修复丢失或错误数据，还意味着为业务提供全面、一致、相关且适时的数据，而不考虑数据的应用、用途以及来源。

劣质数据的产生原因

数据质量的降低与输入、维护、处理、接收、存储的操作有极大的关系。

就输入来说，如果数据字段为空或向字段中输入了错误数据，则数据质量就会降低。举一个因为数据输入错误引起数据质量问题的例子，由于没有为交叉销售响应代码设置字段，员工可能误将此数据输入销售日期字段中。另外，公司可能使用基于表格的应用程序，而这些应用程序不能在数据输入时提供充分的字段验证。例如，如果客户的ID中含有大写字母“I”，公司可能将其看成数字“1”，从而无法正确地跟踪或联系此客户，或者可能为客户创建多个条目。

对数据进行维护的操作也会发生劣质数据，每个数据维护操作的失误都可能改变数据，从而导致无法预知的结果;而在处理过程中，随着错误数据的输入，它可能会扩散到多个系统中，从而影响到整个企业中数据的质量。随着企业越来越倾向于将业务流程外包给第三方或者与合作伙伴以及供应商协作，企业对数据的接收过程难以监测，导致它们无法对数据进行即时控制。而在数据存储环节，在多个系统中存储数据经常导致数据一致性问题。

多种方式提高数据质量

由于系统和应用程序经常接收到新数据，数据的总量也在不断提高，因此确保数据质量并不是一次就能完成的。所有企业都应该使用一种反复进行的阶段性过程来管理数据质量，此过程包括数据质量评估、规划以及策略的选择和实施。

数据质量评估

首先要评估当前的数据质量状态，为提高数据质量构建业务案例。无论数据存储在哪里（企业ERP或CRM系统、遗留和大型机系统、合作伙伴和供应商系统、各种电子表格、文档、.pdf 文件或桌面数据库），数据探查都能帮助企业准确地评估数据的内容、质量和结构。

主管人员参与数据质量评估以及展示您在数据探查过程中发现的问题对于数据质量评估来说都很重要。在最有效的数据质量评估中，所有问题都将按照对业务影响从大到小的顺序列出，这将帮助IT机构节省项目成本。

数据质量计划

彻底了解企业数据的内容和质量后，接下来的步骤是开发一个递增项目计划，修改当前的错误并避免未来错误的发生。有效的计划不但可以提高企业当前所有应用程序中数据的质量，还将制定一些方式以确保新应用程序从一开始就遵循数据质量规则。

数据质量策略的选择和实施 选择改善企业数据质量的策略，要求决策者权衡每个数据质量计划的成本以及该策略产生的影响。目前的策略类型有两种:在向企业输入数据时提高数据质量的方法称为“上游”方法，而在从运营系统提取数据的应用程序（例如，数据仓库）中改善数据质量的方法是“下游”方法。

上游策略研究当前应用程序的逻辑、数据和流程，解决探查过程中发现的异常情况。此策略可能涉及到更改应用程序逻辑、添加更好的表验证、改善与数据输入相关的流程，它致力于企业数据的高准确性。另外，此策略还要求使用应用程序本身附带的数据质量功能。

下游策略解决目标应用程序或数据仓库（而非数据源）中的数据质量问题。由于数据可以根据需要随时进行修改，所以企业能够在流程（尤其是数据转换、名称和地址清洗以及查找验证）中改善数据质量。下游策略仅为目标应用程序或数据仓库改善数据质量，但与上游策略相比，它的实施过程更简单，成本更低。

在数据集成中功不可没

以色列国防部(IDF)的数据移植与整合项目是数据集成技术向数据质量计划扩展的一个典型示例。当以色列国防部着手将其大型机和遗留应用程序中的数据移植到SAP R/3时，它希望能在数据移植过程中解决数据质量问题，并确保新系统中的数据是高质量数据。然而，在进行的初次评估中，系统就显示了大量数据源级质量问题，这表示可能需要使用手工编写代码的解决方案进行数据质量改进，这一情况使以色列国防部的系统工程人员头疼不已。

他们迫切地需要工具来帮助他们解决这些严重的数据质量问题，这个工具不仅要能够评估当前正在处理的数据质量的数据探查，而且能够分析、转换和更正当前数据，即数据转换与更正。在更正过程中，要能够利用辅助字段和信息（如邮政编码和地理信息）清洗或改进数据，匹配相似的记录，并基于预设的标准执行消除和整合。于是，以色列国防部采用了Informatica的PowerCenter。

在对上百万条数据记录进行了清洗和转换后，最后的产品数据版本中仅存在350个漏检的数据记录错误，并消除了重复数据，使需要在SAP中跟踪的内容数量减少了25%。另外，通过一系列数据整合的过程，国防部数据总量减少了20%，明显节省了存储空间。

提高数据质量是数据仓库项目的一部分，因为它在将数据从操作系统移向数据仓库的过程中提供了改善数据质量的机会。近来企业广泛采用数据集成技术支持数据移植、数据整合、数据同步、主数据管理和外包等计划，为改善数据质量提供了更多机会。另外，由于集成能力中心(ICC)概念的流行，提高数据质量已成为ICC小组可以提供的一项核心业务。ICC将利用集成技术、专业知识、流程和最佳时间帮助企业业务充分利用IT资源。

责编：admin

转载请注明来源：数据：“减”不断 理更乱？

本文链接地址：http://www.ccmw.net/article/21351.html