【项目投资价值分析报告】避免大数据实现的5大错误

【项目投资价值分析报告】避免大数据实现的5大错误

上海天元项目数据分析师事务所有限公司

地址：上海市徐汇区天钥桥路329号B栋7楼

王经理：021-24193019

近年来，很少有术语像“大数据”那样被过度使用和误解。从利用流感趋势的解决方案对大规模流感的爆发进行预测，到跟踪购物趋势，提供商品打折给客户，以及影响企业和个人利益的实时交易决策，数据已成为在今天的全球经济保持竞争力的关键。要了解大数据行业的意义，和为什么大数据引起了很多人的关注，我们需要打破数据库行业的观念，它们导致我们今天在管理和分析数据时面临一些挑战。

上海天元项目数据分析师事务所有限公司

　　要理解本文所说的大数据，我将以帮助企业认识到大数据对他们意味着什么的一位执行官的角度来定义它。大数据只是当前对数据库管理的需求和用来满足数据库市场需求所需要的技术。今天符合Gartner和其他人的定义为：数量、品种、速度、和复杂性在大数据讨论中的不同。

　　这些数据包括复杂的文本，视频和音频文件，实时回馈，和不断变化的业务流程，需要灵活的不同数据源的数据模式。技术人员意识到遗留系统或传统的关系数据库管理系统（RDBMS）解决方案不能够处理真正带来业务成果的数据类型时，问题出现了。它不再仅仅是存储的信息。技术人员和商界领袖需要更好地利用可用的数据，能够访问它，实时管理和使用它。要达到新要求，新出现的一些供应商似乎正在解决不断增长的数据带来的挑战，但却创建了新的问题。

　　所以，当企业在实施计划使用大数据却失败的时候，哪些错误我们常见的？近的一项调查表明，超过75%的大数据/ IT项目在更广泛的行业是不完整的。显然，有效地利用大数据为我们工作的解决方案仍有挑战和障碍。

　　让我们来分析失败的原因。

　　●你没有用好数据

　　任何企业在大数据上面临挑战明显的原因，是在使用可用数据来驱动商业智能支持决策上能否保持竞争力。

　　如果在线出版商更好地了解读者何时以及为什么点击内容并停留更长的时间，就可以针对当前和未来的游客需求定制内容。从现有的数据中获取价值是常见的挑战之一。虽然许多技术可以帮助满足这些挑战，大多数数据库技术不能够快速、轻松地做到这一点又无需大量的数据转换，使准确的商业智能的目标更加难以达到。

　　大多数数据库技术需要某种形式的数据定义或模式，如果开始时对数据的一些需求不知道就会延缓项目。

　　NoSQL数据库非常有效地解决这个问题。NoSQL数据库可以（通常是） 在不需要，或者需要很少模式的情况下实现。这是NoSQL数据库的一个主要价值主张，也是NoSQL 使用者流行的关键驱动之一。

　　复杂的数据建模，中间层对象映射和迭代返工，所有这些与旧的RDBMS相关联的模型，而它们已经为这个新的大数据管理方式打开了大门。

　　●你将企业下注在免费软件上

　　通过过去几年的过分宣传,每个企业好像都必须部署新、解决方案,如Apache Hadoop或Pig，而觉得传统RDBMS的解决方案是过时的。尽管关系数据库本身无法解决NoSQL数据库能满足的需求是一个事实，但越来越多的开源大数据生态系统的失败阻止了大数据的使用 —— 而且许多这样的失败的成本是昂贵的。

　　免费软件运动在很大程度上成为一个被揭穿的神话，主要是由没有经验的软件开发人员共享或只有他们才能管理它。该行业在过去的十年来应对企业软件的实体（“你永远不会比你付出的得到的要多”,和 “如果这听起来好得令人难以置信。。。“）。

　　现实情况是，大多数开源数据库软件解决企业的需求时是不可行或不现实的。大多数开源包是用来吸引简单的面向消费者的应用程序的网络开发人员。这些产品通常扩展不佳，不安全，并且丢失数据。是的，他们丢失数据，因为交易处理器不是被设计来验证每个自主数据的写入的。

　　●你全部放弃了昂贵的旧的数据系统

　　我相信数据仓库有很长的未来。这不是一个大胆的预测，但RDBMS的未来呢？当然我们不会看到Oracle数据库很快消失的。

　　我的数据显示了逻辑数据仓库（LDW）有一个日益增长的趋势：该仓库真正建立在两个或两个以上的物理数据库集成到一个单一的访问视图中。出于同样的原因，行业采用NoSQL用于应用程序开发，它需要一种新的方式来构造和托管数据仓库。使用一个RDBMS，很难次就让它正确，而且要花很长时间（和太多钱）迭代。

　　LDW独特地合并了索引，而且是几乎任何数据源的数据合成，使它可以构建一个定制的视图让任何客户执行交易或分析查询。虽然RDBMS成为旧物，放弃现有的实施，成本可能太大了。LDW让企业的旧的系统的沉没成本减少，搬到一个更，多能的，且可伸缩的数据库平台。企业NoSQL数据库可以整合老的RDMBS和一个失败的Hadoop项目来处理结构化数据库、文档存储，文件，和媒体。这对受困于过去错误的软件的IT来说有巨大的价值。

　　●你不了解你的数据

　　与任何行业一样，一种进化可以快速创建知识鸿沟：我们理解的挑战和解决方案还没有赶上任何特定的企业所面临的那些。

　　一些人认为一些人相信大数据创造了对新角色的需要。近，我看到首席数据官（CDO）和数据科学家的出现。很多人嘲笑需要新的专家进入企业的成本，但企业没有适当的专业知识很难理解自己的数据，这些数据意味着什么，如何地使用它。据Gartner的数据, 全球有25%的大型企业在2015年将任命了一个CDO。

　　但坦率地说，你不需要一个数据科学家。你需要更好的软件。

　　●贪多嚼不烂

　　也许容易避免在你进入大数据的错误是避免获取的太多的。大多数情况下，这是由于技术的原因。奇怪的是，从大数据的角度解决整个企业的问题几乎是不可能的。为什么不从容易的事开始并且快速让项目成功发展。使用灵活的技术,如企业NoSQL、迭代仓库开发可以在少返工和更少的前期工程成本下迅速开展。

　　在公司能成功迅速果断地使用可用的数据的基础上，再增加每个公司的竞争优势。太多的企业获得的数据超过他们成功处理的能力。有一个概念是不妥的，认为所有大数据问题必须以某种方式一起解决，像一个巨大的整体问题需要一个整体的解决方案。要以终结果为主要的考虑，IT经理和首席信息官应该问他们试图影响的业务决策是什么，而不是如何将新技术集成到现有的技术。提出正确的问题关乎任何数据项目的成功或失败。

　　从小处着手再快速扩展，一旦团队熟悉了相关的解决方案和提出的模式，将使未来的项目在预算内及时达成。重要的是，产生预期的结果。

　　不论你处理的是财务数据、针对保健的信息、购物分析、发布工作，还是政府情报，数据都一样的有不断变化的复杂性和多样性，而且它的数量和需求在日益增长。要处理这些大量和持续涌入的数据，推动业务价值，企业需要了解很多大数据项目失败的原因，然后才能避免这些缺点。知道不该做和知道要做什么一样重要。有了这些知识，企业可以快速实现自己的短期和长期的目标。