大数据时代要有大数据思维

上海天元项目数据分析师事务所有限公司
大数据研究专家维克托·迈尔-舍恩伯格有一句名言：世界的本质是数据。他认为，认识大数据之前，世界原本就是一个数据时代；认识大数据之后，世界却不可避免地分为大数据时代、小数据时代。
那么，究竟什么是大数据呢?麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。在军事领域，大数据时代的变革绝不限于技术层面，本质上，它为我们观察世界提供了一种全新思维。

　　从样本思维转向总体思维。人类研究战争的规律特点，预判战场形势，采样一直是主要的数据获取手段，这是在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得并分析更多的数据，而不再依赖于采样，从而可以更全面地认识战争，可以更清楚地发现样本无法揭示的细节信息，清晰地观察到战场的各个环节。在信息化战场上，通过情报、侦察和监视系统以及有人、无人战机，一支军队几乎能够“看见、听见和感觉”到战场上发生的所有状况，然后通过超级计算机的速度和精度以及人的敏捷性，来理解和解释现实世界，协助指挥官和分析人员以极短的时间来理解传感器收集的海量数据。也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，而不再因诸多限制不得不采用样本研究方法，相应的，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识战争。

　　从思维转向容错思维。在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、化，否则，分析得出的结论很可能“南辕北辙”，因此，通常十分注重思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的思维造成了挑战。舍恩伯格指出，“执迷于性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从思维转向容错思维，当拥有海量即时数据时，的精准不再是追求的主要目标，适当忽略微观层面上的度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。
　　从因果思维转向相关思维。在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来的战场形势，而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，相关关系甚至可以超越因果关系，成为了解战争、分析战争的更好视角。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。