债履约能力评级报告大数据时代说来就来

【*履约能力评级报告】大数据时代说来就来 数据垃圾变黄金
  上海天元项目数据分析师事务所有限公司
  地址：上海市徐汇区天钥桥路329号B栋7楼
  王经理：021-24193019
大数据时代是指以大数据为驱动，影响生产率增长和消费者盈余模式的一个新的时代。大数据是高容量，高速度和高品质的信息资产，需要新的处理形式，其难以采用常规工具进行采集和处理，大数据时代里，常利用软件工具对海量数据进行挖掘和运用，借此帮助进行决策、洞察发现和流程优化。
大数据时代的迟到
一般来讲，大数据的概念提出可以追溯到上世纪90年代，大数据一词在当时就已经开始流行。而知名的咨询公司麦肯锡在2011年提出“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素”正式代表着大数据时代的开启。
从90年代的提出到现如今大数据时代的开启，大数据时代几乎迟到了20年。大数据的迟到主因是其数据集非常大且复杂，传统的数据处理方式和应用软件并不足以解决大数据问题，包括采集、存储、分析、数据策划、搜索、共享、传输、可视化查询、更新以及信息隐私等多方面都是难以攻克的难题。

数据存储方式的变革(图片来自Wikipedia)
事实上，自上世纪80年*始，世界人均存储信息量约40个月翻一倍;可是大数据时代，这一趋势开始加速。2008年全球产生的数据量为0.49ZB(1ZB=10243TB)，到2011年，这一数字变为了1.82ZB。数据量的爆炸来源于大量廉价的信息传感移动设备通过网络进行收集，而传统的处理大量数据的抽样调查法局限性变得越来严重。
云时代的开启给了大数据的发展提供了机会，也促进了大数据时代的降临。云计算和分布式存储为大数据提供了数据处理和数据存储的能力。可以说，没有云时代就不会有大数据时代的出现。
大数据时代的特点
大数据时代基于大数据而开启，而大数据的特点毫无疑问是大。可是大却并不是新数据生态系统相关的特征，而是通过对数据集的分析获取新的相关性。
在2001年的研究报告中，meta集团(现在的Gartner)将数据增长所遇到的挑战和机会定义为三维，即Volume数据增量，Velocity数据输入和Variety输出速度以及数据类型和来源范围，使用“3Vs”模型来描述大数据的方法一直延续至今。
大数据时代说来就来
大数据并不只有大
2012年，Gartner更新了其对大数据的定义：“大数据是高容量，高速度即高品质的信息资产，借助新的处理形式，以帮助客户加强决策，洞察发现和流程优化。”3Vs模型也在不同行业得到了不同修正，如IBM就提出，大数据具备的5V特点分别为Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)和Veracity(真实性)。
大数据的固有特性在于其拒绝了传统的随机分析法(抽样调查)，而是选择了将所有的数据都进行分析和处理，观察并*数据的变化，大程度上减少了数据误差，帮助用户的每一个决断都有据可依。大数据生成和存储的数据量的大小决定了其价值和潜在的洞察力，太小则可能不会被视为大数据。
大数据时代说来就来
大数据的核心在分析
速度方面，数据的生成和处理速度是为了满足增长和发展之路中的需求和挑战，如今的大数据通常可以实时获取。种类方面，数据的类型包括了文字，图像，音频，视频等多种数据通过数据融合可以帮助用户有效地利用其所产生的洞察力;低价值密度意味着大数据的变化性突出，数据集的不一致可能导致处理和管理数据阻碍进程;同时由于质量差异很大容易影响分析的准确性。
目前通常会利用机器学习对大数据进行分析，而这种简单的检测模式并不会告诉你数据有什么，却可以帮助用户发现藏在数据里的秘密。大数据通常只是一堆数字互动后而产生的副产品，可是他却是真实的，剥离后大数据的价值就可以显现。
大数据时代的行业影响
大数据的时代的影响是全方面的，在市场中的应用已经不再局限于传统领域，而是全面开始影响三百六十行。
政府方面，运用大数据可以很好的控制采购成本，使生产力和创新效率得到提高。但是这也存在着一个明显的限制，数据分析通常需要中央和地方多个部门进行合作，从而才可以完善数据，创造新的效率提升方式。此外，在就业，经济生产力，犯罪，安全以及自然灾害和资源管理等方面大数据也可以起到他的作用。
大数据时代说来就来 都是云计算逼得
制造业是适合大数据的行业之一
制造业方面，大数据为制造业的透明度提供了基础设施，能够很好的解决组件性能和可用性不一致等问题。而且，预测制造的概念正在兴起，不同类型的感测数据可以借助声音，振动，压力，电流，电压和控制器数据等进行数据采集，大量的感官数据构成了制造业的大数据，生成的大数据作为预测及预防等方面的工具对行业的预判有着良好的帮助。
医疗方面，大数据分析可以提供个性化医疗和规范分析，临床风险干预和预测分析，使得护理变异性降低，患者数据自动化提供内外部报告，可以提供标准化医疗和患者登记册散点解决方案，帮助医疗改善。而且，随着可穿戴技术的发展，医疗数据量还将进一步提高，包括电子健康记录数据，成像数据，患者生成的数据，传感器数据和其他形式的数据都会让大数据在医疗领域的地位提升。
大数据时代说来就来 都是云计算逼得
万物互联产生大量数据
除了这些传统领域，大数据还促进了新行业的发展，比如物联网。大数据于物联网协同工作，从物联网设备中获取数据提供设备互联性的映射，借助大数据技术进行分析，然后再将分析结果提供给医疗、制造等多个领域，帮助提高相关行业的工作效率。
目前，全球有着46亿手机用户，接入互联网的用户有10到20亿。这些用户每天所产生的数据量是巨大的，如果废弃，那就是数据垃圾，而如果收集并且用于种种行业之中，那么这就是大数据时代。