大数据首先是工业和科技上的概念，个人一般数据不会达到大数据层面，在工业化向信息化、智能化转变的过程中，在某些领域内（数字化生产、科学研究、社交媒体、互联网运营、物联网生产等），在数据管理上遇到一些问题，导致传统的数据管理不能满足要求。
比如以下问题：
传统数据特征
传统的简单数据管理，如班级的考试成绩，相关的数据如班级数，学生数、教师数、考试数目，成绩数目等，有以下特征：
- 数据量小（1000以下级别），且数据产生频次较低。
- 数据关联性简单，表单数据少，容易自动寻找数据关系
- 数据要求简单，实时性差，比如考试成绩可以在3天内批改统计完成
- 数据格式简单，都是文本（如姓名、课程、老师名称等），或者数据值（成绩、时间等）
- 数据处理简单，针对学生成绩做简单的统计，汇总各科成绩等
但这些数据处理能力和方式，都不能满足现代数字化大生产的要求。
大数据特征
现代数字化大生产，是以大数据为处理基础的，大数据的特征为以下几个：
- 数据量巨大，而且持续产生数据；
以电商平台双十一数据为例，数据量巨大，商品数、订单数、交易数都巨大，而且持续产生，传统的数据管理无法应对。
- 数据种类多，而且内在关联性强；
以运营商（电信、移动、联通）为例，内部有数十个上百个不同系统，不同系统起不同作用，而这些系统也是有关联的，给不同部门不同角色人员使用，针对不同活动有不同的业务分支，数据在一定规则下是相关的统一的，这些传统的数据管理无法应对。
- 数据要求高，很多时候需高速实时性处理；
以12306（中国铁路客户服务中心12306.cn）为例，每张订票数据，都要实时进行同步处理，需要支持全国数亿用户的同时订票买票，查询余票等，传统的数据管理无法应对。
- 数据非结构化，需要统一处理
以某安全视频监控系统为例，对视频监控的识别处理、对人脸库识别比对，这些信息处理已经超出了传统的数据处理范畴，传统数据处理主要基于数字、文本文字等的处理，无法满足要求。
- 数据价值挖掘需要更加智能的方式。
数据价值挖掘是数据价值产生的重要方式，传统的数据价值挖掘主要有两个特点：
专家系统：在进行数据挖掘时候，传统方式往往需要大量的某个领域专家水平的知识与经验。根据专家的的知识与经验，进行推理和判断，从而得到更优的结果。
如医疗领域的X光机相片分析，往往是通过专家来进行分析，对相应部位的X光进行分析判断，分析异常，确定病灶，提出相关资料方案等。
基于大数据的人工智能是解决方案，如上文提到的X光相片分析，现有的人工智能能够基于X光相片的学习，报告病例、资料方案的学习，能够自动进行分析和判断，最终给出最合理的方案。
以上是大数据流的示意图，展示从数据采集到最终分析和可视化的整个过程
Leave a Reply