大数据处理流程主要包含数据搜集、数据预处理、数据存储、数据处理与剖析、数据展示 数据可视化、数据应用等环节,其中数据质量贯穿于整个大数据流程,每一个数据处理环节都会对大数据质量产生影响作用。
大数据处理之一:收集
大数据的收集是指运用多个数据库来接收发自客户端(Web、App或许传感器方式等)的 数据,而且用户能够经过这些数据库来进行简略的查询和处理作业,在大数据的收集进程中,其主要特色和应战是并发数高,因为同时有可能会有成千上万的用户 来进行拜访和操作
大数据处理之二:导入/预处理
虽然收集端本身会有许多数据库,但是假如要对这些海量数据进行有效的剖析,还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库,或许分布式存储集群,而且能够在导入基础上做一些简略的清洗和预处理作业。导入与预处理进程的特色和应战主要是导入的数据量大,每秒钟的导入量经常会到达百兆,甚至千兆等级。
大数据处理之三:核算/剖析
核算与剖析主要运用分布式数据库,或许分布式核算集群来对存储于其内的海量数据进行普通 的剖析和分类汇总等,以满足大多数常见的剖析需求,在这方面,一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及根据 MySQL的列式存储Infobright等,而一些批处理,或许根据半结构化数据的需求能够运用Hadoop。 核算与剖析这部分的主要特色和应战是剖析触及的数据量大,其对系统资源,特别是I/O会有极大的占用。
大数据处理之四:发掘
主要是在现有数据上面进行根据各种算法的核算,然后起到预测(Predict)的作用,然后实现一些高等级数据剖析的需求。主要运用的工具有Hadoop的Mahout等。该进程的特色和应战主要是用于发掘的算法很复杂,并 且核算触及的数据量和核算量都很大,常用数据发掘算法都以单线程为主。