数据处理是对数据的采集,数据采集与处理技术pdf
数据采集技术概述数据采集是大数据产业的基石。
数据采集的重点不是数据本身，而是如何解决数据运营中的实际业务问题。通过对数据采集技术获得的高质量数据进行分析和挖掘，得到的结果对决策行为具有很高的指导作用。
数据采集的定义数据采集又称数据采集，是利用程序或设备从系统外部采集数据，经过数据清洗，最后输入到存储系统中。
数据采集自动化的特点：以高度自动化的方式进行采集和存储。它是全面的。它涵盖了全面收集和增量收集。它没有使数据采样多样化。它不是单一的，收集方式丰富。收集的数据非常丰富，不仅仅是基本数据类型。
结构化数据
:固定格式或有限长度的数据、元数据和数据库。半结构化数据
:非关系模型。以及基本固定结构模式的数据，log、xml、json非结构化数据
:数据结构不规则或不完整，没有建立数据模型，办公文档、图片、图像、音视频数据采集范围，数据库数据业务系统的日志，互联网应用数据容器的日志，操作系统的日志，网络设备的日志数据采集，综合要求：足够的数据和分析价值，数据范围广，可以支持多维度分析要求：采集的数据可以灵活快速的定制多种属性和不同类型的数据，从而满足不同的分析需求。高效：收集的数据要有针对性的收集，避免收集无用的数据，浪费时间资源。对于实时监控系统，应实时收集数据并报告给收集流程网页。爬取过程收集：用python写代码，爬取网页并清洗：用python写代码，拆分原始网页数据，提取所需信息存储：用python写代码，将数据存储在数据库或文件中。收集和汇总日志数据；通过配置收集工具filebeat等完成收集和清理。通过logstash等接收原始日志数据。并对存储进行拆分和验证；通过logstash将收集结果存储在数据库或文件中。
