什么叫做网络爬虫,网络爬虫技术是指什么
简单来说就是通过
网页所展示数据
把非人工的手段获取
弄下来。现在是大数据时代，
数据分析
是各行各业解决相关问题的重要基础。数据分析结果的准确性有很大一部分取决于数据量是否足够大。
如果是几十条数据，我们当然可以让人一条一条复制粘贴。但是，我们前面说过，只有数据量足够大，分析结果才有意义。所以我们需要的数据量通常很大，人力往往无法完成数据的收集(因为效率低，容易出错，重复枯燥的工作也让人失去耐心)。这时候网络爬虫
就起到了很重要的作用。网络爬虫在数据采集方面有很好的优势，比如采集速度快，可能比人工操作快1000倍。方便对采集的数据进行相关的清理、处理和存储；代码可以重用，或者“一劳永逸”。举个例子来说明一下：
有一天公司需要你做关于某个城市的
近五年的天气变化的数据分析与展示
来决定以后不同季节的衣服什么时候配送，打折，促销。经过思考，你认为需要做以下工作：1、
找到某个天气查询网站
，找到所需城市的历史天气网页。2.
获取某个城市近五年的全部数据
是365*5=1825
条数据(每条数据包括天气情况、风向、温湿度、PM2.5等。)3.删除采集的
数据进行清洗
(即数据是否重复或明显与实际不符(如温度值显示为90))4.数据
保存成相关格式
(如Excel)5.分析和显示数据。
就
前四步数据获取的工作
而言，如果我们把这些数据用人力赋值粘贴的话，好像只有1825块，不算多。我们单身多年应该可以做到。但是这些网页通常是按月份划分的，也就是说每个页面只是某年某月的数据(比如2018年8月)。然后复制粘贴的时候要点击切换网页12 * 5=60
次。人们会对重复性的工作失去耐心。我们很容易忽略一些数据错误，比如网页上某一天温度90的非常严重的常识性错误数据，可能是复制粘贴在一起的。而且我们往往需要各种各样的数据来进行观察、分析、比较和决策，实际需要的数据量远不止几千块。所以为了避免错误，提高数据采集效率，
这种重复性高工作就应该交给计算机来做
。如果你知道网络爬虫的基本技术，就可以抓取大部分网站的数据。
所以不只是一个城市，就算是全国所有城市地区的天气数据你都可以轻松地获取
。那么你的数据分析报告会更有说服力。而且网络爬虫，不仅仅是获取数据，有时候还能方便我们的生活，比如下载一些需要免费付费的视频或者歌曲(当然需要尊重版权，我绝对不提倡你这么做)。
最后，我希望不管你从事什么行业，都要掌握一门编程技术，比如Python，Java，但是我还是建议不是计算机行业的朋友学习Python。以后我的博客也会有Python和Java的相关教程。编程可以让你的工作更高效，生活更便捷。
我的主页：https://blog.csdn.net/qq_29750277
