爬虫requests模块,异步爬虫和requests区别

目录

　　1.SSL验证

　　二、机构设置

　　三。超时设置

　　四。身份认证

　　一、ssl验证什么是SSL？认证_百度百科

　　以酷狗网站为例，先发请求。

　　import requests response=requests . get( https://www . kugou . com/)print(response . status _ code)

　　如果状态返回到200，则请求成功。如果你不能理解其他人怎么办？于是，我去了下面的链接，嘿嘿嘿~ ~

　　https://www.runoob.com/http/http-status-codes.htm

　　如果报告了错误SSLError，这意味着证书验证不正确，可以将verify参数设置为False。

　　但是仍然有一个错误警告。我们来加个证。为此，您可以直接设置忽略警告来跳过它。

　　Urllib3.disable_warnings()刚刚运行。

　　二。部分网站的代理设置，测试时多次请求即可正常获取内容。但一旦开始大规模抓取，对于大规模、频繁的请求，网站可能会弹出验证码或跳转到登录认证页面，甚至可能会直接封禁客户端的IP，导致一定时间内无法访问。

　　因此，为了防止这种情况发生，我们需要设置一个代理来解决这个问题，这需要proxies参数。它可以这样设置：

　　我还不能这么做.所以我把激情之翼的教程链接放在这里~

　　爬虫请求进阶详细教程_python菜鸟-CSDN博客_爬虫教程

　　第三，在本地网络条件不好或者服务器网络响应太慢甚至没有响应，可能需要很长时间响应或者直接报错的情况下设置超时。为此，您可以设置一个超时，也就是说，如果过了这个时间还没有收到响应，将会报告一个错误。这需要超时参数。这个时间的计算是~ ~ ~从发送请求到服务器返回响应的时间。例子是：1

　　类型blog-Bing字典上的超时是连接超时和读取超时的总和。如果单独指定，元组可以作为OKK传入。例如，超时=(10，20)

　　四。身份认证1)基本身份认证

　　您可以使用请求附带的身份验证功能：

　　基本格式：

　　从requests . auth import httpbasicauthr=requests . get( 3358 localhost:5000 ，auth=httpbasicauth (username ， password ))print(r . status _ code)2)摘要验证

　　import requests . auth import httpdigestauth URL= 3358httpbin.org/digest-auth/auth/user/pass requests . get(URL，auth=httpdigestauth (user ， pass ))汇总请求，慢慢来，打卡出活力棉花糖~ ~ ~

　　如何给HTML div的三个边添加边框