https
https
http协议
超文本传输协议,浏览器和服务器之间传输的协议 包含三大块
请求
1.请求行 -> 请求方式(get/post) url 协议 2.请求头 -> 服务器使用的附加信息 3.请求体 -> 请求参数
响应
1.状体行 -> 协议,状态码 2.响应头 -> 客户端的附加信息 3.响应体 -> 服务器返回客户端的内容
请求头常见重要内容
user-agent 载体身份标识 cookie 用户登录信息,反爬
请求方式
get: 查询网站等,显示提交 post: 上传信息等,影藏提交
常见请求头信息
User-Agent 请求载体的身份标识
#UA伪装会检测相对应请求身份,如果是某一个浏览器,那么就是可以的,到那时如果不是基于某一款浏览器,则是爬虫,拒绝访问
Connection 请求完毕后,是断开连接还是保持连接
常见响应头信息
Content-Type 服务端响应客户端的数据类型
加密方式
1、对称密钥加密
2、非对称密钥加密
3、证书密钥加密
爬取时候伪装方法
打开浏览器使用F12 查看浏览器user-agent
headers字典中赋值成相同信息
params中是需要对我们查询信息的更改
注意url
本文由作者按照 CC BY 4.0 进行授权