文章

https

https

http协议

超文本传输协议,浏览器和服务器之间传输的协议 包含三大块

请求

1.请求行 -> 请求方式(get/post) url 协议 2.请求头 -> 服务器使用的附加信息 3.请求体 -> 请求参数

响应

1.状体行 -> 协议,状态码 2.响应头 -> 客户端的附加信息 3.响应体 -> 服务器返回客户端的内容

请求头常见重要内容

user-agent 载体身份标识 cookie 用户登录信息,反爬

请求方式

get: 查询网站等,显示提交 post: 上传信息等,影藏提交

常见请求头信息

User-Agent 请求载体的身份标识

#UA伪装会检测相对应请求身份,如果是某一个浏览器,那么就是可以的,到那时如果不是基于某一款浏览器,则是爬虫,拒绝访问

Connection 请求完毕后,是断开连接还是保持连接

常见响应头信息

Content-Type 服务端响应客户端的数据类型

加密方式

1、对称密钥加密

2、非对称密钥加密

3、证书密钥加密

爬取时候伪装方法

打开浏览器使用F12 查看浏览器user-agent

headers字典中赋值成相同信息

params中是需要对我们查询信息的更改

注意url

本文由作者按照 CC BY 4.0 进行授权