已解决
requests爬虫详解
来自网友在路上 149849提问 提问时间:2023-09-23 03:23:32阅读次数: 49
最佳答案 问答题库498位专家为你答疑解惑
Requests
安装
pip install requests
示例
from fake_useragent import UserAgent
import requestsdef cra1_1():
url = 'http://xx/front/website/findAllTypes'
headers = {'User-Agent': UserAgent().chrome}
resp = requests.get(url, headers=headers)
result = resp.json()if __name__ == '__main__':
cra1_1()
发送请求
GET请求
resp = requests.get(url,headers= headers,params=params1) #headers,params1是字典
POST请求
resp = requests.post(url,headers=headers,data=data) #headers,data是字典
获取响应信息
获取响应信息
resp.status_code 获取状态码
resp.text 获取响应内容 (以字符串)
resp.json() 获取响应内容【python数据,可直接用jsonpath解析】
resp.content 获取响应内容(以字节的方式)
resp.headers 获取响应头内容
resp.url 获取访问地址
resp.encoding 获取网页编码
resp.request.headers 请求头内容
resp.cookie 获取cookie
功能
代理访问
proxies = {"http": "http://10.10.1.10:3128","https": "https://10.10.1.10:1080",}
requests.get("http://www.zhidaow.com", proxies=proxies)
设置超时时间
requests.get('http://github.com', timeout=0.001)
session自动保存cookies
s = requests.Session() # 创建一个session对象
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') # 用session对象发出get请求,设置cookies
ssl验证
requests.packages.urllib3.disable_warnings() # 禁用安全请求警告
resp = requests.get(url, verify=False, headers=headers)
查看全文
99%的人还看了
相似问题
- 【PyQt小知识 - 3】: QComboBox下拉框内容的设置和更新、默认值的设置、值和下标的获取
- VR全景打造亮眼吸睛创意内容:三维模型、实景建模
- 广州华锐互动VRAR | VR课件内容编辑器解决院校实践教学难题
- PyCharm:PyCharm新建.py文件时自动带出指定内容
- EI论文程序:Adaboost-BP神经网络的回归预测算法,可作为深度学习对比预测模型,丰富实验内容,自带数据集,直接运行!
- 信息中心网络提出的背景、研究现状及研究内容
- 【IDEA 使用easyAPI、easyYapi、Apifox helper等插件时,导出接口文档缺少代码字段注释的相关内容、校验规则的解决方法】
- 340条样本就能让GPT-4崩溃,输出有害内容高达95%?OpenAI的安全防护措施再次失效
- 控制您的音乐、视频等媒体内容
- el-table固定表头(设置height)出现内容过多时不能滚动问题
猜你感兴趣
版权申明
本文"requests爬虫详解":http://eshow365.cn/6-11860-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!