当前位置:首页 > 编程笔记 > 正文
已解决

requests爬虫详解

来自网友在路上 149849提问 提问时间:2023-09-23 03:23:32阅读次数: 49

最佳答案 问答题库498位专家为你答疑解惑

Requests

安装
 

pip install requests



示例

from fake_useragent import UserAgent
import requestsdef cra1_1():
url = 'http://xx/front/website/findAllTypes'
headers = {'User-Agent': UserAgent().chrome}
resp = requests.get(url, headers=headers)
result = resp.json()if __name__ == '__main__':
cra1_1()          

发送请求

GET请求

resp = requests.get(url,headers= headers,params=params1) #headers,params1是字典



POST请求

resp = requests.post(url,headers=headers,data=data) #headers,data是字典

获取响应信息

获取响应信息
resp.status_code  获取状态码
resp.text    获取响应内容 (以字符串)
resp.json()    获取响应内容【python数据,可直接用jsonpath解析】
resp.content    获取响应内容(以字节的方式)
resp.headers    获取响应头内容
resp.url    获取访问地址
resp.encoding    获取网页编码
resp.request.headers    请求头内容
resp.cookie    获取cookie
        

功能

代理访问

proxies = {"http": "http://10.10.1.10:3128","https": "https://10.10.1.10:1080",}
requests.get("http://www.zhidaow.com", proxies=proxies)



设置超时时间

requests.get('http://github.com', timeout=0.001)



session自动保存cookies

s = requests.Session() # 创建一个session对象
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') # 用session对象发出get请求,设置cookies



ssl验证

requests.packages.urllib3.disable_warnings() # 禁用安全请求警告
resp = requests.get(url, verify=False, headers=headers)


        

查看全文

99%的人还看了

猜你感兴趣

版权申明

本文"requests爬虫详解":http://eshow365.cn/6-11860-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!