视频版教程：一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium

百度搜索请求地址：

https://www.baidu.com/s?wd=宝马

如果我们直接用requests.get()进行访问，发现没有返回内容，因为百度服务器通过headers头信息做了反爬手段，所以我们请求的时候，要带上headers头信息；以及requests支持请求参数key:value格式传递，我们可以通过url打印看结果。

所以标准代码案例如下：

import requestsurl = "https://www.baidu.com/s"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}data = {'wd': '宝马'
}r = requests.get(url=url, params=data, headers=headers)
print(r.url)
print(r.status_code)
print(r.text)