视频版教程：一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium

我们以谷歌浏览器为例讲解。首先我们要去下载谷歌浏览器驱动。

谷歌浏览器驱动下载地址：Chromium History Versions Download ↓

查看谷歌浏览器版本 右上角三个点 - > 帮助 - > 关于

我们下载解压后的驱动，放到项目代码同级目录即可，方便测试。

安装下selenium模块

pip install selenium   -i https://pypi.tuna.tsinghua.edu.cn/simple

测试代码：

import timefrom selenium import webdriver# 创建浏览器操作对象
browser = webdriver.Chrome()
url = "https://www.csdn.net/"browser.get(url)time.sleep(5)content = browser.page_source
print(content)

自动弹出谷歌浏览器，并且提示"Chrome 正受到自动测试软件的控制"， 说明驱动配置OK。

代码休眠5秒，是为了让js完成渲染，然后获取网页源码，我们能找到我们需要的资讯数据