scrapy的安装和使用

来自网友在路上 139839提问提问时间：2023-10-25 02:01:18阅读次数： 39

最佳答案问答题库398位专家为你答疑解惑

一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序

二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/simple

三、scrapy项目的创建以及运行

1.win+r 进入终端

cd C:\Users\malongqiang\PycharmProjects\pythonProject\ 爬虫练习1018

注意：路径最好是你python代码放置路径（cd + 选中文件夹拉入终端）

2.创建scrapy_baidu_1024文件：scrapy startproject scrapy_baidu_10243.创建后的结果：4.进入spiders文件夹下：cd scrapy_baidu_1024\scrapy_baidu_1024\spiders5.创建爬虫文件baidu.py：scrapy genspider baidu http://www.baidu.com

6.baidu.py的内容：7.写入要打印的内容：my love8.运行爬虫文件(baidu):scrapy crawl baidu9.没有结果，爬取失败，原因如下：robots.txt协议不让爬10.解决办法：找到该目录下的settings注释ROBOTSTXT_OBEY = True11.重新运行指令,打印出来结果