欢迎您访问365答案网，请分享给你的朋友!
生活常识 学习资料
365答案网 > IT知识 > 正文

第一个Scrapy项目

时间：2023-08-19

1.scrapy startproject search_baidu #生成爬虫项目

2.scrapy genspider baidu www.baidu.com # 创建爬虫文件

3.scrapy crawl baidu #开始爬虫

注意：因为百度robots禁止爬虫，所以要在setting.py中设置

ROBOTSTXT_OBEY = False(默认是遵守爬虫协议)

相关推荐
相关文章

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号：

部分内容来自互联网，版权归原作者所有，如有冒犯请联系我们，我们将在三个工作时内妥善处理。