当前位置：网站首页>ROBOTSTXT_OBEY[通俗易懂]

ROBOTSTXT_OBEY[通俗易懂]

2022-08-10 16:50:00 【全栈程序员站长】

大家好，又见面了，我是你们的朋友全栈君。

爬虫协议，即 robots 协议，也叫机器人协议

它用来限定爬虫程序可以爬取的内容范围 通常写在 robots.txt 文件中 该文件保存在网站的服务器上 爬虫程序访问网站时首先查看此文件 在 scrapy 项目的 settings.py 文件中 默认 ROBOTSTXT_OBEY = True ，即遵守此协议 当爬取内容不符合该协议且仍要爬取时 设置 ROBOTSTXT_OBEY = False ，不遵守此协议

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/130067.html原文链接：https://javaforall.cn

原网站

版权声明
本文为[全栈程序员站长]所创，转载请带上原文链接，感谢
https://cloud.tencent.com/developer/article/2069814

边栏推荐

猜你喜欢

随机推荐