当前位置：网站首页>网络爬虫错误

网络爬虫错误

2022-08-10 01:34:00 【bamboogz99】

在使用urllib中的request方法时，系统返回HTTPerror，但是没有给出错误代码

重新写了一段代码，用来显示具体错误：

# 异常处理
from urllib import request,error
try:
    response = urllib.request.urlopen('https://movie.douban.com/top250')
except error.HTTPError as e:
    print(e.reason,e.code,e.headers,sep='\n')  # 使用httperror判断

这里访问的是豆瓣，结果返回错误418，查了下是反爬虫的。

处理办法：不是一次请求整个网页，而是加入header选项，只读取头部，如下：

第二个问题是，如何读取多页的信息，此时通过观察，得知douban的页面链接中包含了页码信息，用for循环配合页码即可：

原网站

版权声明
本文为[bamboogz99]所创，转载请带上原文链接，感谢
https://blog.csdn.net/bennyfun79/article/details/126180763

边栏推荐

猜你喜欢

随机推荐