当前位置：网站首页>爬虫基本原理介绍、实现以及问题解决

爬虫基本原理介绍、实现以及问题解决

2022-08-10 19:16:00 【InfoQ】

一、爬虫的意义

1.前言

最近拉开了毕业季的序幕，提前批开启了大厂抢人模式，所以很多人都开始在力扣刷题，希望能够在大厂抢人的时期脱颖而出。为了能实现群内力扣刷题排名就需要对力扣网站进行数据爬取，最近就对爬虫的机制和爬虫的意义进行了了解。

2.爬虫能做什么

其实爬虫的主要目标就是通过

大量自动化

进行目标网站的访问，获取

公开的数据

，方便我们进行数据统计或者数据整合。其中

公开shuju

一定要注意，就是一定是网页可以公开访问的数据进行访问，否则是违法的哦，容易面向监狱编程。另外就是一定要注意访问的频次，不能对原始网站造成危害（一般都会做限制了）。不然会变成一只有毒的爬虫。

3.爬虫有什么意义

其实爬虫主要做的事情就是数据的收集，接下来就可以做数据的处理，企业可以用这些数据来进行市场分析，把握商机，就行买股票一样，有大量的历史数据我们就可以尝试去预测市场走势，押中了就是一次机会。另外现在人工智能这么火爆，但是人工智能的基础就是大数据，我们听说过训练集其实就是大数据，我们有时候拿不到现成的数据集的时候就需要进行爬虫拿到我们的数据基础。

在这里插入图片描述

二、爬虫的实现

1.爬虫的基础原理

爬虫其实就是自动访问相应的网站，拿到我们想要的数据。比如我们想要查快递，就会不断的访问一个网页，去看最新的进度，爬虫就是去模拟这个过程，同时为了提高效率可能会省略一些步骤。我们这次就以力扣的刷题总数做例子。

2.api的获取

我们打开力扣的主页的时候一定会进行数据的访问拿到一些信息，我们打开开发者模式，就可以看到每一条请求。例如下图：

右侧就是我的主页其中的一条数据库请求内容，他用的语法是

graphql

，赶兴趣我们下次再讲，我们只要用就行了。我们其实可以对请求头进行精简，得到下面的graphql语法：

payload&nbsp;=&nbsp;{&quot;operation_name&quot;:&nbsp;&quot;userPublicProfile&quot;,&nbsp;&nbsp;&nbsp;#查询数据库请求内容
&nbsp;&nbsp;&nbsp;&nbsp;&quot;query&quot;:&nbsp;'''query&nbsp;userPublicProfile($userSlug:&nbsp;String!)&nbsp;{
userProfilePublicProfile(userSlug:&nbsp;$userSlug)&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;username
&nbsp;&nbsp;&nbsp;&nbsp;submissionProgress&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;acTotal
&nbsp;&nbsp;&nbsp;&nbsp;}
}
}
''',
&nbsp;&nbsp;&nbsp;&nbsp;&quot;variables&quot;:&nbsp;'{&quot;userSlug&quot;:&quot;查询对象&quot;}'
}

3.爬虫实现

我们直接对上面构造的访问方式进行访问，看看得到了什么：

import&nbsp;requests&nbsp;as&nbsp;rq
from&nbsp;urllib.parse&nbsp;import&nbsp;urlencode

headers={&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#请求头信息
&nbsp;&nbsp;&nbsp;&nbsp;&quot;Referer&quot;:&quot;https://leetcode.cn&quot;,
}

payload&nbsp;=&nbsp;{&quot;operation_name&quot;:&nbsp;&quot;userPublicProfile&quot;,&nbsp;&nbsp;&nbsp;#查询数据库请求内容
&nbsp;&nbsp;&nbsp;&nbsp;&quot;query&quot;:&nbsp;'''query&nbsp;userPublicProfile($userSlug:&nbsp;String!)&nbsp;{
userProfilePublicProfile(userSlug:&nbsp;$userSlug)&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;username
&nbsp;&nbsp;&nbsp;&nbsp;submissionProgress&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;acTotal
&nbsp;&nbsp;&nbsp;&nbsp;}
}
}
''',
&nbsp;&nbsp;&nbsp;&nbsp;&quot;variables&quot;:&nbsp;'{&quot;userSlug&quot;:&quot;romantic-haibty42&quot;}'
}

res&nbsp;=&nbsp;rq.post(&quot;https://leetcode.cn/graphql/&quot;+&quot;?&quot;+&nbsp;urlencode(payload),headers&nbsp;=&nbsp;headers)
print(res.text)

可以从上面的发现我们拿到了

acTotal

字段，也就是我们想要总的刷题数。但是我们尝试对大量数据进行访问的时候我们就会看到访问频次的限制。

3三、反爬解决方案

1.反爬的实现方式

很多网站常用的一种反爬的方式是对单ip进行限制，如果一个ip在一定的时间内大量访问，那么就会不再返回信息，而是返回错误。主要是数据库的日志系统会对访问进行记录。

2.反爬的解决方法

Ipidea是一个IP代理平台，为全球用户提供优质大数据代理服务，目前拥有千万级真实住宅IP资源，包含超过220个国家和地区，日更新超过4000万，汇聚成代理服务池并提供API接入，支持http、https、socks5等多种协议类型，并且拥有API形式和账号密码多种使用方式，非常易于上手。

官网地址

3.反爬的实现代码

其实我们有了上面的代码之后再加入到ipidea就会很简单，只要我们去官网下示例代码，然后插入我们的代码就行了：

只要我们将代码中的

tiqu

换成我们的提取链接，然后将我们的代码放到核心业务的try里面就可以实现了。不过我为了使用socks5代理方式进行了修改，完整版代码如下：

#&nbsp;coding=utf-8
#&nbsp;！/usr/bin/env&nbsp;python
import&nbsp;json
import&nbsp;threading
import&nbsp;time
import&nbsp;requests&nbsp;as&nbsp;rq
from&nbsp;urllib.parse&nbsp;import&nbsp;urlencode

headers={
&nbsp;&nbsp;&nbsp;&nbsp;&quot;Referer&quot;:&quot;https://leetcode.cn&quot;,

}

payload&nbsp;=&nbsp;{&quot;operation_name&quot;:&nbsp;&quot;userPublicProfile&quot;,
&nbsp;&nbsp;&nbsp;&nbsp;&quot;query&quot;:&nbsp;'''query&nbsp;userPublicProfile($userSlug:&nbsp;String!)&nbsp;{
userProfilePublicProfile(userSlug:&nbsp;$userSlug)&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;username
&nbsp;&nbsp;&nbsp;&nbsp;submissionProgress&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;acTotal
&nbsp;&nbsp;&nbsp;&nbsp;}
}
}
''',
&nbsp;&nbsp;&nbsp;&nbsp;&quot;variables&quot;:&nbsp;'{&quot;userSlug&quot;:&quot;kingley&quot;}'
}

username&nbsp;=&nbsp;&quot;romantic-haibty42&quot;

def&nbsp;int_csrf(proxies,header):
&nbsp;&nbsp;&nbsp;&nbsp;sess=&nbsp;rq.session()
&nbsp;&nbsp;&nbsp;&nbsp;sess.proxies&nbsp;=&nbsp;proxies
&nbsp;&nbsp;&nbsp;&nbsp;sess.head(&quot;https://leetcode.cn/graphql/&quot;)
&nbsp;&nbsp;&nbsp;&nbsp;header['x-csrftoken']&nbsp;=&nbsp;sess.cookies[&quot;csrftoken&quot;]

testUrl&nbsp;=&nbsp;'https://api.myip.la/en?json'


#&nbsp;核心业务
def&nbsp;testPost(host,&nbsp;port):
&nbsp;&nbsp;&nbsp;&nbsp;proxies&nbsp;=&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'http':&nbsp;'socks5://{}:{}'.format(host,&nbsp;port),
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;'https':&nbsp;'socks5://{}:{}'.format(host,&nbsp;port),
&nbsp;&nbsp;&nbsp;&nbsp;}
&nbsp;&nbsp;&nbsp;&nbsp;res&nbsp;=&nbsp;&quot;&quot;

&nbsp;&nbsp;&nbsp;&nbsp;while&nbsp;True:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;try:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;header&nbsp;=&nbsp;headers
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#&nbsp;print(res.status_code)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;chaxun&nbsp;=&nbsp;payload
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;chaxun['variables']&nbsp;=&nbsp;json.dumps({&quot;userSlug&quot;&nbsp;:&nbsp;f&quot;{username}&quot;})
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;res&nbsp;=&nbsp;rq.post(&quot;https://leetcode.cn/graphql/&quot;+&quot;?&quot;+&nbsp;urlencode(chaxun),headers&nbsp;=&nbsp;header,proxies=proxies)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print(host,res.text)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;except&nbsp;Exception&nbsp;as&nbsp;e:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print(e)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;break


class&nbsp;ThreadFactory(threading.Thread):
&nbsp;&nbsp;&nbsp;&nbsp;def&nbsp;__init__(self,&nbsp;host,&nbsp;port):
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;threading.Thread.__init__(self)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;self.host&nbsp;=&nbsp;host
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;self.port&nbsp;=&nbsp;port

&nbsp;&nbsp;&nbsp;&nbsp;def&nbsp;run(self):
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;testPost(self.host,&nbsp;self.port)


#&nbsp;提取代理的链接&nbsp;&nbsp;json类型的返回值&nbsp;socks5方式
tiqu&nbsp;=&nbsp;''

while&nbsp;1&nbsp;==&nbsp;1:
&nbsp;&nbsp;&nbsp;&nbsp;#&nbsp;每次提取10个，放入线程中
&nbsp;&nbsp;&nbsp;&nbsp;resp&nbsp;=&nbsp;rq.get(url=tiqu,&nbsp;timeout=5)
&nbsp;&nbsp;&nbsp;&nbsp;try:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;resp.status_code&nbsp;==&nbsp;200:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;dataBean&nbsp;=&nbsp;json.loads(resp.text)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;else:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print(&quot;获取失败&quot;)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;time.sleep(1)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;continue
&nbsp;&nbsp;&nbsp;&nbsp;except&nbsp;ValueError:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print(&quot;获取失败&quot;)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;time.sleep(1)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;continue
&nbsp;&nbsp;&nbsp;&nbsp;else:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;#&nbsp;解析json数组
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;print(&quot;code=&quot;,&nbsp;dataBean)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;code&nbsp;=&nbsp;dataBean[&quot;code&quot;]
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;code&nbsp;==&nbsp;0:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;threads&nbsp;=&nbsp;[]
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;proxy&nbsp;in&nbsp;dataBean[&quot;data&quot;]:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;threads.append(ThreadFactory(proxy[&quot;ip&quot;],&nbsp;proxy[&quot;port&quot;]))
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;t&nbsp;in&nbsp;threads:&nbsp;&nbsp;#&nbsp;开启线程
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;t.start()
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;time.sleep(0.01)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;for&nbsp;t&nbsp;in&nbsp;threads:&nbsp;&nbsp;#&nbsp;阻塞线程
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;t.join()
&nbsp;&nbsp;&nbsp;&nbsp;#&nbsp;break
&nbsp;&nbsp;&nbsp;&nbsp;break