爬虫实例，获取豆瓣上某部电影的评论

一、详细代码

import requests
from requests.exceptions import RequestException
from bs4 import BeautifulSoup
import time

def get_one_page(url):
    #获取页面html
    try:
        headers = {
    
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
        }
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    #解析页面内容，使用BeautifulSoup解析器
    soup = BeautifulSoup(html, 'lxml')
    #获取页面上的电影短评
    #class=short中的内容
    for word in soup.find_all(class_= 'short'):
        print(word.string)



def main(offset):
    #某部电影的url
    url = 'https://movie.douban.com/subject/1292213/comments?start=' + str(offset)+'&limit=20&sort=new_score&status=P'
    html = get_one_page(url)
    parse_one_page(html)

if __name__ == '__main__':
    #获取某部电影的前5页短评
    for i in range(5):
        main(offset=i * 20)
        time.sleep(1)

二、结果举例

选取的电影链接为：https://movie.douban.com/subject/1292213/comments?status=P

0 无论是看第三十遍，还是第三十一遍，我都会对着那个寂寥的背影流泪。那落寞的大圣身上烙印着我青春时所有梦想，我们曾以为自己会成为盖世英雄，以为自己是这个世界的唯一，以为爱情专为自己存在，可是渐渐发现自己和别人没有什么不同，当你踏上社会时，总会有人看着你的背影说：看，他好像条狗啊！
1 一切的闹闹哄哄，只是他在水帘洞躲避风沙那晚做的一个梦。
2 一遍烂，两遍笑，三遍哭
3 经历过和正在经历着悟空式的命运和紫霞式的爱情，才发现生命的本质是以最低的姿态出现的。英雄？你为什么不问问做英雄的代价？  
“想不到经过这五百年，我要找的并不是她，而是你。”人生际遇真是难以言喻。
4 鲜花虽会凋谢，但会再开。一生所爱，隐约在白云外。苦海翻起爱恨，在世间难逃避命运。相亲竟不可接近，或我应该相信是命运。
5 紫霞飘向太阳时、齐天大圣离开城门时，都哭成了傻逼。有多庆幸能踩着五彩祥云做你的盖世英雄，就有多遗憾没办法与你守护终身。喜欢的是五百年前的晶晶、还是给了自己三颗痣的紫霞；喜欢无拘无束敢爱敢恨的至尊宝、还是套上紧箍咒背影像狗的孙悟空？爱的命题究竟太空泛，恐怕还是要交给月光宝盒。
6 有人跟我比赛背台词么
7 我猜中了开头，却猜不到这结局。/ 20141024 在影院哭死
8 为什么越看越觉得悲伤
9 紫霞仙子眨眼的一瞬惊艳，无忧无虑的至尊宝。
至尊宝面对现实的两条路:
不成大圣，我无法救你。成了大圣，我无法爱你。
10 一生所爱：我的意中人是个盖世英雄，有一天他会穿着金盔金甲，踩着七色的云彩来娶我。我猜中了前头，可是我猜不着这结局…… 
11 其实很伤感
12 #电影院#  第二部就这样活生生地把周星驰塑造成了千古情圣，句句台词都催泪。反应了初恋之后男人遇到真爱（挚爱）的复杂心理。至尊宝其实真的很心软也很善良，怎能因为紫霞流了一滴眼泪就爱上了她，我到现在都还喜欢白晶晶啊。
13 我一直不知道她在心里留下了什么，原来是一滴眼泪
14 电影第二次上映我是第一次看，我觉得看懂了又好像没看懂……不过紫霞仙子好美，朱茵现在还是那么美
15 任何时候任何场合都可以再看一遍的电影
16 坐我旁边的那个年近四十、西装革履的男人从电影刚开始就止不住眼泪，有些地方哭着笑出声。而他的年轻女伴从开头就一直低头玩手机、到经典场景就煞有介事地拍张照片、不到一半时一直嚷嚷着无聊，硬是把那个男人拉走了。
17 小时候看着笑，长大了看着哭。
18 年少时特别不喜欢周星驰，觉得瞎搞，觉得脏乱差，但长大之后，每看一遍就难过一遍，每看一遍哭一遍。他真是在这里说尽了爱，说尽了责任，说尽了人世种种无奈无力
19 曾经有份真挚的感情摆在我面前，我不懂得珍惜，直到失去了才追悔莫及。人世间最痛苦的事莫过于此。如果上天给我一个再来一次的机会，我会对那个女孩说三个字: 我爱你，如果非要在这份爱上面加个期限，我希望是  ...一万年。
0 童年时美好的回忆，现在仍然会重温的经典，紫霞仙子走的时候真的泪奔，我的意中人是个盖世英雄，有一天他会踏着七彩祥云来娶我，我猜到了开头，却猜不到这个结局
1 一星只是一个态度分，这个电影被YY出太多连导演编剧都始料未及的“意义”，被多少年至今依旧炒得烂续篇接踵而来，完全经不起推敲的一部尴尬的娱乐电影而已。
2 盗用一句黄姐姐很喜欢的管风琴，"人能这么锲而不舍地轻佻，骨子里一定有哀世伤生的肃穆在支撑。"
3 大圣去取经了，城楼上的和自己长得一样的人类和一样的紫霞仙子，过着愉快的生活，有点悲伤。
4 因为你还没有遇到给你三颗痣的人
5 哈哈,也是我最喜欢的电影之一了.看过好几次,第一次看笑得半死,后来居然又看哭了.其实可以喜欢到不太想得起来.但是是值得永远收藏的.
6 我的意中人是一位盖世英雄，总有一天，他会驾着七彩祥云来娶我。
7 请收藏粤语版。「2010」：1218，这么多年后重看，居然还是湿了。【2014】终于在大荧幕上看了。虽然是普通话。经得起这么多次的反刍，可以确认是经典了。想起东邪西毒重演时提前离场的对比，简直。
8 大话西游成就了一个时代.这句话一点也没错.不管是好的方面还是不好的方面.|人试图化身为天地，这本身就是一种不自量力。
9 我想，应该不用说什么才对。
10 一定有一些电影 永远都不能被超越
11 我在你心里是个句号还是一个惊叹号？
12 人生完整了……（看完才明白，这电影在1994年遭遇票房滑铁卢是有理由的……平行世界有没有，时间悖论有没有，神经病剪辑有没有！
13 这表面看起来像喜剧，实际上就是个悲剧，紫霞仙子和齐天大圣之间隔着500年，500年前的齐天大圣和紫霞仙子的爱情，500年后至尊宝和白晶晶的爱情，那么多的纷纷扰扰，到最后不过是一场梦，真真假假各自体会，
14 你看那个人 好像一条狗啊  当他还是至尊宝的时候 他还是一个人 白晶晶 紫霞 嬉笑怒骂 爱恨纠缠 初爱 初心 最是轰轰烈烈 然而人总是要成长 要入世 要面对现实 要承担责任 要不辱使命 于是变成了孙悟空 带上了面具 学会了伪装 说不清道不明 活得好像一条狗
15 最触动我的，是孙悟空转身走掉时，周星驰和朱茵指着他的背说，他像不像一条狗啊。当场泪奔。
16 《大话西游》好于99%的喜剧片，《仙球大战》好于0%的喜剧片。
刘镇伟可能是唯一一个又拍过好于99%的喜剧片，又拍过好于0%的喜剧片的导演。
17 笑着流泪...哭着笑出声...影响了太多人太久时间的经典
18 感动呜呜……一生所爱
19 看了不下20遍，彻底看伤了。
0 要救她就得必须戴上金箍，而戴上金箍就不能跟她在一起。以前的我会选择不戴金箍，觉得轰轰烈烈的爱情才是最伟大的，而现在我选择戴上金箍。有时候放手也是一种伟大，就让她一直等待她那踏着七彩云的意中人来带她走。
1 只是一个应错阳差的片子，至于么？
慢慢理解了流行其实就是一个蝴蝶效应
2 我的意中人是一个盖世英雄。
上天既然安排他拔出我的紫青宝剑，
他一定是个不平凡的人，
错不了！
我知道有一天他会在一个万众瞩目的情况下出现，
身批金甲圣衣，
脚踏七彩祥云来娶我！
3 我真的不欠谁的电影票 别跟我提情怀 你就是想圈钱 
4 我的意中人是个盖世英雄，有一天他会踩着五彩祥云来接我。我猜中了前头，但却猜不到那个结局。
5 好像一遍真的看不懂，可能阅历不够吧，什么时候看了第二遍第三遍…懂了后，我会再来。
6 #重看#看过无数次开头却从未目睹过结尾，悲伤；太多耳熟能详的台词、太多过目难忘的镜头，置于彼时场景，万千感慨涌上心头；爱或不爱，难道有理由吗？取经与否，难道你能选择吗？烂漫俏皮如紫霞，一颦一笑皆有情，那个脚踩祥云的人，若你心有刹那的异样，一定是我曾在你心里留下的泪。
7 永远的至尊宝……永远的斧头帮……
8 小时候看的是搞笑，只记住了紫霞仙子好美(*▽*)！现在看的是感伤，“曾经有一份真挚的感情摆在我面前，我没有珍惜，如果再给我一次机会，我一定会对那个女孩说一句我爱你，如果非要这份爱上加个期限，我希望是一万年！”
9 看了不止五遍了，重映亦去了一次。当紫霞说飞蛾就是这么傻，当孙悟空落寞地远走时，掉下泪来。一生所爱的BGM相当地贴合这个情境，朱茵亦在此片中贡献了她最美的样子和最精彩的表演。至尊宝的梦中，常常回荡的，是紫霞出现时的那一片芦苇。可惜只有开头被猜中，时光寥寥略过，结局是遗憾的。
10 谁能告诉我这电影到底好在哪?
11 周星驰的电影质量可以保证！朱茵太美了！
12 当年是一部烂片，后来过了两年才在内地莫名其妙的火了，互联网的兴起竟捧成了经典，真是匪夷所思，现在又在电影院上线，可谓借尸还魂啊。
13 永远的紫霞，朱茵最让我惊艳的瞬间。最后看到城楼相拥的二人泪目了。
14 不开心，就算长生不老也没用，开心，就算只能活几天也足够！
15 可以说这是西游改编的最早的最无厘头的版本，虽然是喜剧电影，但是被至尊宝和紫霞仙子之间的感情却感动的不要不要的。里面的经典台词直到现在还再沿用。
16 刚又看完大话西游系列忍不住过来拉高一下评分，最爱的国产喜剧电影。
17 至尊宝在救晶晶时光倒流的路上，爱上了紫霞的故事。紫霞天真的爱情真的很感人。经典台词也一堆。在心里留下了一滴眼泪；我猜到了开头猜不到结尾~~~问题是，至尊宝被晶晶她姐杀了，看到心里的眼泪，那里他不是死了么？虽然15年后重看，发现很多漏洞和粗糙，仍然瑕不掩瑜。
18 星爷经典，港片必看，他和吴叔掰开前，功夫？之前的片基本都好看。
19 星爷的无厘头系列，明明是喜剧，看了却是流泪的，正是所谓的笑着流泪，一个人一生中的爱情可能只有一次，错过了就没了。
0 电影史上最被过度解读的一部电影，本人在北京高校亲生经历了那段历史，那是这部片被高校生炒的最热的一段时光，不是这片携带了多少，而是那时80后的我们给这部电影赋予了很多，说此片是垃圾一点不为过，不过它巧合的记录了那代人的情怀和青春，荒谬的成为电影史上具有非常意义的一部作品
1 无法理解无厘头
2 那个永恒的经典。永远的周星驰，莫文蔚，朱茵……
3 伴我成长
4 其实讲的是迷路的人在思考是不是应该哪儿都不去的问题。结尾十几年如一日的太飘逸了。
5 当年看的的时候还小，就觉得很好笑，还有朱茵长得好漂亮，个人觉得大话西游和唐伯虎点秋香是周星驰的巅峰，而最后的残阳是长江七号。
6 通过无厘头的方式表现电影想表达的内容，或许有的人会开怀大笑过后就忘记了，有的人却流下了眼泪，感受很深 。
7 鲜花虽会凋谢 但会再开
情人别后永远再不来
一生所爱隐约 在白云外
8 不戴金箍，如何救你；戴了金箍，如何爱你。以无厘头的搞笑方式诠释了大爱小爱，成长与信仰
9 经典，还有那句台词“喜欢一个人需要理由吗？需要吗？不需要吗？需要吗？”
10 那天我凤冠霞帔，你意气风发，驾七彩祥云却没来娶我。那日我大战群魔，你泪水涟涟，戴着紧箍圈却放了手。这一世品尝了所有爱恨苦楚，架着金箍棒转身。从此黄沙漫漫，再没有一个姑娘在脚底点上三颗痣，嚣叫着宣告主权。不会钻进心脏，流下明知南墙偏要撞的眼泪。从此后世流传我们相爱的秘闻，只有开头。
11 小时候看到的是乐趣，长大了看到的是无奈。被情所困，困住我们的又何止是情？至尊宝变成了孙悟空，我们又变成了什么？随着年纪的增长看懂了这部电影，其实多想仍旧看不懂啊，可惜时间不可逆。
12 明明是部喜剧却看哭了很多人。一直都在错过，人生真是太多遗憾。
13 那些喷靠情怀圈钱的，我就特别想问，你既然有这个情怀，难道真的还不值那几十块钱的电影票钱？
14 “曾经有一份真挚的感情摆在我面前，我没有珍惜，如果再给我一次机会，我一定会对那个女孩说一句我爱你，如果非要这份爱上加个期限，我希望是一万年”，感动到泪奔。
15 ***** [讲堂] 其实真正的命运没那么巧合也没那么简单。
16 永远的至尊宝，永远的紫霞，最爱的星爷，最爱的西游改编，有星爷无厘头的笑点，但也有动情至深的泪点，再回忆起来，依然是其他西游改编不可比拟
17 至尊宝在梦里叫了晶晶那个名字九十八次， 叫了紫霞七百八十四次。可是他醒来之后还是想跟晶晶成亲，因为他喜欢晶晶有一条一条理由，理由的存在会让人相信很多事。他不知道自己怎么就会喜欢上紫霞，只是，喜欢真的需要那么多理由吗。我也好想去他的良心里，问一问。
18 不懂是情怀还是什么，觉得以前的演员都特别有灵气。
19 我的心上人是个盖世英雄，会踩着七色白云来接我～这是每个女孩子的愿望吧，紫霞把女生的痴情表现的淋漓尽致。
0 经典，看了不知道多少遍了，至尊宝和紫霞仙子看哭了我。一生所爱。
1 朱茵眨眼是港片最美瞬间之一，紫霞仙子和至尊宝的故事很感人，喜欢这部另类西游。
2 一部喜剧片如此地打动观众，太有深意了，不愧是经典之作。
3 我希望紫霞仙子和至尊宝能在一起长相守！
4 有些人你一旦错过了，即使身披金甲圣衣，脚踏七色云彩，化身为齐天大圣你也追不回来了。 
5 大学了才在室友的强烈安利下看的。粤语配音看起来有点费劲，不过片子是真的不错。“它好像一条狗啊”现在听起来好像在嘲讽单身狗[]星爷那时拍的电影真是很耐看，然而现在……
6 我的意中人是一位盖世英雄，有一天他会身披金甲圣衣，驾着七彩祥云来娶我。————《大话西游之大圣娶亲 》 
7 当紫霞仙子看到孙悟空驾着七彩云彩到来时，她的表情看得我想哭   因为我知道结局 心疼仙子
8 喜欢这种魔幻剧，至尊宝和紫霞仙子的爱情很美，却不能在一起。紫霞仙子代表一大批女性，都梦想能有个盖世英雄，脚踏七祥彩云来迎接自己！朱茵在剧中真的很美！至尊宝帅气，孙悟空有点丑！
9 一代经典。朱茵奉献了她最惊艳的表演，紫霞仙子到现在印象还很深刻，还有那几段七色云彩，爱你一万年的经典桥段。
10 很多年以前就看过，我不觉得有那些人所说的那么经典，我也非常讨厌他们的那些意淫和解构，我认为这就是一部拍的还可以的喜剧，至于其他的部分，我觉得是这些无聊的人过度解构了
11 封神了？我觉得一般 
12 简直就是为了圈钱的，情怀这个东西说多了就真不值钱了
13 以前没有看懂过，重温时发现那句，“你看那个人好像一条狗”，蛮残忍的
14 也看过很多遍了，一直觉得这只是一部还不错的的喜剧片而已，都算不上周星驰最好的作品，不知哪来这么多过度解读后的自我感动，莫名其妙的，怕是导演都没想过这么多
15 本片是一面照妖镜，一下子就可以照出那些装逼的人！装逼的人既有酸臭的文人，也有无脑的市井小民。从技术上看，本片是纯粹的拼凑之作，没有宏观把握，叙事混乱，情感造作。在中国大陆，本片被像《红楼梦》一样神化了，所有对本片的客观评价都会遭遇辱骂、痛斥、封杀。
16 今年的戛纳电影节跟中国完全鸟关系都没有，红毯都懒得去蹭了。我们却还在漆黑狭小的电影院里对着二十三年前被吹上天的电影自我感动，抹一把高潮泪。怎么说才好呢？
17 看过无数遍，一直到现在都不明白电影演的是什么，很郁闷，但是很喜欢里面的一句台词“人和妖精都是妈生的，不同的是，人是人他妈生的，妖是妖他妈生的……你妈贵姓啊？”很有深意！
18 西游降魔伏妖篇之后，有人说星爷欠我一张电影票，有人说星爷江郎才尽！但是星爷根本没变，这两部秉承前作的风格！但变的是观众，就像电影是老的经典，不是因为前作有多难超越，而是电影给予我们的回忆难以超越！我们的心态不再平静！我们看星爷的角度不断变化，而星爷却从未改变！
19 这..是..现象级的过度解读吧..周星驰还是那个周星驰，只是我们对于青春和情怀的捍卫过于执拧。说实话，笑不出，哭不出，至于像条狗的总结陈词，不就是周星驰惯用的将主角都打上市井小民烙印的招数？