爬虫实例：爬取中国大学排名

步骤：
1.用requests库爬取网页信息
2.用BeautifulSoup处理html关键数据，放入列表中
3.格式化打印信息

import  requests
import bs4
from bs4 import  BeautifulSoup

def getData(url): #从网页获取信息
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        print("爬取失败")


def settleData(html,datalist): #处理html关键数据，放入列表
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:   #遍历tbody标签的所有儿子
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            datalist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])


def printData(datalist,num): #打印信息
    tplt = "{0:{4}^10}\t{1:{4}^10}\t{2:{4}^10}\t{3:^10}"
    print(tplt.format("排名","学校名称","学校地址","总分",chr(12288))) #为了对齐，使用中文字符填充chr(12288）
    for i in range(num):
        u=datalist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))

def main():
    uinfo=[]
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html=getData(url)
    settleData(html,uinfo)
    printData(uinfo,30)


def search(string):  #搜索函数
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getData(url)
    settleData(html, uinfo)
    for i in range(len(uinfo)):
        u=uinfo[i]
        if u[1]==string:
            print(u[0],u[1])

main()
search("江西师范大学")

效果如下