利用Python爬取中国高校排名

利用Python爬取中国高校排名

利用Python爬取中国高校排名

近日，上海软科发布了2020年中国最好大学排名。如果希望把排名前15的学校及其评价得分抓取下来以便做进一步分析，该如何使用Python实现这一点呢？

具体代码如下：

import requests
from bs4 import BeautifulSoup
import bs4def getHTMLText(url):try:r = (url, timeout = 10)r.raise_for_status()r.encoding = r.apparent_cept:return ""def fillUnivList(ulist,html):soup = BeautifulSoup(html, 'html.parser')# print(soup.find('tbody').children)for tr in soup.find('tbody').children:# if isinstance(tr, bs4.element.Tag):tds = tr('td')ulist.append([tds[0].text.strip('n').strip(), tds[1].text.strip('n').strip(), tds[4].text.strip('n').strip()])def printUnivList(ulist,num):print('{}t{:<12}t{:<10}'.format("排名","学校名称","总分"))for i in range(num):u = ulist[i]print('{}t{:<12}t{:<10}'.format(str(u[0]),str(u[1]),str(u[2])))def main():uinfo = []url = ''html = getHTMLText(url)fillUnivList(uinfo,html)printUnivList(uinfo,15)main()

输出结果如下：