python(爬取大学排名)
来源:互联网 发布:汝知其劳逸不 编辑:程序博客网 时间:2024/06/10 11:59
import requests
from bs4 import BeautifulSoup
import bs4
def gethtml(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist,html):
soup=BeautifulSoup(html,"html.parser")
#arr=soup.find('tbody').contents #contents之后得到的是一个列表,
#children就是用来遍历的
#for tr in arr:
#for tr in soup.tbody.children:三种遍历方法都行
for tr in soup.find('tbody').children:
if isinstance(tr,bs4.element.Tag):
tds=tr('td') #把tr标签里面的td标签弄成列表的形式存起来
#print('tds=',tds[0]),等价于tds=tr.find_all('td')
ulist.append([tds[0].string,tds[1].string,tds[4].string])#取出tds列表中有用的三个,再次组合成一个列表,
#放进另一个列表中,相当于二维列表
def pr(ulist,num):
print("{:^10} {:^6} {:^10}".format("排名","学校","地址"))
for i in range(num):
u=ulist[i]
print("{:^10} {:^6} {:^10}".format(u[0],u[1],u[2]))
def main():
uinfo=[]
url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
html=gethtml(url)
fillUnivList(uinfo,html)
pr(uinfo,10)
main()
- python(爬取大学排名)
- python爬虫入门之爬取大学排名
- python爬虫定向爬取中国大学排名
- 爬取中国大学排名
- 大学排名信息爬取
- python 爬取 最好大学网 的大学排名
- python爬虫学习 之 定向爬取 中国大学排名
- python3.x爬虫:爬取大学排名数据
- 爬取"最好大学网站"大学排名
- 中国大学排名定向爬取实例
- [笔记]python网络爬虫:一个简单的定向爬取大学排名信息示例
- 使用Python爬取中国大学排名,并格式化对其输出内容
- 用 requests 和 bs4 爬取世界大学排名数据
- 《python网络爬虫——大学排名》
- Python爬虫实战:2017中国最好大学排名
- Python爬取图片
- Python爬取图片
- python爬取图片
- python设计模式之门面模式
- Maven加载依赖速度慢的原理和解决办法
- 【Pta基础6.3】简单求和
- Java动态加载类
- 遇到mysql表情乱码问题总结
- python(爬取大学排名)
- 数据结构实验之图论八:欧拉回路
- Java初始化过程
- verilog矩阵乘法
- iscsi:IO操作流程(三)
- PCB布线经验(转)
- [USACO1.1]黑色星期FridaytheThirteenth
- 积分不够~~~怎么办???
- 走进大前端:HTML5与CSS3实现动态网页