爬虫学习日志10--获取疫情首页数据并保存完整代码

这篇文章主要讲述如何获取疫情首页数据并且保存。

import requestsfrom bs4 import BeautifulSoupimport reimport json#1.发送请求，获取疫情首页response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')home_page=response.content.decode()#2.从疫情首页，提取最近一日各国疫情数据soup = BeautifulSoup(home_page,'lxml')script=soup.find(id='getListByCountryTypeService2true')text=script.textprint(text)#3.从疫情数据中，获取json格式的字符串json_str=re.findall(r'[.+]',text)[0]print(json_str)#4.把json格式的字符串转换为python类型last_day_corona_virus=json.loads(json_str)#print(last_day_corona_virus)#5.以json格式保存最近一日各国疫情数据with open('venv/last_day_corona_virus.json','w',encoding='utf-8') as fp: json.dump(last_day_corona_virus,fp,ensure_ascii=False)#获取数据-解析数据-保存数据

代码运行成功，疫情首页的数据就获取并且保存了。