欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

【爬虫剑谱】第二卷实战篇第三章当当童书榜近30日的数据爬取并保存

时间:2023-08-25
此次实战用到了的模块为requests、pandas、bs4。

一、源码二、在学习过程中可能会遇到的问题

问题1:不理解源码中关于parse_html类中代码的具体含义 一、源码

import requestsimport pandas as pdfrom bs4 import BeautifulSoupdata_info = { '图书排名': [], '图书名称': [], '图书作者': [], '图书价格': []}def parse_html(soup): li_list = soup.select(".bang_list li") # 提取 class = bang_list标签下的所有标签 for li in li_list: data_info['图书排名'].append(li.select(".list_num")[0].text.replace(".","")) data_info['图书名称'].append(li.select(".name a")[0].text) data_info['图书作者'].append(li.select(".publisher_info a")[0].text) data_info['图书价格'].append(float(li.select(".price .price_n")[0].text.replace("¥","")))headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.76"}for i in range(1,26): url=f"http://bang.dangdang.com/books/childrensbooks/01.41.00.00.00.00-recent30-0-0-1-{i}-bestsell" response=requests.get(url,headers).text soup=BeautifulSoup(response,"lxml") parse_html(soup) print(f"第{i}页爬取完毕")book_info = pd.Dataframe(data_info) # 将字典转为Dataframe对象格式print(book_info.isnull())# 缺失值判断print(book_info.duplicated())# 重复值判断book_info['图书价格'][book_info['图书价格'] > 100] = None # 将价格大于100的图书价格替换为空值book_info = book_info.dropna()# 删除有空值的一行数据book_info.to_csv('图书销售排行.csv', encoding='utf-8', index=False) # 将处理好的数据进行保存,存储格式为csv文件

二、在学习过程中可能会遇到的问题 问题1:不理解源码中关于parse_html类中代码的具体含义

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。