网络爬虫简单案例（【爬虫+数据清洗+可视化分析】舆情分析哔哩哔哩"阳了"的评论）
一 、背景介绍
您好 ，我是@马哥python说 ，一枚10年程序猿 。
以前大家见面都问"吃了没" ，最近大家见面都问"阳了没" ，奈何疫情反反复复 ，惟愿身体安康！
我用python抓取了B站上千条评论 ，并进行可视化舆情分析 ，下面详细讲解代码 。
二 、爬虫代码
2.1 展示爬取结果
首先 ，看下部分爬取数据：
爬取字段含：视频链接 、评论页码 、评论作者 、评论时间 、IP属地 、点赞数 、评论内容 。
2.2 爬虫代码讲解
导入需要用到的库：
import requests # 发送请求 import pandas as pd # 保存csv文件 import os # 判断文件是否存在 import time from time import sleep # 设置等待 ，防止反爬 import random # 生成随机数定义一个请求头：
# 请求头 headers = { authority: api.bilibili.com, accept: application/json, text/plain, */*, accept-language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6, # 需定期更换cookie ，否则location爬不到 cookie: "需换成自己的cookie值", origin: https://www.bilibili.com, referer: https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548, sec-ch-ua: "Chromium";v="106", "Microsoft Edge";v="106", "Not;A=Brand";v="99", sec-ch-ua-mobile: ?0, sec-ch-ua-platform: "Windows", sec-fetch-dest: empty, sec-fetch-mode: cors, sec-fetch-site: same-site, user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47 }请求头中的cookie是个很关键的参数 ，如果不设置cookie ，会导致数据残缺或无法爬取到数据 。
那么cookie如何获取呢？打开开发者模式 ，见下图：
由于评论时间是个十位数：
所以开发一个函数用于转换时间格式：
def trans_date(v_timestamp): """10位时间戳转换为时间字符串""" timeArray = time.localtime(v_timestamp) otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray) return otherStyleTime向B站发送请求：
response = requests.get(url, headers=headers, ) # 发送请求接收到返回数据了 ，怎么解析数据呢？看一下json数据结构：
0-19个评论 ，都存放在replies下面 ，replies又在data下面 ，所以 ，这样解析数据：
data_list = response.json()[data][replies] # 解析评论数据这样 ，data_list里面就是存储的每条评论数据了 。
接下来吗 ，就是解析出每条评论里的各个字段了 。
我们以评论内容这个字段为例：
comment_list = [] # 评论内容空列表 # 循环爬取每一条评论数据 for a in data_list: # 评论内容 comment = a[content][message] comment_list.append(comment)其他字段同理 ，不再赘述 。
最后 ，把这些列表数据保存到DataFrame里面 ，再to_csv保存到csv文件 ，持久化存储完成：
# 把列表拼装为DataFrame数据 df = pd.DataFrame({ 视频链接: https://www.bilibili.com/video/ + v_bid, 评论页码: (i + 1), 评论作者: user_list, 评论时间: time_list, IP属地: location_list, 点赞数: like_list, 评论内容: comment_list, }) # 把评论数据保存到csv文件 df.to_csv(outfile, mode=a+, encoding=utf_8_sig, index=False, header=header)注意 ，加上encoding=utf_8_sig ，否则可能会产生乱码问题！
下面 ，是主函数循环爬取部分代码：（支持多个视频的循环爬取）
# 随便找了几个"世界杯"相关的视频ID bid_list = [BV1DP411g7jx, BV1M24y117K3, BV1nt4y1N7Kj] # 评论最大爬取页（每页20条评论） max_page = 30 # 循环爬取这几个视频的评论 for bid in bid_list: # 输出文件名 outfile = b站评论_{}.csv.format(now) # 转换aid aid = bv2av(bid=bid) # 爬取评论 get_comment(v_aid=aid, v_bid=bid)三 、可视化代码
为了方便看效果 ，以下代码采用jupyter notebook进行演示 。
3.1 读取数据
用read_csv读取刚才爬取的B站评论数据：
查看前3行及数据形状：
3.2 数据清洗
处理空值及重复值：
3.3 可视化
3.3.1 IP属地分析-柱形图
可得结论：关于"阳了"这个话题 ，评论里关注度最高为广东 、北京 、江苏等地区 ，其中 ，广东省的关注度最高 。同时 ，我们注意到 ，也包含一些海外网友的少量评论 。
3.3.2 评论时间分析-折线图
分析出评论时间的分布情况：
可得结论：关于"阳了"这个话题 ，再抓取到的数据范围内 ，12.18日的评论数据量最大 ，达到了将近900的数量峰值 。
3.3.3 点赞数分布-直方图
由于点赞数大部分为0或个位数情况 ，个别点赞数到达成千上万 ，直方图展示效果不佳 ，因此 ，仅提取点赞数<30的数据绘制直方图 。
可得结论：从直方图的分布来看 ，点赞数在0-3个的评论占据大多数 ，很少点赞数达到了上千上万的情况 。证明网友对"阳了"事件的态度分布比较均匀 ，没有出现态度非常聚集的评论内容 。
3.3.4 评论内容-情感分布饼图
针对中文评论数据 ，采用snownlp开发情感判定函数：
情感分布饼图 ，如下：
可得结论：关于"阳了"这个话题 ，积极评价与消极评价占比差不多 ，积极评价稍高一点 ，反应出网友对感染阳性的态度反差很大 ，大约各占一半 。
3.3.5 评论内容-词云图
初始化停用词和词云图对象：
jieba分词之后 ，对分词后数据进行绘制词云图：
可得结论：在词云图中 ，阳 、感染 、发烧 、症状 、疼 、嗓子等词汇较大 ，出现频率较高 ，反应出众多网友对确诊阳性后描述病症 、积极探讨病情的现状 。
三 、演示视频
代码演示视频：
https://www.zhihu.com/zvideo/1590645358123839488四 、附完整源码
完整源码：【爬虫+数据清洗+可视化分析】舆情分析哔哩哔哩"阳了"的评论
by 马哥python说
创心域SEO版权声明：以上内容作者已申请原创保护，未经允许不得转载，侵权必究！授权事宜、对本内容有异议或投诉，敬请联系网站管理员，我们将尽快回复您，谢谢合作！