python⼤作业——B站弹幕数据爬取与分析
B站弹幕数据分析
第⼀部分——使⽤爬⾍抓取弹幕数据
1. B站弹幕数据分析,⾸先我们需要抓取到B站视频的弹幕数据,才能进⾏数据分析
2. 选取分析的对象是B站UP主 观视频⼯作室 的**《睡前消息》** 系列视频中的最新15期,即 110-124期视频(2020-05-03
~ 2020-06-05) 的弹幕作为本次分析的弹幕,爬取的⽇期从第110期发布的⽇期开始到爬取的时候**(2020-05-03 ~
2020-06-09)**
3. ⾸先需要从 观视频⼯作室 的个⼈主页处到 睡前消息 频道,爬这⾥就可以获取到所需要的视频链接,页⾯是动态页⾯,所
以这⾥选择⽤ selenium库 爬取链接,存进⽂件备⽤
注意这⾥我⽤的是⽐较偷懒的爬取⽅法,只能爬到最新15期,要爬其他的可以⾃⼰改进⼀下算法
python新手代码userid4. 在视频页的console处可以输⼊window.cid来获取cid,但在selenium模拟中往浏览器console处输⼊的⽅法,搜索苦久⽆
果,所以想出了如此下策:在视频页打开F12,在elements处搜索cid,发现是有的,这条语句是与⽹关有关的,通过bs4匹
配到该语句,⽤正则匹配出来即可
正则前缀/ 后缀-1-
5. 要爬取B站的弹幕,有两种⽅法 ( 据我所知 )
上述⽅法都需要⽤到cookie,可以⽤以下的⽅法来获取cookie
6. 接下来就是分析这个xml⽂件中的弹幕数据,例⼦为如下:
<d p="369.34300,1,25,16777215,1590515762,0,a6fb6c47,33226011652915207">脱发</d>
这个 p字段 中的参数含义为如下:(百度搜索得到的答案)
第⼀个参数 369.34300 记作DM_time,是弹幕在视频中出现的时间,以秒数为单位。
第⼆个参数 1 记作DM_mode,是弹幕的模式1…3 滚动弹幕 4底端弹幕 5顶端弹幕 6.逆向弹幕 7精准定位 8⾼级弹幕
第三个参数 25 记作DM_font,是字号, 12⾮常⼩,16特⼩,18⼩,25中,36⼤,45很⼤,64特别⼤
第四个参数 16777215 记作DM_color,是字体的颜⾊以HTML颜⾊的⼗进制为准
第五个参数 1590515762 记作DM_realTime,是发送弹幕的时间戳
第六个参数 0 记作DM_pool,是弹幕池 0普通池 1字幕池 2特殊池(⾼级弹幕)
第七个参数 a6fb6c47 记作DM_userID,是发送者的ID,⽤于“屏蔽此弹幕的发送者”功能
第⼋个参数 33226011652915207 记作DM_id,是弹幕在弹幕数据库中rowID,也就是这条弹幕是历史总弹幕的第⼏条
p字段以外的 弹幕本体 记作DM_text
7. 把爬取到的弹幕分别放到多个csv⽂件中,每⼀期⼀个csv⽂件,⽅便后⾯的数据分析
8. ⾄此爬取数据部分完成
第⼆部分——使⽤Pandas库进⾏数据分析
1. 在爬取并保存了所有弹幕数据之后,先进⾏去重,可对⽐还未去重时⽂件的⼤⼩和去重后⽂件的⼤⼩
1. 在爬取并保存了所有弹幕数据之后,先进⾏去重,可对⽐还未去重时⽂件的⼤⼩和去重后⽂件的⼤⼩
1.1 未去重:(⾄于110-112和113-124⽇期不⼀样,是因为抓113-124的时候被封了IP,只能等到第⼆天早上抓110-
112)
1.2 去重后:
2. 然后进⾏如下的可视化分析:
2.1 每⼀期弹幕总数的变化 折线图
结合上图,我们发现每期的弹幕总数统计波动有些⼤,其中⼀些弹幕数,⽐如116期,甚⾄在这⾥统计只有不到5000条,但是在B站上可以看到:
这⼀期其实总弹幕是有1.4W的,统计到的弹幕数仅占1/3左右,出现这种情况是由于 在视频发出的某⼀天⾥,⼤多数⽤户发过了弹幕,⽽这部分弹幕超出了B站统计的maxlimit ,导致我们没办法统计到这部分弹幕。
相对⽽⾔,弹幕数多的视频就是弹幕不仅仅在某⼀天⼤量被发出,⽐如115期,这⾥我们统计到了有**9000+**的弹幕数,⽽B站上的数据:
统计到的弹幕⼤约占70%,这是由于并没有很多⽤户在某⼀个⽇期⼤量发出弹幕,导致弹幕库溢出,也从某⽅⾯说明了该视频的受众时间较⼴,是⼀个较为优质的视频。
另外,加上我去把每期的标题和弹幕数⼀对应,发现,涉及到 国与国之间的时评 的时候,在播放量相差不多的情况下,视频的受众时间会⽐较⼴,相对的,谈论的时事范围或格局越⼩,受众时间会相对应减⼩。当然这些都是通过⼀⼩部分数据得出的结论,不能代表完全的趋势就是这样。
2.2 统计发弹幕总数TOP10 的⽤户 横向柱状图
⼀共15期的节⽬,根据不完全统计,这位ID为 13631380 的⽤户⼀共发了160+条弹幕,平均每⼀期要发11条弹幕,是真爱粉⽆误了。
2.3 统计每期弹幕密度变化图 (图太多,只放了总体的缩略图)
⾸先从个体上观察这些弹幕密度图,发现弹幕都是较为均匀的,但从总体上观察这些弹幕密度图的时候,发现其中112-118期的弹幕密度图极其相似,119-124期的弹幕密度图也是极其相似,总的来说,1
12-124期都会有⼀个密度⼤且会持续⼀⼩段时间的“弹幕风云”,更巧的是,这部分都集中在视频时间700秒左右,也就是11分-13分之间会有⼀波弹幕的⼩⾼潮。
为此我特意去再次观看**《睡前消息》,发现在112-118期中,节⽬⼤概都在15~20分钟左右,⽽在11-13分钟的时候,也就是在视频时间过去⼤概70%**左右的时候,主持⼈都会作出⼀些毒辣的点评,从⽽引起弹幕的激烈讨论。
2.4 绘制出每期视频的弹幕词云 (取其中⼏个词云图展⽰)
由于我设置了最⼩字体为10,所以如果是弹幕种类分布得⽐较⼴泛的视频,留⽩处会⽐较多,这⾥我选取了较为饱满的弹幕词云图作为展⽰
【睡前消息111】深圳房价这样涨下去,会变成第⼆个⾹港么?
【睡前消息112】阅⽂风波的背后,腾讯真的⼤到只⼿遮天了吗?
【睡前消息118】《后浪》过后,如何看待B站⼜要《⼊海》?
可见弹幕⾥⾯的 同意 ⽀持 保护 之类的字眼⽐较多,**仅观表象的话 **可以说明,虽然该节⽬主持⼈虽嘴巴毒辣,在视频弹幕⾥会造成不少的⼈激烈讨论,但还是有⼤部分⼈同意这些观点的。
项⽬代码
项⽬⽬录结构
GetUrl.py
from bs4 import BeautifulSoup
from selenium import webdriver
url ='space.bilibili/54992199/channel/detail?cid=82529' print("开始爬取《睡前消息》第110-124期视频地址")
# chrome驱动,需要放在Python安装的⽬录下
driver = webdriver.Chrome(r"E:\")
<(url)
data = driver.page_source
soup = BeautifulSoup(data,'lxml')
count=1
res =[]
all= soup.find_all('li', attrs={'class':'small-item fakeDanmu-item'}) for li in all:
if count<=15:
a=li.find('a',attrs={'class':'cover cover-normal'})
res.append('https:'+a.get("href"))
count+=1
else:
break
with open('','w')as f:
for link in res:
f.write(link+'\n')
print("已将全部链接放⼊到⽂件中")
GetCid.py
from bs4 import BeautifulSoup
from selenium import webdriver
import re
import time
cids=[]
Urls=[]
with open('','r')as f:
for line adlines():
Urls.append(line.strip())
print("开始爬取《睡前消息》第110-124期视频的Cid")
# chrome驱动,需要放在Python安装的⽬录下
driver = webdriver.Chrome(r"E:\")
for url in Urls:
<(url)
data = driver.page_source
soup = BeautifulSoup(data,'lxml')
all= soup.find_all('script')
for a in all:
if str(a).startswith("<script>window."):
res=a
links=re.split(r'\:',str(res))
for url in links:
# 这个链接前⾯是域名,中国的都是以cn开头
if url.startswith("//cn"):
link=url
break
cid=re.findall(".*/(.*)-1-.*", link)
# 获取到视频的cid,存进数组然后⼀起存进⽂件中
cid=cid[0]
# 处理特殊情况下,长度不符合cid,去除尾部部分
if len(cid)>9:
length=len(cid)
a=length-9
cid=cid[:-a]
cids.append(cid)
# 每抓完⼀个⽹页休眠5秒
time.sleep(5)
with open('','w')as f:
for id in cids:
f.write(id+'\n')
print("已将全部视频的Cid放⼊到⽂件中")
GetBulletChat.py
from bs4 import BeautifulSoup
import time
import pandas as pd
import requests
import datetime
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36 QIHU 360EE",
"Connection":"keep-alive",
# 这个cookie的获取⽅法在⽂档中已说明
"Cookie":""
}
sets=124# 最新⼀期的数字
dates=[]# ⽇期数组,⽤于填充url
# 遍历⽇期包括begin和end的⽇期⽣成类似2020-05-03的格式的⽇期
begin = datetime.date(2020,5,3)
end = datetime.date(2020,6,9)
d = begin
delta = datetime.timedelta(days=1)
delta = datetime.timedelta(days=1)
while d <= end:
dates.append(str(d.strftime("%Y-%m-%d")))
d += delta
Cids=[]# Cid数组,⽤于填充url
with open('','r')as f:
for line adlines():
Cids.append(line.strip())
for cid in Cids:
# 每次都要重置这些数据
dm_data =[]# 弹幕数据
dm_text =[]# 弹幕本体
# 弹幕的⼋个参数和弹幕本体
DM_time =[]
DM_mode =[]
DM_font =[]
DM_color =[]
DM_realTime =[]
DM_pool =[]
DM_userID =[]
DM_id =[]
DM_text =[]
print("正在爬取第"+str(sets)+"期的《睡前消息》弹幕...")
for date in dates:
# 该⽅法已经失效
# url="api.bilibili/x/v2/dm/history?type=1&oid="+cid+"&date="+date
# 暂且采⽤弹幕获取量较少的⽅法
url="comment.bilibili/"+cid+".xml"
(url=url,headers=headers)#返回⽂本信息
soup=,'lxml')#建⽴soup对象
all=soup.find_all("d")
for d in all:
# 弹幕数据
dm_data.append(("p")).split(","))
# 弹幕本体
dm_text._text())
# 分别把数据存进这⼏个数组
for i in dm_data:
DM_time.append(i[0])
DM_mode.append(i[1])
DM_font.append(i[2])
DM_color.append(i[3])
DM_realTime.append(i[4])
DM_pool.append(i[5])
DM_userID.append(i[6])
DM_id.append(i[7])
for i in dm_text:
DM_text.append(i)
dt={"DM_time":DM_time,"DM_mode":DM_mode,"DM_font":DM_font,"DM_color":DM_color, "DM_realTime":DM_realTime,"DM_pool":DM_pool,"DM_userID":DM_userID,"DM_id":DM_id,"DM_text":DM_text}
d=pd.DataFrame(dt)
<_csv('./Danmu/Danmu-'+str(sets)+'.csv',encoding='utf-8-sig')#存储弹幕信息
print("已将弹幕放⼊到Danmu-"+str(sets)+".csv⽂件中")
sets-=1
# 每抓完⼀个⽹页休眠7秒
发表评论