python爬游戏数据（python爬虫游戏）

本篇文章给大家谈谈python爬游戏数据，以及python爬虫游戏对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、python爬虫---爬取LOL云顶之弈数据
• 2、我想用python爬虫爬取数据，但是数据格式不是很懂，谁能给我说说怎么爬取？
• 3、从零开始学python爬虫（八）：selenium提取数据和其他使用方法
• 4、python怎么爬取数据
• 5、python爬取大量数据(百万级)
• 6、利用python进行《野蛮时代》游戏数据分析

python爬虫---爬取LOL云顶之弈数据

本来是想爬取之后作最佳羁绊组合推算，但是遇到知识点无法消化（知识图谱），所以暂时先不组合了，实力有限

库的安装

1.requests  #爬取棋子数据

2.json  #棋子数据为js动态，需使用json解析

3.BeautifulSoup

实战前先新建个lol文件夹作为工作目录，并创建子目录data，用于存放数据。

1.爬取数据，新建个py文件，用于爬取云顶数据，命名为data.py

1.1定义个req函数，方便读取。//需设定编码格式，否则会出现乱码

def Re_data(url):

re = requests.get(url)

re.encoding = 'gbk'

data = json.loads(re.text)

return data['data']

1.2定义个Get函数，用于读取数据并使用保存函数进行保存数据，保存格式为json。

def Get_data():

# 获取数据并保存至data目录

base_url = ''

chess = Re_data(base_url + 'chess.js')

race = Re_data(base_url + 'race.js')

job = Re_data(base_url + 'job.js')

equip = Re_data(base_url + 'equip.js')

Save_data(chess,race,job,equip)

1.3定义save函数实现读取的数据进行文件保存，保存目录为工作目录下的data文件夹。

def Save_data(t_chess,t_race,t_job,t_equip):

with open('./data/chess.json','w') as f:

json.dump(t_chess,f,indent='\t')

with open('./data/race.json','w') as f:

json.dump(t_race,f,indent='\t')

with open('./data/job.json','w') as f:

json.dump(t_job,f,indent='\t')

with open('./data/equip.json','w') as f:

json.dump(t_equip,f,indent='\t')

1.4定义主函数main跑起来

if __name__ == '__main__':

start = time.time()

Get_data()

print('运行时间：' + str(time.time() - start) + '秒')

至此，数据爬取完成。

2.种族和职业进行组合。

2.1未完成 //未完成，使用穷举方法进行组合会出现内存不够导致组合失败（for循环嵌套导致数组内存超限）

//待学习，使用知识图谱建立组合优选，可参考：

期间遇到的问题：

1.爬取棋子数据时为动态js加载，需通过json模块的loads方法获取

2.3层for循环嵌套数据量大，导致计算失败，需优化计算方法。

我想用python爬虫爬取数据，但是数据格式不是很懂，谁能给我说说怎么爬取？

这已经是一个json格式的文本了，直接把文本请求下来转换成json就行了，就会变成python里dict和list嵌套的结构

从零开始学python爬虫（八）：selenium提取数据和其他使用方法

知识点：

知识点：了解 driver对象的常用属性和方法

注意：最新版本的selenium已经取消了这种格式，取而代之的是：

你要先导入：

然后再：

知识点：掌握 driver对象定位标签元素获取标签对象的方法

代码实现，如下，获取腾讯新闻首页的新闻标签的内容。

知识点：掌握 元素对象的操作方法

参考代码示例：

知识点：掌握 selenium控制标签页的切换

知识点：掌握 selenium控制frame标签的切换

知识点：掌握 利用selenium获取cookie的方法

知识点：掌握 selenium控制浏览器执行js代码的方法

知识点：掌握 手动实现页面等待

知识点：掌握 selenium开启无界面模式

知识点：了解 selenium使用代理ip

知识点：了解 selenium替换user-agent

python怎么爬取数据

根据你要抓取页面的源码字段来进行爬取。根据对应的源码找到你的需求数据，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面。

python爬取大量数据(百万级)

当用python爬取大量网页获取想要的数据时，最重要的问题是爬虫中断问题，python这种脚本语言，一中断

进程就会退出，怎么在中断后继续上次爬取的任务就至关重要了。这里就重点剖析这个中断问题。

第一个问题: 简单点的用动态代理池就能解决，在爬取大量数据的时候，为了速度不受影响，建议使用一些缓

存的中间件将有效的代理 ip 缓存起来，并定时更新。这里推荐 github 这个仓库

， 它会做ip有效性验证并将 ip 放入 redis ，不过实现过于复杂

了，还用到了 db ，个人觉得最好自己修改一下。困难点的就是它会使用别的请求来进行判断当前的ip是否

是爬虫，当我们过于聚焦我们的爬虫请求而忽略了其他的请求时，可能就会被服务器判定为爬虫，进而这个ip

会被列入黑名单，而且你换了ip一样也会卡死在这里。这种方式呢，简单点就用 selenium + chrome 一个一个

去爬，不过速度太慢了。还是自己去分析吧，也不会过复杂的。

第二个问题： 网络连接超时是大概率会遇到的问题，有可能是在爬取的时候本地网络波动，也有可能是爬

取的服务端对ip做了限制，在爬取到了一定量级的时候做一些延迟的操作，使得一些通用的 http 库超时

（ urllib ）。不过如果是服务端动的手脚一般延迟不会太高，我们只需要人为的设置一个高一点的

timeout 即可（30 秒），最好在爬取开始的时候就对我们要用的爬取库进行一层封装，通用起来才好改

动。

第三个问题: 在解析大量静态页面的时候，有些静态页面的解析规则不一样，所以我们就必须得做好断点

续爬的准备了（ PS : 如果简单的忽略错误可能会导致大量数据的丢失，这就不明智了）。那么在调试的过

程中断点续爬有个解决方案，就是生产者和消费者分离，生产者就是产生待爬 url 的爬虫，消费者就是爬取

最终数据的爬虫。最终解析数据就是消费者爬虫了。他们通过消息中间件连接，生产者往消息中间件发送待

爬取的目标信息，消费者从里面取就行了，还间接的实现了个分布式爬取功能。由于现在的消费中间件都有

ack 机制，一个消费者爬取链接失败会导致消息消费失败，进而分配给其他消费者消费。所以消息丢失的

概率极低。不过这里还有个 tips ， 消费者的消费超时时间不能太长，会导致消息释放不及时。还有要开启

消息中间价的数据持久化功能，不然消息产生过多而消费不及时会撑爆机器内存。那样就得不偿失了。

第四个问题： 这种情况只能 try except catch 住了，不好解决，如果单独分析的话会耗费点时间。但在

大部分数据 （99%） 都正常的情况下就这条不正常抛弃就行了。主要有了第三个问题的解决方案再出现这

种偶尔中断的问就方便多了。

希望能帮到各位。

利用python进行《野蛮时代》游戏数据分析

数据包含近229万条记录，109个字段，以下取较重要的字段进行说明。

字段说明：user_id：用户编码，用户唯一标识

                   bd_stronghold_level：要塞等级，相当于游戏账号等级

                   wood_reduce_value：木头消耗数量

                    stone_reduce_value：石头消耗数量

                    ivory_reduce_value：象牙消耗数量

                    meat_reduce_value：肉消耗数量

                    magic_reduce_value：魔法消耗数量

                    general_acceleration_reduce_value：通用加速消耗数量

                    building_acceleration_reduce_value：建筑加速消耗数量

                    reaserch_acceleration_reduce_value：科研加速消耗数量

                    training_acceleration_reduce_value：训练加速消耗数量

                    treatment_acceleration_reduce_value：治疗加速消耗数量

                    pvp_battle_count：玩家对玩家次数

                    pve_battle_count：玩家对机器次数

                    avg_online_minutes：日均在线时间

                    pay_price: 消费金额

                    pay_count：消费次数

分析思路：用户注册时间分布情况？

                    用户的付费情况（付费率，ARPU，ARPPU）？

                    各等级用户的付费情况？

                    用户的消费习惯？

                    可视化数据

分析过程：

①导入数据

import numpy as np

import pandas as pd

from pandas import read_csv

from sklearn.cluster import KMeans

import matplotlib.pyplotas plt

import pylab as pl

from matplotlib.font_managerimport FontManager, FontProperties

pd.set_option('display.max_columns',None)

#为了数据安全，copy一份数据

df=df0

#检查是否有空值

print(df.isnull().any().any())

#观察数据构成

print(df.head())

②清洗数据

#以user_id为维度，删除重复数据，并查看用户总数

df=df.drop_duplicates(subset='user_id')

print('用户总数：',len(df['user_id']))

→用户总数：2288007

③计算用户注册时间分布

#首先将注册时间精确到天

register_date=[]

for i in df['register_time']:

    date=i[5:10]

    register_date.append(date)

df['register_time']=register_date

#计算每天的注册人数

df_register=df.groupby('register_time').size()

df_register.columns=['日期','注册人数']

print(df_register)

（可视化）

plt.plot(df_register)

plt.grid(True)

pl.xticks(rotation=90)

font=FontProperties(fname='/System/Library/Fonts/PingFang.ttc')

plt.title('用户注册分布图',fontproperties=font)

plt.show()

△可以看出，用户注册数在2月19日有一次的大的高峰，其他时间也分别有几次小高峰，且高峰的持续时间很短，可以推测是因为游戏推出一些奖励活动或公司对游戏的推广取得了效果进而使注册用户激增。

④用户的付费情况（付费率，ARPU，ARPPU）

#付费率（付费人数/活跃人数）

df_pay_user=df[(df['pay_price']0)]

pay_rate=df_pay_user['user_id'].count()/df_active_user['user_id'].count()

print('付费率：%.2f'%(pay_rate))

#ARPU（总付费金额/活跃人数）

arpu=df_pay_user['pay_price'].sum()/df_active_user['user_id'].count()

print('ARPU:%.2f'%(arpu))

#ARPPU（总付费金额/付费人数）

arppu=df_pay_user['pay_price'].sum()/df_pay_user['user_id'].count()

print('ARPPU:%.2f'%(arppu))

△目前盈利较好的手游的ARPU超过5元，一般手游在3~5元之间，盈利较差的低于3元，该游戏的ARPU为8.55元，说明盈利水平较高。

⑤不同等级用户的付费情况

df_user=df[['user_id','bd_stronghold_level','pay_price','pay_count']]

df_table=pd.pivot_table(df_user,index=['bd_stronghold_level'],

values=['user_id','pay_price','pay_count'],

aggfunc={'user_id':'count','pay_price':'sum','pay_count':'sum'})

df_stronghold_pay=pd.DataFrame(df_table.to_records())

#各等级付费人数

df_stronghold_pay['pay_num']=df_user[(df_user['pay_price']0)].groupby('bd_stronghold_level').user_id.count()

#各等级付费转化率

df_stronghold_pay['pay_rate']=df_stronghold_pay['pay_num']/df_stronghold_pay['user_id']

#各等级平均付费金额

df_stronghold_pay['avg_pay_price']=df_stronghold_pay['pay_price']/df_stronghold_pay['user_id']

#各等级平均付费次数

df_stronghold_pay['avg_pay_count']=df_stronghold_pay['pay_count']/df_stronghold_pay['user_id']

#重命名列名

df_stronghold_pay.columns=['要塞等级','总付费次数','总付费金额','总人数',

'付费人数','付费转化率','人均付费金额','人均付费次数']

df_stronghold_pay=df_stronghold_pay[['要塞等级','总人数','付费人数','付费转化率',

'总付费金额','人均付费金额','总付费次数','人均付费次数']]

df_stronghold_pay=df_stronghold_pay.round(2)

print(df_stronghold_pay)

（可视化）

#要塞等级—付费转化率

x=df_stronghold_pay['要塞等级']

y=df_stronghold_pay['付费转化率']

plt.xticks(x,range(0,len(x),1))

plt.plot(x,y)

plt.grid(True)

plt.title('不同等级用户付费转化率',fontproperties=font)

plt.show()

#要塞等级-人均付费金额

x=df_stronghold_pay['要塞等级']

y=df_stronghold_pay['人均付费金额']

plt.xticks(x,range(0,len(x),1))

plt.plot(x,y)

plt.grid(True)

plt.title('不同等级用户人均付费jine',fontproperties=font)

plt.show()

x=df_stronghold_pay['要塞等级']

y=df_stronghold_pay['人均付费金额']

plt.xticks(x,range(0,len(x),1))

plt.plot(x,y)

plt.grid(True)

plt.title('不同等级用户人均付费jine',fontproperties=font)

plt.show()

#要塞等级-人均付费次数

x=df_stronghold_pay['要塞等级']

y=df_stronghold_pay['人均付费次数']

plt.xticks(x,range(0,len(x),1))

plt.plot(x,y)

plt.grid(True)

plt.title('不同等级用户人均付费次数',fontproperties=font)

plt.show()

△用户等级到达10级时，付费率接近60%，等级到达13级时，付费率接近100%，且人均付费金额和次数两项指标也在用户达到10级后增长迅速，因此可以认定10级以上用户为游戏的核心用户。

△但是观察用户等级分布，发现绝大部分用户还是处在10级以下的水平，因此如何使用户达到10级是游戏运营接下来需要考虑的事。

⑥不同玩家的消费习惯

该游戏充值主要可以获得道具类（木头、石头、象牙、肉、魔法）和加速券类（通用、建筑、科研、训练、医疗）。根据用户的充值金额大小，分别分析两类消费品的消耗情况。

#将等级=10级的玩家划分为：消费=500为高消费玩家，500为普通玩家

df_eli_user=df[(df['pay_price']=500)(df['bd_stronghold_level']=10)]

df_nor_user=df[(df['pay_price']500)(df['bd_stronghold_level']10)]

#不同玩家的道具消耗情况

wood_avg=[df_eli_user['wood_reduce_value'].mean(),df_nor_user['wood_reduce_value'].mean()]

stone_avg=[df_eli_user['stone_reduce_value'].mean(),df_nor_user['stone_reduce_value'].mean()]

ivory_avg=[df_eli_user['ivory_reduce_value'].mean(),df_nor_user['ivory_reduce_value'].mean()]

meat_avg=[df_eli_user['meat_reduce_value'].mean(),df_nor_user['meat_reduce_value'].mean()]

magic_avg=[df_eli_user['magic_reduce_value'].mean(),df_nor_user['magic_reduce_value'].mean()]

props_data={'high_value_player':[wood_avg[0],stone_avg[0],ivory_avg[0],meat_avg[0],magic_avg[0]],

                        'normal_player':[wood_avg[1],stone_avg[1],ivory_avg[1],meat_avg[1],magic_avg[1]]}

df_props=pd.DataFrame(props_data,index=['wood','stone','ivory','meat','magic'])

df_props=df_props.round(2)

print(df_props)

#可视化

ax=df_props.plot(kind='bar',title='Props Reduce',

                grid=True,legend=True)

plt.show()

△普通玩家和高消费玩家对木头、石头、肉的消耗都较大，魔法的消耗都较小，而在象牙的消耗上，高消费玩家和普通玩家的消耗差距较大。

#不同玩家的加速券消耗情况

general_avg=[df_eli_user['general_acceleration_reduce_value'].mean(),

            df_nor_user['general_acceleration_reduce_value'].mean()]

building_avg=[df_eli_user['building_acceleration_reduce_value'].mean(),

              df_nor_user['building_acceleration_reduce_value'].mean()]

research_avg=[df_eli_user['reaserch_acceleration_reduce_value'].mean(),

              df_nor_user['reaserch_acceleration_reduce_value'].mean()]

training_avg=[df_eli_user['training_acceleration_reduce_value'].mean(),

              df_nor_user['training_acceleration_reduce_value'].mean()]

treatment_avg=[df_eli_user['treatment_acceleration_reduce_value'].mean(),

              df_nor_user['treatment_acceleration_reduce_value'].mean()]

acceleration_data={'high_value_player':[general_avg[0],building_avg[0],research_avg[0],

                          training_avg[0],treatment_avg[0]],

                  'normal_player':[general_avg[1],building_avg[1],research_avg[1],

                          training_avg[1],treatment_avg[1]]}

df_acceleration=pd.DataFrame(acceleration_data,index=['general','building','researching','training','treatment'])

print(df_acceleration.round(2))

#可视化

ax=df_acceleration.plot(kind='bar',title='Acceleration Reduce',

                grid=True,legend=True)

plt.show()

△两类玩家对对治疗加速券消耗都很小，对通用加速券的消耗差异较大，其他三种加速券消耗差别不大。

结论：1.该游戏具有较大的用户基数，且新用户注册受游戏活动、新版本等因素影响较大。

             2.该游戏的ARPU为8.55，说明该游戏的盈利能力较高。

             3.用户等级达到10级后，付费意愿明显上升，且达到13级时付费率将近100%。但是绝大多数用户仍然停留在10级以下，如何使用户平滑升至10级尤为重要。

             4.消费习惯上，高消费玩家对象牙和通用加速券的需求远多于一般玩家。

python爬游戏数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python爬虫游戏、python爬游戏数据的信息别忘了在本站进行查找喔。