怎么利用pandas函数处理数据-创新互联
这篇文章给大家介绍怎么利用pandas函数处理数据,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
成都创新互联公司服务项目包括尼金平网站建设、尼金平网站制作、尼金平网页制作以及尼金平网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,尼金平网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到尼金平省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!一、pandas.Series.map()是什么?
把Series中的值进行逐一映射,带入进函数、字典或Series中得出的另一个值。
Series.map(arg, na_action=None)
参数:
arg:函数、字典类数据、Series;映射对应关系
na_action{None, ‘ignore'}:默认为None;处理NaN变量,如果为None则不处理NaN对象,如果为‘ignore'则将NaN对象当做普通对象带入规则。
返回Series
二、pandas.Series.map()用法和优点
本节主要讲述map()函数的主要用法和相比于方法的优点
1、map()用法
创建案例DataFrame
import pandas as pd import numpy as np import time data = pd.DataFrame({'name':['Verne Raymond','Chapman Becher','Patrick George','Saxon MacArthur', 'Joshua Marjory','Luther Pigou','Fanny Agnes','Karen Bush','Elaine Whitman'], 'gender':[0,1,0,0,1,1,1,0,1],'first_name':np.nan,'last_name':np.nan}) print(data)
name gender first_name last_name
0 Verne Raymond 0 NaN NaN
1 Chapman Becher 1 NaN NaN
2 Patrick George 0 NaN NaN
3 Saxon MacArthur 0 NaN NaN
4 Joshua Marjory 1 NaN NaN
5 Luther Pigou 1 NaN NaN
6 Fanny Agnes 1 NaN NaN
7 Karen Bush 0 NaN NaN
8 Elaine Whitman 1 NaN NaN
现在需要将name列的姓和名拆分开来分别放入first_name 和last_name里面,使用map()函数实现,并计算所用时间
def first_name_map(x): return x.split(' ')[0] def last_name_map(x): return x.split(' ')[1] data['first_name'] = data['name'].map(first_name_map) data['last_name'] = data['name'].map(last_name_map) print('use time:'+str(end-start)) print(data)
use time:0.0009970664978027344
name gender first_name last_name
0 Verne Raymond 0 Verne Raymond
1 Chapman Becher 1 Chapman Becher
2 Patrick George 0 Patrick George
3 Saxon MacArthur 0 Saxon MacArthur
4 Joshua Marjory 1 Joshua Marjory
5 Luther Pigou 1 Luther Pigou
6 Fanny Agnes 1 Fanny Agnes
7 Karen Bush 0 Karen Bush
8 Elaine Whitman 1 Elaine Whitman
如果要将性别代号的0、1替换为中文Male和Female,可以使用字典映射功能,如下
data['gender'] = data['gender'].map({0:'Female',1:'Male'}) print(data)
name gender first_name last_name
0 Verne Raymond Female Verne Raymond
1 Chapman Becher Male Chapman Becher
2 Patrick George Female Patrick George
3 Saxon MacArthur Female Saxon MacArthur
4 Joshua Marjory Male Joshua Marjory
5 Luther Pigou Male Luther Pigou
6 Fanny Agnes Male Fanny Agnes
7 Karen Bush Female Karen Bush
8 Elaine Whitman Male Elaine Whitman
2、map()相比其他方式的优点
较普通的方法主要是方便和速度快,下面例子进行对比,上面已经计算过使用map()方法处理的速度为:0.0009970664978027344
传统遍历
start = time.time() for index,rows in data.iterrows(): data['first_name'][index] = rows['name'].split(' ')[0] data['last_name'][index] = rows['name'].split(' ')[1] end = time.time() print('use time:'+str(end-start))
use time:0.5146446228027344
可以看到使用map()方法比使用直接遍历的方式快了500多倍
list暂存的方法
start = time.time() first_name = [] last_name = [] for index,rows in data.iterrows(): first_name.append(rows['name'].split(' ')[0]) last_name.append(rows['name'].split(' ')[1]) data['first_name'] = first_name data['last_name'] = last_name end = time.time() print('use time:'+str(end-start))
use time:0.001994609832763672
可以看出来使用list暂存的方法比遍历方法快了250多倍,但是比map方法还是慢了一半
二、apply()函数
apply()的使用方法与map()的使用方法类似,只是apply()除了传入Series参数外还可以多传入额外的参数。
Series.apply(func,convert_dtype = True,args = (), **kwds)
参数:
func:函数名称
convert_dtype:bool类值, 默认为True;尝试自己寻找最适合的数据类型。如果为False则dtype=object。
args:元组;在Series之后传递位置参数信息
**kwds:给函数传递其他参数(以字典的形式)
返回Series或DataFrame
下面是案例(参考官方文档案例)
s = pd.Series([20, 21, 12],index=['London', 'New York', 'Helsinki']) print(s)
London 20
New York 21
Helsinki 12
dtype: int64
处理数据
def subtract_custom_value(x, custom_value): return x - custom_value s.apply(subtract_custom_value, args=(5,))
London 15
New York 16
Helsinki 7
dtype: int64
使用**kwds参数
def subtract_custom_value(x, **kwds): for key in kwds: x -= kwds[key] return x s.apply(subtract_custom_value, num = 5)
London 15
New York 16
Helsinki 7
dtype: int64
三、applymap()函数用法
applymap()函数处理的对象是DataFrame,并非Series,它没有前面两个函数用得多,但在某些情况也很有用。
DataFrame.applymap(func)
参数:
func:函数;要调用的Python函数,输入输出都为单个值
返回DataFrame
下面是简单的案例:
import pandas as pd import numpy as np data = pd.DataFrame( { "A":np.random.randn(3), "B":np.random.randn(3), "C":np.random.randn(3), } ) print(data )
A B C
0 2.128483 -1.701311 -1.362955
1 -1.149937 1.108856 -0.259637
2 -0.076621 -0.379672 -2.636464
计算所有值的平方:
data.applymap(lambda x: x**2)
A B C
0 4.530439 2.894459 1.857645
1 1.322356 1.229561 0.067411
2 0.005871 0.144151 6.950940
关于怎么利用pandas函数处理数据就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
分享文章:怎么利用pandas函数处理数据-创新互联
新闻来源:http://azwzsj.com/article/cesisj.html