python数据分析模块：numpy、pandas全解

一维数组情况：

塔河ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18980820575（备注：SSL证书合作）期待与您的合作！

二维数组情况：

3参数情况：

2参数情况：

1参数情况：

一维情况：

二维情况：

一维情况：

二维情况：

一维情况：

二维情况：第三个参数指定维度

只查看行数、或者列数

逗号隔开两个索引

某些行

某些列

可以看出append()函数在二维数组中添加元素，结果转为了一维数组。

那怎么保持二维数组呢？可以设置axis参数按行或者按列添加

可以看出先把二维数组降成了一维数组，再在索引为1的位置添加元素。

那么怎么保持在二维添加元素呢？ 同样设置axis参数

也分按行和按列删除

标记缺失值： isnan()函数

补充缺失值：

同样axis参数可以指定拼接按行还是按列

2. hstack()函数：以水平堆叠的方式拼接数组

3. vstack()函数：以垂直堆叠的方式拼接数组

第二个参数还可以是数组，指定拆分的位置

hsplit()函数：横向拆成几个数组

vsplit()函数：纵向拆成几个数组

数组与数组之间的运算

数组与数值的运算

可以指定整个数组求和，还是按行或者按列

axis=0：每一列的元素求和

axis=1：每一行的元素求和

axis=0：每一列求均值

axis=1：每一行求均值

axis=0：每一列求最大值

axis=1：每一行求最大值

pandas有两个重要的数据结构对象：Series和DataFrame。

Series是创建一个一维数组对象，会自动生成行标签。

会自动生成行列标签

也可以用字典形式生成数据

在用字典生成数据的基础上，同时指定行标签

例如对下表的数据进行读取

4月是第四个表，我们应把sheet_name参数指定为3；因为索引是从0开始的。

可以看出read_excel()函数自动创建了一个DataFrame对象，同时自动把第一行数据当做列标签。

可以看出不给出header参数时，该参数默认为0。

header=1时结果如下：

header=None时结果如下：

index_col=0时，第0列为列标签

index_col=0时

usecols=[2]：指定第二列

指定多列

数据如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j1SHxY8y-1637655972909)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211114192949607.png)]

nrows=3时

head()函数中参数为空默认前5行

指定head(3)时如下

numpy模块也是shape

查看特定列的书库类型

特定列数据类型转换

先查看一下所有数据

与单行相比，结果显示的格式不一样了

iloc()挑选：

或者给出区间

挑选数据要么标签，要么索引挑选

或者

或者写成区间

标签挑选

或者索引挑选

先查看一下数据

或者用字典一对一修改

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a6QKIoie-1637655972912)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123110431201.png)]

isin()函数查看表中是否有该值

查看特定列是否有该值

可以看出上述代码并没有替换，那怎么替换呢？

末尾插入一列

指定插入到哪列

axis参数可以指定删除行还是删除列

指定标签删除

指定索引删除

方法三

指定行标签删除

指定索引删除

方法三：

先查看所有数据

info()函数查看数据类型，还可以查看是否有缺失值

isnull()函数查看是否有缺失值

在numpy模块中用isnan()函数

删除有缺失值的行

删除整行都为缺失值的行： 需要指定how参数

不同列的缺失值设置不同的填充值

默认保留第一个重复值所在的行，删除其他重复值所在的行

保留第一个重复值所在的行

保留最后一个重复值所在的行

是重复的就删除

降序如下

参数指定first时，表示在数据有重复值时，越先出现的数据排名越靠前

获取产品为单肩包的行数据

获取数量60的行数据

获取产品为单肩包 且 数量60 的行数据

获取产品为单肩包 或 数量60 的行数据

stack()函数转换成树形结构

how参数指定外连接

on参数指定按哪一列合并

concat()函数采用 全连接 的方式，没有的数设置为缺失值

重置行标签

效果与concat()一样

末尾添加行元素

指定列求和

指定列求均值

指定列求最值

获取单列的

corr()函数获取相关系数

获取指定列与其他列的相关系数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-46g9qgQw-1637655972913)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123135643804.png)]

groupby()函数返回的是一个DataFrameBy对象，该对象包含分组后的数据，但是不能直观地显示出来。

分组后获取指定列的汇总情况

获取多列的汇总情况

获取多列的情况

ta = pd.read_excel(‘相关性分析.xlsx’)

print(data)

corr()函数获取相关系数

获取指定列与其他列的相关系数

[外链图片转存中…(img-46g9qgQw-1637655972913)]

groupby()函数返回的是一个DataFrameBy对象，该对象包含分组后的数据，但是不能直观地显示出来。

分组后获取指定列的汇总情况

获取多列的汇总情况

获取多列的情况

python计算多个数组的相关性

线性相关：主要采用皮尔逊相关系数来度量连续变量之间的线性相关强度；

线性相关系数|r| 相关程度

0=|r|0.3 低度相关

0.3=|r|0.8 中度相关

0.8=|r|1 高度相关

1 函数

相关分析函数：

DataFrame.corr()

Series.corr(other)

说明：

如果由数据框调用corr方法，那么将会计算每个列两两之间的相似度

如果由序列调用corr方法，那么只是计算该序列与传入序列之间的相关度

返回值：

dataFrame调用：返回DataFrame

Series调用： 返回一个数值型，大小为相关度

2 案例

import pandas

data=pandas.read_csv('C:\\Users\\Desktop\\test.csv')

print(data.corr())

#由数据框调用corr方法,将会计算每个列两两之间的相似度，返回的是一个矩形

print(data['人口'].corr(data['文盲率']))

#由某一列调用corr方法，只是计算该序列与传入序列（本例中的'文盲率'）之间的相关度

print(data['超市购物率','网上购物率','文盲率','人口']).corr()

在数据清洗过程中主要进行怎样哪两类处理？

输入数据后需要对数据进行预处理，只有处理得当的数据才能进到数据挖掘的步骤。而处理数据包括对数据数量和质量的处理。我按照少—多—乱来整理。

1 对缺失的数据有添补或删除相关行列方法，具体步骤自己判断(如果数据量本来就很少还坚持删除不就作死了是吧)

★添补:常用拉格朗日插值或牛顿插值法，也蛮好理解，属于数理基础知识。(pandas库里自带拉格朗日插值函数，而且这个好处是还可以在插值前对数据进行异常值检测，如果异常那么该数据就也被视为需要进行插值的对象)

★删除:这个也好理解，就是对结果分析没有直接影响的数据删删删爱少少不去管。

2 异常值

这个是否剔除需要视情况而定

★像问题1中视为缺失值重新插值

★删除含有异常值的记录(可能会造成样本量不足，改变原有分布)

★平均值修正(用前后两个观测值平均值)

综上，还是方案一靠谱。

人生苦短，学好python

3 数据量太多，有三种方法:集成，规约，变换

(1)数据是分散的时，这个就是指要从多个分散的数据仓库中抽取数据，此时可能会造成冗余的情况。此时要做的是【数据集成】。

数据集成有两方面内容:

①冗余属性识别②矛盾实体识别

属性:

对于冗余属性个人理解是具有相关性的属性分别从不同的仓库中被调出整合到新表中，而新表中由于属性太多造成冗余，这时可以靠相关性分析来分析属性a和属性b的相关系数，来度量一个属性在多大程度上蕴含另一个属性。(这个用python的pandas库里corr()函数也可以实现)，检测出了再将其删除。

实体:(这个是要靠自己甄别源表，所以源仓库里的实体含义要清楚)

a，同名异义——改名字

b，异名同义——删一个

c，单位不统一—换

(2)数据规约

又包括两方面

属性规约和数量规约

①属性规约:就是减少属性个数或合并旧属性成一个新属性，可以特征子集选择(删除不需要作挖掘的属性)，主成分分析(通过对方差的决定性大小分析并降维)，决策树归纳，向前/向后删除。

具体的如果不了解可以找个实例试一下。

②数量规约:通过选择替代的，较小的数据来减少数据量，包括有参数和无参数。

有参数:建模，并且只需存放模型的参数，例如一些回归模型，用参数来评估数据。

无参数:需要存放实际数据，用图表存放并显示数据，例如用直方图时可把步长设置一定的区间，来衡量区间内的频数，也起到了规约的目的。还有一些聚类(用簇来替换实际数据)。还有抽样(聚类抽样，分层抽样)

python中的corr是皮尔逊系数吗

代码里夹杂中文的方式很不好，应该报把所有中文字符串放到一个单独的配置文件里。

我估计是第一个大括号最右边漏了一个逗号吧invalid syntax，这样会更容易定位错误，或者你敲成了中文的逗号！

相关性系数介绍+python代码实现 correlation analysis

参考文献：

1. python 皮尔森相关系数

2. 统计学之三大相关性系数（pearson、spearman、kendall）

皮尔森系数

重点关注第一个等号后面的公式，最后面的是推导计算，暂时不用管它们。看到没有，两个变量(X, Y)的皮尔森相关性系数(ρX,Y)等于它们之间的协方差cov(X,Y)除以它们各自标准差的乘积(σX, σY)。

公式的分母是变量的标准差，这就意味着计算皮尔森相关性系数时，变量的标准差不能为0（分母不能为0），也就是说你的两个变量中任何一个的值不能都是相同的。如果没有变化，用皮尔森相关系数是没办法算出这个变量与另一个变量之间是不是有相关性的。

皮尔森相关系数（Pearson correlation coefficient）也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ，是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示，其中n为样本量，分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表明相关性越强。

简单的相关系数的分类

0.8-1.0 极强相关

0.6-0.8 强相关

0.4-0.6 中等程度相关

0.2-0.4 弱相关

0.0-0.2 极弱相关或无相关

r描述的是两个变量间线性相关强弱的程度。r的取值在-1与+1之间，若r0，表明两个变量是正相关，即一个变量的值越大，另一个变量的值也会越大；若r0，表明两个变量是负相关，即一个变量的值越大另一个变量的值反而会越小。r 的绝对值越大表明相关性越强，要注意的是这里并不存在因果关系。

斯皮尔曼相关性系数，通常也叫斯皮尔曼秩相关系数。“秩”，可以理解成就是一种顺序或者排序，那么它就是根据原始数据的排序位置进行求解，这种表征形式就没有了求皮尔森相关性系数时那些限制。下面来看一下它的计算公式：

计算过程就是：首先对两个变量（X, Y）的数据进行排序，然后记下排序以后的位置（X’, Y’），（X’, Y’）的值就称为秩次，秩次的差值就是上面公式中的di，n就是变量中数据的个数，最后带入公式就可求解结果

带入公式，求得斯皮尔曼相关性系数：ρs= 1-6 (1+1+1+9)/6 35=0.657

而且，即便在变量值没有变化的情况下，也不会出现像皮尔森系数那样分母为0而无法计算的情况。另外，即使出现异常值，由于异常值的秩次通常不会有明显的变化（比如过大或者过小，那要么排第一，要么排最后），所以对斯皮尔曼相关性系数的影响也非常小！

由于斯皮尔曼相关性系数没有那些数据条件要求，适用的范围就广多了。

肯德尔相关性系数，又称肯德尔秩相关系数，它也是一种秩相关系数，不过它所计算的对象是分类变量。

分类变量可以理解成有类别的变量，可以分为

无序的，比如性别（男、女）、血型（A、B、O、AB）；

有序的，比如肥胖等级（重度肥胖，中度肥胖、轻度肥胖、不肥胖）。

通常需要求相关性系数的都是有序分类变量。

举个例子。比如评委对选手的评分（优、中、差等），我们想看两个（或者多个）评委对几位选手的评价标准是否一致；或者医院的尿糖化验报告，想检验各个医院对尿糖的化验结果是否一致，这时候就可以使用肯德尔相关性系数进行衡量。

pandas.DataFrame.corr()

DataFrame.corr(method='pearson', min_periods=1)[source]

Compute pairwise correlation of columns, excluding NA/null values

Parameters:

method : {‘pearson’, ‘kendall’, ‘spearman’}

pearson : standard correlation coefficient

kendall : Kendall Tau correlation coefficient

spearman : Spearman rank correlation

min_periods : int, optional

Minimum number of observations required per pair of columns to have a valid result. Currently only available for pearson and spearman correlation

Returns:

y : DataFrame

numpy.corrcoef（x，y = None，rowvar = True，bias = class'numpy._globals._NoValue'，ddof = class'numpy._globals._NoValue' ）

返回Pearson乘积矩相关系数。

cov有关更多详细信息，请参阅文档。相关系数矩阵R和协方差矩阵C之间的关系为

R的值在-1和1之间（含）。

参数：

x：array_like

包含多个变量和观察值的1维或2维数组。x的每一行代表一个变量，每一列都是对所有这些变量的单独观察。另请参阅下面的rowvar。

y：array_like，可选

一组额外的变量和观察。y的形状与x相同。

rowvar：布尔，可选

如果rowvar为True（默认），则每行表示一个变量，并在列中有观察值。否则，该关系将被转置：每列表示一个变量，而行包含观察值。

bias : _NoValue, optional Has no effect, do not use. Deprecated since version 1.10.0.

ddof : _NoValue, optional Has no effect, do not use. Deprecated since version 1.10.0.

返回：

R：ndarray 变量的相关系数矩阵。

名称栏目：corr函数python,corr函数的计算公式
文章来源：http://azwzsj.com/article/dssjdie.html