Python-Pandas库-DataFrame处理excelcsv表格
⼀、⽬录：
⼆、概览
缩写和包导⼊
在这个速查⼿册中，我们使⽤如下缩写：
df：任意的Pandas DataFrame对象
s：任意的Pandas Series对象
同时我们需要做如下的引⼊：
import pandas as pd
import numpy as np
导⼊数据
pd.DataFrame(dict)：从字典对象导⼊数据，Key是列名，Value是数据
导出数据
<_csv(filename)：导出数据到CSV⽂件
<_excel(filename)：导出数据到Excel⽂件
<_sql(table_name, connection_object)：导出数据到SQL表
<_json(filename)：以Json格式导出数据到⽂本⽂件
创建测试对象
pd.DataFrame(np.random.rand(20,5))：创建20⾏5列的随机数组成的DataFrame对象
pd.Series(my_list)：从可迭代对象my_list创建⼀个Series对象
df.index = pd.date_range('1900/1/30', periods=df.shape[0])：增加⼀个⽇期索引
#创建数据框DataFrame
s = pd.DataFrame(data='⼀组数据：ndarray/series/columns/lists/dict等类型',index='索引值，⾏标签',columns='列标签，默认0到n',dtype='数据类型',copy='拷贝数据，默认False')
#使⽤列表创建
data = [['Google', 10],['baidu', 20],['firefox', 30]]
df = pd.DataFrame(data) #没有设置列名，默认0到n
print(df)
'''
执⾏结果：
0 1
0 Google 10
1 baidu 20
2 firefox 30
'''
df1 = pd.DataFrame(data, index=['one', 'two', 'three'], columns=['name','age'],dtype=float)
print(df1)
'''
执⾏结果：
name age
one Google 10.0
two baidu 20.0
three firefox 30.0
'''
#使⽤ndarray创建1: ndarray对象是⽤于存放同类型元素的多维数组，ndarray对象的长度必须相同data = {'Site': ['Google', 'baidu', 'firefox'], 'Age': [10, 20, 30]}
df = pd.DataFrame(data)
print(df)
'''
执⾏结果：
Site Age
0 Google 10
1 baidu 20
2 firefox 30
'''
#使⽤ndarray创建2
print(type(np.random.randn(5,4))) #<class 'numpy.ndarray'>
df = pd.DataFrame(np.random.randn(5,4)) #创建5⾏4列的随机数组成的DataFrame对象
df.index = pd.date_range('1900/1/30',periods=df.shape[0]) #增加⼀个⽇期索引
print(df)
'''
执⾏结果：
0 1 2 3
1900-01-30 1.119676 0.000332 -0.221642 1.418424
1900-01-31 1.151577 0.317982 1.274081 1.143022
1900-02-01 0.000107 -0.903553 -0.236362 -0.531132
1900-02-02 0.187210 -1.580657 0.114724 1.263399
1900-02-03 1.309918 0.424695 -0.142463 -0.515486
'''
#使⽤字典创建：对应的key为列名
data = [{'a': 1, 'b': 2, 'c': 5, 'd': 8}, {'a': 3, 'b': 7, 'c': 5}]
df = pd.DataFrame(data)
print(df) #没有对应的部分数据为NaN
'''
a b c d
0 1 2 5 8.0
1 3 7 5 NaN
'''
data = {
"calories": [24, 56, 89],
"duration": [30, 10, 90]
}
df = pd.DataFrame(data) #数据载⼊到Dataframe对象
print(df)
'''
calories duration #key为列名
0 24 30
1 56 10
2 89 90
'''
print(type(df)) #<class 'frame.DataFrame'>
#返回第⼀⾏
print(df.loc[0]) #返回第⼀⾏的数据，并与列名对应
'''
执⾏结果：
calories 24
duration 30
Name: 0, dtype: int64
'''
#返回第⼀⾏指定的值
print(df.loc[0]['calories']) #执⾏结果： 24
#返回第⼀⾏和第⼆⾏
print(df.loc[[0,1]])
'''
执⾏结果：
calories duration
0 24 30
1 56 10
json检查
'''
查看、检查数据
df.head(n)：查看DataFrame对象的前n⾏
df.tail(n)：查看DataFrame对象的最后n⾏
df.shape：查看⾏数和列数
df.info()：查看索引、数据类型和内存信息
df.describe()：查看数值型列的汇总统计
s.value_counts(dropna=False)：查看Series对象的唯⼀值和计数
df.apply(pd.Series.value_counts)：查看DataFrame对象中每⼀列的唯⼀值和计数#查看、检查数据（Viewing Data）
_string()) #⽤于返回Dataframe类型的数据，输出全部数据
print(_string())) #<class 'str'>
print(df.head()) #读取前五⾏
print(df.tail()) #读取后五⾏
print(df.info()) #查看索引、数据类型和内存信息
'''
执⾏结果：<class 'frame.DataFrame'>
RangeIndex: 35 entries, 0 to 34
Data columns (total 9 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 School 35 non-null object
1 Class 35 non-null object
2 ID 35 non-null int64
'''
print(df.shape) #返回多少⾏多少列，执⾏结果：（35，9）
print(df.describe()) #查看<；数值型>列的汇总统计
'''
执⾏结果：
ID Height Weight Math
count 35.00000 35.000000 35.000000 35.000000
mean 1803.00000 174.142857 74.657143 61.351429
std 536.87741 13.541098 12.895377 19.915164
min 1101.00000 155.000000 53.000000 31.500000
25% 1204.50000 161.000000 63.000000 47.400000
50% 2103.00000 173.000000 74.000000 61.700000
75% 2301.50000 187.500000 82.000000 77.100000
max 2405.00000 195.000000 100.000000 97.000000
'''
数据选取
df[col]：根据列名，并以Series的形式返回列
df[[col1, col2]]：以DataFrame形式返回多列
s.iloc[0]：按位置选取数据
s.loc['index_one']：按索引选取数据
df.iloc[0,:]：返回第⼀⾏
df.iloc[0,0]：返回第⼀列的第⼀个元素
df.values[:,:-1]：返回除了最后⼀列的其他列的所以数据
df.query('[1, 2] not in c'): 返回c列中不包含1，2的其他数据集
#数据选取
data = {'Site': ['Google', 'baidu', 'firefox'], 'Age': [10, 20, 30], 'Leader':['Eric', 'Lucky', 'Amily']}
df = pd.DataFrame(data)
print(df)
'''
执⾏结果：
Site Age Leader
0 Google 10 Eric
1 baidu 20 Lucky
2 firefox 30 Amily
'''
print(df['Site']) #根据列名返回列
print(df[['Site','Leader']]) #以列表传⼊，以DataFrame形式返回多列
print(df.iloc[0]) #按位置选取数据，返回列名与数据
print(df.loc[1]) #按索引值返回第⼆⾏数据
print(df.iloc[1,1]) #返回第⼆列的第⼆个元素
print(df.values[:,:-1]) #返回除了最后⼀列的其他列所有数据
'''
执⾏结果：
[['Google' 10]
['baidu' 20]
['firefox' 30]]
'''
数据清理
pd.isnull()：检查DataFrame对象中的空值，并返回⼀个Boolean数组
df.dropna()：删除所有包含空值的⾏
df.dropna(axis=1)：删除所有包含空值的列
df.dropna(axis=1,thresh=n)：删除所有⼩于n个⾮空值的⾏
df.fillna(x)：⽤x替换DataFrame对象中所有的空值
s.astype(float)：将Series中的数据类型更改为float类型
df.set_index('column_one')：更改索引列
数据处理：Filter、Sort和GroupBy
df[df[col] > 0.5]：选择col列的值⼤于0.5的⾏
df.sort_values(col1)：按照列col1排序数据，默认升序排列
df.sort_values(col2, ascending=False)：按照列col1降序排列数据
df.sort_values([col1,col2], ascending=[True,False])：先按列col1升序排列，后按col2降序排列数据
df.pivot_table(index=col1, values=[col2,col3], aggfunc=max)：创建⼀个按列col1进⾏分组，并计算col2和col3的最⼤值的数据透视表df.groupby(col1).an)：返回按列col1分组的所有列的均值
data.an)：对DataFrame中的每⼀列应⽤函数np.mean
data.apply(np.max,axis=1)：对DataFrame中的每⼀⾏应⽤函数np.max
数据合并
df1.append(df2)：将df2中的⾏添加到df1的尾部
df1.join(df2,on=col1,how='inner')：对df1的列和df2的列执⾏SQL形式的join
数据统计
df.describe()：查看数据值列的汇总统计
<()：返回列与列之间的相关系数
df.max()：返回每⼀列的最⼤值
df.min()：返回每⼀列的最⼩值
df.std()：返回每⼀列的标准差
发表评论