pandas 教程

Pandas 数据结构

Pandas 基本操作

Pandas API

original icon
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.knowledgedict.com/tutorial/pandas-dataframe.html

Pandas DataFrame 常用操作及基本知识点详解


Pandas 的 DataFrame 是由多种类型的列构成的二维标签数据结构。可以把它想象成一个 Excel 表格或 SQL 表,或者 Series 对象的字典。

基本信息

结构

DataFrame 由三个主要组件组成,分别是 RowsColumnsData

Pandas DataFrame 三个组件

更具体的如下图:

Pandas DataFrame 组成部分

Row 即行组件,其中有行数第一列的 Index,axis=0 也表示第一列,此外,行数索引用 Index label 表示;

Columns 是列信息标签,包含除了第一列之外的所有列名称信息(Column names),axis=1 也表示第一行的列名称信息;

Data 顾名思义是数据信息,其主要包括存在数据和缺失信息(Missing value),缺省值用 NaN 表示。

特点

DataFrame 有如下特点:

  • 列的类型是可以不同的;
  • 行和列的大小动态可变;
  • 行和列都有对应标记;
  • 可以对行和列执行算术运算。

创建 DataFrame

创建 DataFrame 可以使用其构造函数。

构造函数

构造函数如下:

pandas.DataFrame( data = None, 
                  index: Optional[Axes] = None,
                  columns: Optional[Axes] = None,
                  dtype: Optional[Dtype] = None,
                  copy: bool = False)

构造函数的参数具体意义如下:

参数 描述
data 输入数据可以采用多种形式,可以是 ndarray、列表、字典、Series 字典 或 另一个 DataFrame。
index 指定行标签或名称,默认会从 0 开始的索引值。
columns 指定列标签或名称,默认会从 0 开始的索引值。
dtype 强制指定数据类型,只允许一个数据类型,默认为 None,即自适应。
copy 是否从输入中复制数据,仅作用于二维数据输入,默认为 False

创建一个空的 DataFrame

创建一个空数据的 DataFrame 对象,具体如下:

import pandas as pd

df = pd.DataFrame()
print(df)

会有如下输出:

Empty DataFrame
Columns: []
Index: []

从列表创建 DataFrame

可以使用单个列表列表嵌入列表列表字典来创建 DataFrame。

使用单个列表创建的 DataFrame 只有一个列信息,具体如下示例:

import pandas as pd

df = pd.DataFrame([1, 2, 3, 4, 5])
print(df)

执行上面示例代码,得到以下结果:

   0
0  1
1  2
2  3
3  4
4  5

也可以采用列表嵌入列表的数据创建 DataFrame 信息,如下示例:

import pandas as pd

data = [['Alex', 18], ['Clark', 12, 1], ['Dean', 25], ['Tiffany', 23, 0]]
df = pd.DataFrame(data, columns=['Name', 'Age', 'Sex'])
print(df)

输出结果如下:

      Name  Age  Sex
0     Alex   18  NaN
1    Clark   12  1.0
2     Dean   25  NaN
3  Tiffany   23  0.0

可以观察到,缺失的值显示为 NaN。

此外,也可以从列表字典中创建 DataFrame 对象,如下示例:

import pandas as pd

data = [{'a': 1, 'b': 2}, {'a': 1, 'b': 8, 'c': 8}]
df = pd.DataFrame(data)
print(df)

输出如下:

   a  b    c
0  1  2  NaN
1  1  8  8.0

从 ndarrays/Lists 的字典来创建 DataFrame

所有的ndarrays必须具有相同的长度。如果传递了索引(index),则索引的长度应等于数组的长度。

如果没有传递索引,则默认情况下,索引将为range(n),其中n为数组长度。

实例-1

import pandas as pd
data = {'Name':['Tom', 'Jack', 'Steve', 'Ricky'],'Age':[28,34,29,42]}
df = pd.DataFrame(data)
print df

执行上面示例代码,得到以下结果 -

      Age      Name
0     28        Tom
1     34       Jack
2     29      Steve
3     42      Ricky

注 - 观察值0,1,2,3。它们是分配给每个使用函数range(n)的默认索引。

示例-2

使用数组创建一个索引的数据帧(DataFrame)。

import pandas as pd
data = {'Name':['Tom', 'Jack', 'Steve', 'Ricky'],'Age':[28,34,29,42]}
df = pd.DataFrame(data, index=['rank1','rank2','rank3','rank4'])
print df

执行上面示例代码,得到以下结果 -

         Age    Name
rank1    28      Tom
rank2    34     Jack
rank3    29    Steve
rank4    42    Ricky

注意 - index参数为每行分配一个索引。

从列表创建数据帧 DataFrame

字典列表可作为输入数据传递以用来创建数据帧(DataFrame),字典键默认为列名。

实例-1

以下示例显示如何通过传递字典列表来创建数据帧(DataFrame)。

import pandas as pd
data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]
df = pd.DataFrame(data)
print df

执行上面示例代码,得到以下结果 -

    a    b      c
0   1   2     NaN
1   5   10   20.0

注意 - 观察到,NaN(不是数字)被附加在缺失的区域。

示例-2

以下示例显示如何通过传递字典列表和行索引来创建数据帧(DataFrame)。

import pandas as pd
data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]
df = pd.DataFrame(data, index=['first', 'second'])
print df

执行上面示例代码,得到以下结果 -

        a   b       c
first   1   2     NaN
second  5   10   20.0

实例-3

以下示例显示如何使用字典,行索引和列索引列表创建数据帧(DataFrame)。

import pandas as pd
data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]

#With two column indices, values same as dictionary keys
df1 = pd.DataFrame(data, index=['first', 'second'], columns=['a', 'b'])

#With two column indices with one index with other name
df2 = pd.DataFrame(data, index=['first', 'second'], columns=['a', 'b1'])
print df1
print df2

执行上面示例代码,得到以下结果 -

#df1 output
         a  b
first    1  2
second   5  10

#df2 output
         a  b1
first    1  NaN
second   5  NaN

注意 - 观察,df2使用字典键以外的列索引创建DataFrame; 因此,附加了 NaN 到位置上。而df1是使用列索引创建的,与字典键相同,所以也附加了 NaN。

从系列的字典来创建 DataFrame

字典的系列可以传递以形成一个 DataFrame。所得到的索引是通过的所有系列索引的并集。

示例

import pandas as pd

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
      'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}

df = pd.DataFrame(d)
print df
`

执行上面示例代码,得到以下结果 -

      one    two
a     1.0    1
b     2.0    2
c     3.0    3
d     NaN    4

注意 - 对于第一个系列,观察到没有传递标签'd',但在结果中,对于d标签,附加了 NaN。

现在通过实例来了解列选择,添加和删除。

列选择

下面将通过从数据帧(DataFrame)中选择一列。

示例

import pandas as pd

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
      'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}

df = pd.DataFrame(d)
print df ['one']

执行上面示例代码,得到以下结果 -

a     1.0
b     2.0
c     3.0
d     NaN
Name: one, dtype: float64

列添加

下面将通过向现有数据框添加一个新列来理解这一点。

示例

import pandas as pd

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
      'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}

df = pd.DataFrame(d)

# Adding a new column to an existing DataFrame object with column label by passing new series

print ("Adding a new column by passing as Series:")
df['three']=pd.Series([10,20,30],index=['a','b','c'])
print df

print ("Adding a new column using the existing columns in DataFrame:")
df['four']=df['one']+df['three']

print df

执行上面示例代码,得到以下结果 -

Adding a new column by passing as Series:
     one   two   three
a    1.0    1    10.0
b    2.0    2    20.0
c    3.0    3    30.0
d    NaN    4    NaN

Adding a new column using the existing columns in DataFrame:
      one   two   three    four
a     1.0    1    10.0     11.0
b     2.0    2    20.0     22.0
c     3.0    3    30.0     33.0
d     NaN    4     NaN     NaN

列删除

列可以删除或弹出; 看看下面的例子来了解一下。

例子

# Using the previous DataFrame, we will delete a column
# using del function
import pandas as pd

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']), 
     'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd']), 
     'three' : pd.Series([10,20,30], index=['a','b','c'])}

df = pd.DataFrame(d)
print ("Our dataframe is:")
print df

# using del function
print ("Deleting the first column using DEL function:")
del df['one']
print df

# using pop function
print ("Deleting another column using POP function:")
df.pop('two')
print df

执行上面示例代码,得到以下结果 -

Our dataframe is:
      one   three  two
a     1.0    10.0   1
b     2.0    20.0   2
c     3.0    30.0   3
d     NaN     NaN   4

Deleting the first column using DEL function:
      three    two
a     10.0     1
b     20.0     2
c     30.0     3
d     NaN      4

Deleting another column using POP function:
   three
a  10.0
b  20.0
c  30.0
d  NaN

行选择,添加和删除

现在将通过下面实例来了解行选择,添加和删除。我们从选择的概念开始。

标签选择

可以通过将行标签传递给loc()函数来选择行。参考以下示例代码 -

import pandas as pd

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']), 
     'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}

df = pd.DataFrame(d)
print df.loc['b']

执行上面示例代码,得到以下结果 -

one 2.0
two 2.0
Name: b, dtype: float64

结果是一系列标签作为DataFrame的列名称。而且,系列的名称是检索的标签。

按整数位置选择

可以通过将整数位置传递给iloc()函数来选择行。参考以下示例代码 -

import pandas as pd

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']),
     'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}

df = pd.DataFrame(d)
print df.iloc[2]

执行上面示例代码,得到以下结果 -

one   3.0
two   3.0
Name: c, dtype: float64

行切片

可以使用:运算符选择多行。参考以下示例代码 -

import pandas as pd

d = {'one' : pd.Series([1, 2, 3], index=['a', 'b', 'c']), 
    'two' : pd.Series([1, 2, 3, 4], index=['a', 'b', 'c', 'd'])}

df = pd.DataFrame(d)
print df[2:4]

执行上面示例代码,得到以下结果 -

      one    two
c     3.0     3
d     NaN     4

附加行

使用append()函数将新行添加到 DataFrame。此功能将附加行结束。

import pandas as pd

df = pd.DataFrame([[1, 2], [3, 4]], columns = ['a','b'])
df2 = pd.DataFrame([[5, 6], [7, 8]], columns = ['a','b'])

df = df.append(df2)
print df

执行上面示例代码,得到以下结果 -

   a  b
0  1  2
1  3  4
0  5  6
1  7  8

删除行

使用索引标签从 DataFrame 中删除或删除行。如果标签重复,则会删除多行。

如果有注意,在上述示例中,有标签是重复的。这里再多放一个标签,看看有多少行被删除。

import pandas as pd

df = pd.DataFrame([[1, 2], [3, 4]], columns = ['a','b'])
df2 = pd.DataFrame([[5, 6], [7, 8]], columns = ['a','b'])

df = df.append(df2)

# Drop rows with label 0
df = df.drop(0)

print df

执行上面示例代码,得到以下结果 -

  a b
1 3 4
1 7 8

在上面的例子中,一共有两行被删除,因为这两行包含相同的标签0

相关文章

SparkDataFrame是2015年3月13日发布的Spark1.Transformation操作:即转换操作,实际上是在构建一个执行计 ...
Pandas DataFrame 对象的 loc 属性函数用来通过行列标签选定指定索引区域的数据,从源码可以看出,loc 是 @proper ...
当您提到"ES",我假设您是在谈论Elasticsearch,一种流行的开源搜索和分析引擎。以下是一些常用的Elasti ...
本篇主要从图(Graph)的概念、图形数据库的基本概念、Neo4j 与关系型数据库管理系统(RDBMS)对比以及和 NoSQL 之间的比较等 ...
Java中将List集合转换为Map映射的常用方法有多种,下面我将给出一个详细的代码例子,包括注释,然后从使用场景和性能等方面比较不同方法的 ...