Spark 教程

Spark SQL

Spark 笔记

Spark MLlib

如何获取 spark dataframe 数据的行数和列数

Spark DataFrame 原理及操作详解 Spark DataFrame 原理及操作详解


pyspark 的 dataframe 对象数据获取行数和列数和 pandas 的 dataframe 的操作不同,它并没有 shape 属性。

推荐方法

这里给出 python 的方式,java 和 scala 方式类同:

# 获取行数调用 dataframe 对象的 count 函数
row_num = df.count()

获取列数代码如下:

col_num = len(df.columns)