数据分析-GroupBy的排序和缺失值处理

news/2024/4/28 16:58:05/文章来源:https://blog.csdn.net/Alex_StarSky/article/details/137127301

数据分析-GroupBy的排序和缺失值处理

数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？

数据表，时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。数据分析过程中重新调整，重塑数据表是很重要的技巧，此处选择Titanic数据，以及巴黎、伦敦欧洲城市空气质量监测 $NO_2$ 数据作为样例。

数据分析

数据分析-Pandas如何转换产生新列

数据分析-Pandas如何统计数据概况

数据分析-Pandas如何轻松处理时间序列数据

数据分析-Pandas如何选择数据子集

数据分析-Pandas如何重塑数据表-CSDN博客

实验数据分析处理，股票序列，时间序列，信号序列，有时候表格的数据需要进行分类，拆分，分组处理，，针对每组进行分类处理，处理后的结果还想汇总起来。这是pandas很常见的使用场景，pandas如何通过groupby，分步骤进行数据分类、处理、汇总呢？

GroupBy 排序参数

默认情况下，组键在操作过程中进行排序。但是还有一种潜在的加速方法。设定参数，groupby``sort=False``sort=False，组键之间的顺序遵循键在原始数据帧中的出现顺序：

In [1]: df2 = pd.DataFrame({"X": ["B", "B", "A", "A"], "Y": [1, 2, 3, 4]})In [2]: df2.groupby(["X"]).sum()
Out[2]: Y
X   
A  7
B  3In [3]: df2.groupby(["X"], sort=False).sum()
Out[3]: Y
X   
B  3
A  7

请注意，groupby将保留每个组内观测值的排序顺序。例如，下面groupby()创建的组，按它们在原DataFrame中出现的顺序排列：

In [4]: df3 = pd.DataFrame({"X": ["A", "B", "A", "B"], "Y": [1, 4, 3, 2]})In [5]: df3.groupby("X").get_group("A")
Out[5]: X  Y
0  A  1
2  A  3In [6]: df3.groupby(["X"]).get_group(("B",))
Out[6]: X  Y
1  B  4
3  B  2

GroupBy 是否丢弃缺失值

默认情况下，NA在groupby操作过程中，NA值会从组键中排除。然而，如果要在组键中保留值，则可以通过dropna=False来实现它。

In [28]: df_list = [[1, 2, 3], [1, None, 4], [2, 1, 3], [1, 2, 2]]
In [29]: df_dropna = pd.DataFrame(df_list, columns=["a", "b", "c"])In [30]: df_dropna
Out[30]: a    b  c
0  1  2.0  3
1  1  NaN  4
2  2  1.0  3
3  1  2.0  2

# Default ``dropna`` is set to True, which will exclude NaNs in keys
In [31]: df_dropna.groupby(by=["b"], dropna=True).sum()
Out[31]: a  c
b        
1.0  2  3
2.0  2  5# In order to allow NaN in keys, set ``dropna`` to False
In [32]: df_dropna.groupby(by=["b"], dropna=False).sum()
Out[32]: a  c
b        
1.0  2  3
2.0  2  5
NaN  1  4