在使用 pandas 進行數據分析的過程中，我們常常會遇到將一行數據展開成多行的需求，多么希望能有一個類似于 hive sql 中的 explode 函數。
這個函數如下：
Code
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
# !/usr/bin/env python# -*- coding:utf-8 -*-# create on 18/4/13import pandas as pddef dataframe_explode(dataframe, fieldname): temp_fieldname = fieldname + '_made_tuple_' dataframe[temp_fieldname] = dataframe[fieldname].apply(tuple) list_of_dataframes = [] for values in dataframe[temp_fieldname].unique().tolist(): list_of_dataframes.append(pd.DataFrame({ temp_fieldname: [values] * len(values), fieldname: list(values), })) dataframe = dataframe[list(set(dataframe.columns) - set([fieldname]))].merge(pd.concat(list_of_dataframes), how='left', on=temp_fieldname) del dataframe[temp_fieldname] return dataframedf = pd.DataFrame({'listcol':[[1,2,3],[4,5,6]], "aa": [222,333]})df = dataframe_explode(df, "listcol") |
Description
將 dataframe 按照某一指定列進行展開，使得原來的每一行展開成一行或多行。( 注：該列可迭代， 例如list, tuple, set)
補充知識：Pandas列中的字典/列表拆分為單獨的列
我就廢話不多說了，大家還是直接看代碼吧
|
1
2
3
4
5
6
7
|
[1] dfStation ID Pollutants8809 {"a": "46", "b": "3", "c": "12"}8810 {"a": "36", "b": "5", "c": "8"}8811 {"b": "2", "c": "7"}8812 {"c": "11"}8813 {"a": "82", "c": "15"} |
Method 1：
step 1: convert the Pollutants column to Pandas dataframe series
|
1
2
3
4
5
6
7
8
9
|
df_pol_ps = data_df['Pollutants'].apply(pd.Series)df_pol_ps: a b c0 46 3 121 36 5 82 NaN 2 73 NaN NaN 114 82 NaN 15 |
step 2: concat columns a, b, c and drop/remove the Pollutants
|
1
2
3
4
5
6
7
8
9
|
df_final = pd.concat([df, df_pol_ps], axis = 1).drop('Pollutants', axis = 1)df_final: StationID a b c0 8809 46 3 121 8810 36 5 82 8811 NaN 2 73 8812 NaN NaN 114 8813 82 NaN 15 |
Method 2：
|
1
2
3
4
5
6
7
8
9
|
df_final = pd.concat([df, df['Pollutants'].apply(pd.Series)], axis = 1).drop('Pollutants', axis = 1)df_final: StationID a b c0 8809 46 3 121 8810 36 5 82 8811 NaN 2 73 8812 NaN NaN 114 8813 82 NaN 15 |
以上這篇pandas dataframe 中的explode函數用法詳解就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持服務器之家。
原文鏈接：https://blog.csdn.net/Sinsa110/article/details/85260302
