數(shù)據(jù)清洗是一項(xiàng)復(fù)雜且繁瑣的工作,同時(shí)也是整個(gè)數(shù)據(jù)分析過程中最為重要的環(huán)節(jié)。
在python中空值被顯示為NaN。首先,我們要構(gòu)造一個(gè)包含NaN的DataFrame對(duì)象。
1
2
3
4
5
6
7
8
9
10
11
|
>>> import numpy as np >>> import pandas as pd >>> from pandas import Series,DataFrame >>> from numpy import nan as NaN >>> data = DataFrame([[ 12 , 'man' , '13865626962' ],[ 19 , 'woman' ,NaN],[ 17 ,NaN,NaN],[NaN,NaN,NaN]],columns = [ 'age' , 'sex' , 'phone' ]) >>> data age sex phone 0 12.0 man 13865626962 1 19.0 woman NaN 2 17.0 NaN NaN 3 NaN NaN NaN |
刪除NaN
刪除NaN所在的行
刪除表中全部為NaN的行
1
2
3
4
5
|
>>> data.dropna(axis = 0 , how = 'all' ) age sex phone 0 12.0 man 13865626962 1 19.0 woman NaN 2 17.0 NaN NaN |
刪除表中任何含有NaN的行
1
2
3
|
>>> data.dropna(axis = 0 , how = 'any' ) age sex phone 0 12.0 man 13865626962 |
刪除NaN所在的列
刪除表中全部為NaN的列
1
2
3
4
5
6
|
>>> data.dropna(axis = 1 , how = 'all' ) age sex phone 0 12.0 man 13865626962 1 19.0 woman NaN 2 17.0 NaN NaN 3 NaN NaN NaN |
刪除表中任何含有NaN的列
1
2
3
4
|
>>> data.dropna(axis = 1 , how = 'any' ) Empty DataFrame Columns: [] Index: [ 0 , 1 , 2 , 3 ] |
注意:axis 就是”軸,數(shù)軸“的意思,對(duì)應(yīng)多維數(shù)組里的”維“。此處作者的例子是二維數(shù)組,所以,axis的值對(duì)應(yīng)表示:0軸(行),1軸(列)。
填充NaN
如果不想過濾(去除)數(shù)據(jù),我們可以選擇使用fillna()方法填充NaN,這里,作者使用數(shù)值'0'替代NaN,來填充DataFrame。
1
2
3
4
5
6
|
>>> data.fillna( 0 ) age sex phone 0 12.0 man 13865626962 1 19.0 woman 0 2 17.0 0 0 3 0.0 0 0 |
我們還可以通過字典來填充,以實(shí)現(xiàn)對(duì)不同的列填充不同的值。
1
2
3
4
5
6
|
>>> data.fillna({ 'sex' : 233 , 'phone' : 666 }) age sex phone 0 12.0 man 13865626962 1 19.0 woman 666 2 17.0 233 666 3 NaN 233 666 |
以上這篇數(shù)據(jù)清洗--DataFrame中的空值處理方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持服務(wù)器之家。
原文鏈接:https://blog.csdn.net/yuanxiang01/article/details/78738812