本文是對pandas官方網站上《10minutes to pandas》的一個簡單的翻譯,原文在這里。這篇文章是對pandas的一個簡單的介紹,詳細的介紹請參考:cookbook 。習慣上,我們會按下面格式引入所需要的包:
一、創建對象
可以通過data structure intro setion 來查看有關該節內容的詳細信息。
1、可以通過傳遞一個list對象來創建一個series,pandas會默認創建整型索引:
2、通過傳遞一個numpyarray,時間索引以及列標簽來創建一個dataframe:
3、通過傳遞一個能夠被轉換成類似序列結構的字典對象來創建一個dataframe:
4、查看不同列的數據類型:
5、如果你使用的是ipython,使用tab自動補全功能會自動識別所有的屬性以及自定義的列,下圖中是所有能夠被自動識別的屬性的一個子集:
二、查看數據
詳情請參閱:basics section
2、 顯示索引、列和底層的numpy數據:
3、 describe()函數對于數據的快速統計匯總:
4、 對數據的轉置:
5、 按軸進行排序
6、 按值進行排序
三、選擇
雖然標準的python/numpy的選擇和設置表達式都能夠直接派上用場,但是作為工程使用的代碼,我們推薦使用經過優化的pandas數據訪問方式: .at,.iat,.loc,.iloc和.ix詳情請參閱indexingand selecing data 和 multiindex/ advanced indexing。
l 獲取
1、 選擇一個單獨的列,這將會返回一個series,等同于df.a:
2、 通過[]進行選擇,這將會對行進行切片
l 通過標簽選擇
1、 使用標簽來獲取一個交叉的區域
2、 通過標簽來在多個軸上進行選擇
3、 標簽切片
4、 對于返回的對象進行維度縮減
5、 獲取一個標量
6、 快速訪問一個標量(與上一個方法等價)
l 通過位置選擇
1、 通過傳遞數值進行位置選擇(選擇的是行)
2、 通過數值進行切片,與numpy/python中的情況類似
3、 通過指定一個位置的列表,與numpy/python中的情況類似
4、 對行進行切片
5、 對列進行切片
6、 獲取特定的值
l 布爾索引
1、 使用一個單獨列的值來選擇數據:
2、 使用where操作來選擇數據:
3、 使用isin()方法來過濾:
l 設置
1、 設置一個新的列:
2、 通過標簽設置新的值:
3、 通過位置設置新的值:
4、 通過一個numpy數組設置一組新值:
上述操作結果如下:
5、 通過where操作來設置新的值:
四、缺失值處理
在pandas中,使用np.nan來代替缺失值,這些值將默認不會包含在計算中,詳情請參閱:missing data section。
1、 reindex()方法可以對指定軸上的索引進行改變/增加/刪除操作,這將返回原始數據的一個拷貝:、
2、 去掉包含缺失值的行:
3、 對缺失值進行填充:
4、 對數據進行布爾填充:
五、相關操作
詳情請參與basic section on binary ops
l 統計(相關操作通常情況下不包括缺失值)
1、 執行描述性統計:
2、 在其他軸上進行相同的操作:
3、 對于擁有不同維度,需要對齊的對象進行操作。pandas會自動的沿著指定的維度進行廣播:
l apply
1、 對數據應用函數:
l 直方圖
具體請參照:histogrammingand discretization
series對象在其str屬性中配備了一組字符串處理方法,可以很容易的應用到數組中的每個元素,如下段代碼所示。更多詳情請參考:vectorized string methods.
六、合并
pandas提供了大量的方法能夠輕松的對series,dataframe和panel對象進行各種符合各種邏輯關系的合并操作。具體請參閱:mergingsection
l concat
l join 類似于sql類型的合并,具體請參閱:databasestyle joining
l append 將一行連接到一個dataframe上,具體請參閱appending:
七、分組
對于”group by”操作,我們通常是指以下一個或多個操作步驟:
l (splitting)按照一些規則將數據分為不同的組;
l (applying)對于每組數據分別執行一個函數;
l (combining)將結果組合到一個數據結構中;
詳情請參閱:groupingsection
1、 分組并對每個分組執行sum函數:
2、 通過多個列進行分組形成一個層次索引,然后執行函數:
八、reshaping
詳情請參閱hierarchicalindexing和reshaping。
l stack
l 數據透視表,詳情請參閱:pivottables.
可以從這個數據中輕松的生成數據透視表:
九、時間序列
pandas在對頻率轉換進行重新采樣時擁有簡單、強大且高效的功能(如將按秒采樣的數據轉換為按5分鐘為單位進行采樣的數據)。這種操作在金融領域非常常見。具體參考:timeseries section。
1、 時區表示:
2、 時區轉換:
3、 時間跨度轉換:
4、 時期和時間戳之間的轉換使得可以使用一些方便的算術函數。
十、categorical
從0.15版本開始,pandas可以在dataframe中支持categorical類型的數據,詳細介紹參看:和apidocumentation。
1、 將原始的grade轉換為categorical數據類型:
2、 將categorical類型數據重命名為更有意義的名稱:
3、 對類別進行重新排序,增加缺失的類別:
4、 排序是按照categorical的順序進行的而不是按照字典順序進行:
5、 對categorical列進行排序時存在空的類別:
十一、畫圖
具體文檔參看:plottingdocs
對于dataframe來說,plot是一種將所有列及其標簽進行繪制的簡便方法:
十二、導入和保存數據
l csv,參考:writingto a csv file
1、 寫入csv文件:
2、 從csv文件中讀取:
l hdf5,參考:hdfstores
1、 寫入hdf5存儲:
2、 從hdf5存儲中讀取:
l excel,參考:msexcel
1、 寫入excel文件:
2、 從excel文件中讀取:
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持服務器之家。
原文鏈接:https://www.cnblogs.com/chaosimple/p/4153083.html