主頁(yè) > 知識(shí)庫(kù) > 使用pandas或numpy處理數(shù)據(jù)中的空值(np.isnan()/pd.isnull())

使用pandas或numpy處理數(shù)據(jù)中的空值(np.isnan()/pd.isnull())

熱門標(biāo)簽:哈爾濱ai外呼系統(tǒng)定制 激戰(zhàn)2地圖標(biāo)注 廣告地圖標(biāo)注app 陜西金融外呼系統(tǒng) 海南400電話如何申請(qǐng) 公司電話機(jī)器人 唐山智能外呼系統(tǒng)一般多少錢 騰訊外呼線路 白銀外呼系統(tǒng)

最近在做數(shù)據(jù)處理的時(shí)候,遇到個(gè)讓我欲仙欲死的問(wèn)題,那就是數(shù)據(jù)中的空值該如何獲取。

我的目的本來(lái)是獲取數(shù)據(jù)中的所有非零且非空值,然后再計(jì)算獲得到的所有數(shù)據(jù)計(jì)算均值,再用均值把0和空值填上。這個(gè)操作讓我意識(shí)到了i is None/np.isnan(i)/i.isnull()之間的差別,再此做簡(jiǎn)單介紹:

1.關(guān)于np.nan:

先明確一個(gè)問(wèn)題,即空值的產(chǎn)生只有np.nan()一種方法。

# np.nan()的一些奇妙性質(zhì):
 
np.nan == np.nan
>>> False
 
np.isnan(np.nan)
>>> True
 
np.nan is None
>>> False
 
type(np.nan)
>>> float

總結(jié)一下:

np.nan不是一個(gè)“空”對(duì)象,用 i is None判斷是False;

對(duì)某個(gè)值是否為空值進(jìn)行判斷,只能用np.isnan(i)函數(shù),萬(wàn)萬(wàn)不可用 i == np.nan()來(lái)做,否則你會(huì)死的很慘的,因?yàn)榭罩挡⒉荒苡门袛嘞嗟鹊摹?=”正確識(shí)別(上例前兩條);

np.nan非空對(duì)象,其類型為基本數(shù)據(jù)類型float(是不是很神奇,我也不知道為什么要這樣設(shè)計(jì))

2.np.isnan()和pd.isnull()何時(shí)使用:

# 首先創(chuàng)建一個(gè)DataFrame:
bb = pd.DataFrame({'a':[0,1,2,np.nan]})
bb
 
>>>     a
    0 0.0
    1 1.0
    2 2.0
    3 NaN
 
# 先測(cè)試一下np.isnan()
np.isnan(bb)
>>>     a
    0 False
    1 False
    2 False
    3 True
# 值得一提的是,如果想獲悉整個(gè)DataFrame有無(wú)空值,可以在此基礎(chǔ)上這樣做:
 
np.isnan(bb).all()
>>> a    False
    dtype: bool          # 這行是指返回值的dtype
 
# 再測(cè)試一下isnull()
pd.isnull(bb)
>>>     a
    0 False
    1 False
    2 False
    3 True

由上可見,其實(shí)np.isnan()和pd.isnull()都可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中,np.isnan()多用于單個(gè)值的檢驗(yàn),pd.isnull()用于對(duì)一個(gè)DataFrame或Series(整體)的檢驗(yàn)。

此外,根據(jù)pandas官方文檔和源代碼,pandas提供的另一個(gè)函數(shù)pd.isna()與pd.isnull()完全一樣。

上面提到的any()/all()函數(shù),請(qǐng)見pandas文檔:

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.all.html#pandas.DataFrame.all

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.any.html#pandas.DataFrame.any

其他與空值檢測(cè)或刪除相關(guān)的函數(shù)還有:notna()、fillna()、dropna()等等。實(shí)戰(zhàn)中應(yīng)靈活使用。

補(bǔ)充:numpy中的nan(判斷一個(gè)元素等于nan, 及nan安全函數(shù) )

Nunpy中的NaN

多種方式創(chuàng)建nan(空值)

import numpy as np
np.nan
nan
np.NaN
nan
np.NAN
nan

判斷是否存在空值

x = np.array([1, 1, 8, np.nan, 10])
np.nan in x

False
np.isin(np.nan, x)
array(False)
1 in x
True
np.isin(1, x)
array(True)
np.isnan(x)
array([False, False, False,  True, False])
x[-2] == np.nan, np.isnan(x[-2])
(False, True)

在np中nan需要用isnan這個(gè)函數(shù)來(lái)識(shí)別,還要注意:

x
array([ 1.,  1.,  8., nan, 10.])

x 中所有的元素都變成了浮點(diǎn)型,這是因?yàn)閚an是浮點(diǎn)型的。

nan安全函數(shù)

np.mean(x)
nan
np.nanmean(x)
5.0

此外max, min, median等都是默認(rèn)非nan安全的,需要加上nan來(lái)標(biāo)記nan安全。

ps:pandas中是默認(rèn)nan安全的。

補(bǔ)充:Python 處理DataFrame數(shù)據(jù) pd.isnull() np.isnan()的方式

數(shù)據(jù)處理時(shí),經(jīng)常會(huì)遇到處理數(shù)據(jù)中的空值,涉及幾個(gè)常用函數(shù),pd.isnull(),pd.notnull(),np.isnan(),pd.notna(),pd.isna(),pd.fillna()、pd.dropna()等等.

本文關(guān)注pd.isnull(),pd.notnull(),np.isnan(),pd.notna(),pd.isna()。

總結(jié):

由下可知,np.isnan()和pd.isnull()都可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中,np.isnan()多用于單個(gè)值的檢驗(yàn),pd.isnull()用于對(duì)一個(gè)DataFrame或Series(整體)的檢驗(yàn)。

1.pd.isnull()

pd.isnull()可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中,pd.isnull()用于對(duì)一個(gè)DataFrame或Series(整體)的檢驗(yàn)。

此外,根據(jù)pandas官方文檔和源代碼,pandas提供的另一個(gè)函數(shù)pd.isna()與pd.isnull()完全一樣。

# 首先創(chuàng)建一個(gè)DataFrame:
df = pd.DataFrame({'a':[0,1,2,np.nan]})
df
 
>>>     a
    0 0.0
    1 1.0
    2 2.0
    3 NaN
 
# 測(cè)試isnull()
pd.isnull(df)
>>>     a
    0 False
    1 False
    2 False
    3 True
 
# 測(cè)試isna()
pd.isna(df)
>>>     a
    0 False
    1 False
    2 False
    3 True
 
# 測(cè)試notnull()
pd.notnull(df)
>>>     a
    0 True
    1 True
    2 True
    3 False
 
# 測(cè)試notna()
pd.notna(df)
>>>     a
    0 True
    1 True
    2 True
    3 False

2.np.nan()

判斷是否為np.nan()。

np.nan不是一個(gè)“空”對(duì)象,對(duì)某個(gè)值是否為空值進(jìn)行判斷,只能用np.isnan(i)函數(shù)。

np.nan非空對(duì)象,其類型為基本數(shù)據(jù)類型float。

np.nan()可以對(duì)不論是DataFrame、Python list還是僅僅一個(gè)數(shù)值進(jìn)行空值檢測(cè)。但一般在實(shí)際應(yīng)用中,np.nan()多用于單個(gè)值的檢驗(yàn)。

np.nan == np.nan
>>> False
 
np.isnan(np.nan)
>>> True
 
type(np.nan)
>>> float
 
np.nan is None
>>> False
 
np.isnan(df)
>>>     a
    0 False
    1 False
    2 False
    3 True

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • pandas中DataFrame檢測(cè)重復(fù)值的實(shí)現(xiàn)
  • pandas DataFrame.shift()函數(shù)的具體使用
  • pandas取dataframe特定行列的實(shí)現(xiàn)方法
  • 利用python Pandas實(shí)現(xiàn)批量拆分Excel與合并Excel
  • Pandas DataFrame轉(zhuǎn)換為字典的方法
  • 解決python3安裝pandas出錯(cuò)的問(wèn)題
  • Pandas爆炸函數(shù)的使用技巧
  • Pandas||過(guò)濾缺失數(shù)據(jù)||pd.dropna()函數(shù)的用法說(shuō)明
  • 教你使用Pandas直接核算Excel中的快遞費(fèi)用
  • 教你漂亮打印Pandas DataFrames和Series

標(biāo)簽:惠州 常德 益陽(yáng) 上海 四川 鷹潭 黔西 黑龍江

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《使用pandas或numpy處理數(shù)據(jù)中的空值(np.isnan()/pd.isnull())》,本文關(guān)鍵詞  使用,pandas,或,numpy,處理,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《使用pandas或numpy處理數(shù)據(jù)中的空值(np.isnan()/pd.isnull())》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于使用pandas或numpy處理數(shù)據(jù)中的空值(np.isnan()/pd.isnull())的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章