基礎(chǔ)知識：
（1）np.nan表示該值不是一個(gè)數(shù)，比如數(shù)據(jù)中收入、年齡的缺失值；np.inf表示無窮大
（2）np.nan == np.nan 的結(jié)果為False
（3）nan與任何數(shù)的操作結(jié)果均為nan,例如sum((np.nan,4)) 的結(jié)果為nan
（4）一個(gè)ndarray數(shù)組t1，可以用np.isnan(t1) 定位到nan值的位置，再用t1[np.isnan(t1)] = 指定值 將nan替換為指定值
（5）np.nan_to_num(t1)，可以將t1中的nan替換為0
（6）t1[ t1 == t1]可以剔除所有nan只保留非nan值
現(xiàn)在生成一個(gè)3*4的數(shù)組，設(shè)定第1行，第2、3列位置兩個(gè)元素為np.nan
import numpy as np
t1 = np.arange(12).reshape(3,4).astype('float')
t1[1,2:] = np.nan
print(t1)
[[ 0. 1. 2. 3.]
[ 4. 5. nan nan]
[ 8. 9. 10. 11.]]
1. 問題1：
如何將t1中的nan替換為0
#方法1：
for i in range(t1.shape[1]):
col = t1[:,i]
col[np.isnan(col)] = 0
#方法2：調(diào)用np.nan_to_num方法
t1 = np.nan_to_num(t1)
#方法3：或用np.isnan(t1)做索引，然后替換，建議用該方法
t1[np.isnan(t1)] = 0
方法3不但可以替換為0，替換為其它值也可，建議使用。
2. 問題2：
如何將t1中的nan替換為某些計(jì)算之后的值，例如將其替換為該列所有非 nan元素的均值
將原始數(shù)據(jù)中缺失的值替換為0有時(shí)未必是合適的。例如原始數(shù)據(jù)中某些人的年齡沒有填，如果替換為0，將來在計(jì)算年齡平均值或做數(shù)據(jù)分析時(shí)就存在不合理的后果。此時(shí)，將年齡缺失的的人的年齡設(shè)為均值更為合理。
（1）方法1
#方法1：
for i in range(t1.shape[1]):
col = t1[:,i]
#當(dāng)前列中如果存在nan,由于np.nan不等于np.nan,所以如果某列中存在nan,則col!=col將會有元素為True,np.count_nonzero方法將會累計(jì)值為True的元素?cái)?shù)量，可以通過這種方法來判斷該列是否存在nan
nan_num = np.count_nonzero(col != col)
if nan_num:
not_nan_col = col[col == col] #用布爾矩陣col == col做索引來篩選矩陣，布爾矩陣中False位置的元素將被剔除。
col[np.isnan(col)] = not_nan_col.mean()
print(t1)
運(yùn)行結(jié)果：
[[ 0. 1. 2. 3.]
[ 4. 5. 6. 7.]
[ 8. 9. 10. 11.]]
（2）方法2
#方法2：np.nanmean方法可以計(jì)算非nan值的均值,此外還有np.nanmax, np.nanmin方法。所以上述程序可以改寫如下：
mean = np.nanmean(t1,axis=0)
print('各列的均值為:%s' %mean)
for i in range(t1.shape[1]):
col = t1[:,i]
col[np.isnan(col)] = mean[i]
print(t1)
運(yùn)行結(jié)果同上
（3）方法3
使用功能強(qiáng)大的pandas庫
#也可以用pandas來處理,更為簡單便捷
import pandas as pd
df = pd.DataFrame(t1)
t1 = df.fillna(df.mean()).values #values代替as_matrix()，可以將DataFrame轉(zhuǎn)換為ndarray
print(t1)
運(yùn)行結(jié)果同上。
補(bǔ)充：python 快速替換Numpy 中的Nan（空值）和inf （無限值）
在做數(shù)據(jù)處理的時(shí)候由于要保證數(shù)據(jù)的個(gè)數(shù)不變，需要把數(shù)據(jù)中的空值和無窮值替換為指定的值（此處為255），考慮到數(shù)據(jù)量比較大（50000000條數(shù)據(jù)），效率也是一個(gè)考慮因素。
下面主要給出了替換數(shù)據(jù)的核心代碼
# +--+--+--+--+--+--+--+--+--+--+
print('Predict New Data......')
start = datetime.datetime.now()
dataPre = input_Data # 此處輸入需要處理的原始數(shù)據(jù)
# 0: 00:23.012951 標(biāo)記了這個(gè)方法的時(shí)間（以50000000條數(shù)據(jù)為例）
dataPre0 = np.array(dataPre)
dataPre0[np.isnan(dataPre0)] = 255
dataPre0[np.isinf(dataPre0)] = 255
# 0:02:03.038840
dataPre1 = (dataPre)
dataPre1 = dataPre1.replace([np.inf, -np.inf], np.nan)
dataPre1 = dataPre1.fillna(value = 255)
# 0:02:03.140287
dataPre2 = (dataPre)
dataPre2 = (dataPre2.replace([np.inf, -np.inf], np.nan)).fillna(value = 255) # shi yong te ding shuju tian chong
# 0:00:30.346661
dataPre3 = np.array(dataPre)
dataPre3[(dataPre3 == float('inf')) | (dataPre3 == float('-inf')) | (dataPre3 == float('nan'))] = 255
# 0:00:19.702519
dataPre4 = np.array(dataPre)
dataPre4[np.isinf(dataPre4)] = np.nan # 將數(shù)組里面的無窮值轉(zhuǎn)為空值
dataPre4[np.isnan(dataPre4)] = 255 # # 將nan值替換為255
# 0:01:10.404677
dataPre5 = np.array(dataPre)
dataPre5 = np.where(np.isnan(dataPre5), 255, dataPre5)
dataPre5 = np.where(np.isinf(dataPre5), 255, dataPre5)
可以看出幾種方法的效率差別還是比較大的，尤其是使用了replace或者np.where函數(shù)的方法，比較慢。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- numpy 聲明空數(shù)組詳解
- Numpy將二維數(shù)組添加到空數(shù)組的實(shí)現(xiàn)
- 在NumPy中創(chuàng)建空數(shù)組/矩陣的方法
- NumPy實(shí)現(xiàn)ndarray多維數(shù)組操作
- 如何在向量化NumPy數(shù)組上進(jìn)行移動窗口
- 解決numpy數(shù)組互換兩行及賦值的問題
- python 將numpy維度不同的數(shù)組相加相乘操作
- python numpy.power()數(shù)組元素求n次方案例
- Python 用NumPy創(chuàng)建二維數(shù)組的案例
- Numpy ndarray 多維數(shù)組對象的使用
- 淺談Python numpy創(chuàng)建空數(shù)組的問題
