pythonexcel数据处理范例（Python实现Excel数据的探索和清洗）

数据的探索和清洗

1                、读取Excel文件的数据并转换为dataframe

#1.读取Excel文件的数据并转换为dataframe file="d:/test/Summary/Data_Summary.xlsx" data_raw=pd.read_excel(file,header=0,index_col=0) #header设定为0：是为了使第1行的数据成为列的字段名

2  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
、查看数据集的整体状态
  
  
  
  
  
  
  
  ，了解基本特征列的情况

data_raw.head()

3















、删除无效的数据列

remove_col=["序号"] data_prep0=data_raw.drop(columns=remove_col,axis=1,inplace=None) data_prep0.head()

4
  
  
  
  
  
  
  
  、查看数据集的整体信息 
  
  
  
  
  
  
  
 ，了解缺失值的分布情况

data_prep0.info()

5  
  
  
  
  
  
  
  
、检看数据集中缺失值的状态并删除缺失值

data_prep=data_prep0.dropna(subset=["产品"],axis=0) data_prep.info() print("数据集中的重复值数量：",np.sum(data_prep.duplicated())) #如果重复值的数量不为"0",则表示有重复值存在 


 


 


 


 


 


 


 


，可使用下列代码删除 #data_prep.drop_duplicates(keep="first",inplace=True)