首页IT科技python 类变量和类方法(Python实现类别变量的独热编码(One-hot Encoding))

python 类变量和类方法(Python实现类别变量的独热编码(One-hot Encoding))

时间2025-09-18 20:56:15分类IT科技浏览5170
导读:  本文介绍基于Python下OneHotEncoder与pd.get_dummies两种方法,实现机器学习中最优的编码方法——...

  本文介绍基于Python下OneHotEncoder与pd.get_dummies两种方法                 ,实现机器学习中最优的编码方法——独热编码的方法                 。

  在数据处理与分析领域                         ,对数值型与字符型类别变量加以编码是不可或缺的预处理操作;这里介绍两种不同的方法                         。

1 OneHotEncoder

  首先导入必要的模块        。

import pandas as pd from sklearn.preprocessing import OneHotEncoder

  其中        ,OneHotEncoder是我们实现独热编码的关键模块        。

  接下来        ,导入并显示数据前五行                         。

test_data_1=pd.read_csv(G:/CropYield/03_DL/00_Data/onehot_test.csv,names=[EVI0610,EVI0626,SoilType],header=0) test_data_1.head(5)

  关于这里导入数据代码的解释                         ,大家可以查看多变量两两相互关系联合分布图的Python绘制与Python TensorFlow深度学习回归代码:DNNRegressor这两篇文章                ,这里就不再赘述啦~

  数据前五行展示如下图                。其中        ,前两列EVI0610与EVI0626为数值型连续变量                         ,而SoilType为数值型类别变量        。我们要做的                ,也就是将第三列SoilType进行独热编码                         。

  接下来,进行独热编码的配置                。

ohe=OneHotEncoder(handle_unknown=ignore) ohe.fit(test_data_1)

  在这里                         ,第一行是对独热编码的配置                        ,第二行则是对我们刚刚导入的数据进行独热编码处理。得到一个独热编码配置的输出结果                         。

  接下来,看看独热编码处理后                 ,将我们的数据分成了哪些类别                        。

ohe.categories_

  得到结果如下图。

  可以发现                        ,一共有三个array        ,为什么呢?仔细看可以发现                 ,独热编码是将我们导入的三列数据全部都当作类别变量来处理了                 。之所以会这样                         ,是因为我们在一开始没有表明哪一列是类别变量        ,需要进行独热编码;而哪一列不是类别变量        ,从而不需要进行独热编码                        。

  那么                         ,我们如何实现上述需求                ,告诉程序我们要对哪一行进行独热编码呢?在老版本的sklearn中        ,我们可以借助categorical_features=[x]参数来实现这一功能                         ,但是新版本sklearn取消了这一参数        。那么此时                ,一方面,我们可以借助ColumnTransformer来实现这一过程                         ,另一方面                        ,我们可以直接对需要进行转换的列加以处理                 。后者相对较为容易理解,因此本文对后者进行讲解                         。

  我们将test_data_1中的SoilType列作为索引                 ,从而仅仅对该列数据加以独热编码        。

ohe_column=pd.DataFrame(ohe.fit_transform(test_data_1[[SoilType]]).toarray()) ohe_column.head(5)

  其中                        ,[[SoilType]]表示仅仅对这一列进行处理        。得到结果如下图                         。

  可以看到        ,原来的SoilType列现在成为了63列的编码列                 ,那么这样的话                         ,说明我们原先的SoilType应该一共是有63个不同的数值                。是不是这个样子呢?我们来检查一下        。

count=pd.DataFrame(test_data_1[SoilType].value_counts()) print(count)

  得到结果如下                         。

  好的        ,没有问题:可以看到此结果共有63行        ,也就是SoilType列原本是有63个不同的值的                         ,证明我们的独热编码没有出错                。

  此时看一下我们的test_data_1数据目前长什么样子。

test_data_1.head(5)

  是的                ,我们仅仅对SoilType列做了处理        ,没有影响到整个初始数据                         。那么先将原本的SoilType列剔除掉                        。

test_data_1=test_data_1.drop([SoilType],axis=1) test_data_1.head(5)

  再将经过独热编码处理后的63列加上。

test_data_1.join(ohe_column)

  大功告成!

  但是这里还有一个问题                         ,我们经过独热编码所得的列名称是以数字来命名的                ,非常不方便                 。因此,有没有什么办法可以在独热编码进行的同时                         ,自动对新生成的列加以重命名呢?

2 pd.get_dummies

  pd.get_dummies是一个最好的办法!其具体用法与上述OneHotEncoder类似                        ,因此具体过程就不再赘述啦,大家看代码就可以明白                        。

  首先还是导入与上述内容中一致的初始数据        。

test_data_2=pd.read_csv(G:/CropYield/03_DL/00_Data/onehot_test.csv,names=[EVI0610,EVI0626,SoilType],header=0) test_data_2.head(5)

  进行独热编码并看看结果                 。

test_data_2_ohe=pd.get_dummies(test_data_2,columns=[SoilType]) test_data_2_ohe.head(5)

  最终结果中                 ,列名称可以说是非常醒目                        ,同时        ,共有65列数据                 ,自动删除了原本的SoilType列                         ,实现了“独热编码                ”“新列重命名                         ”与“原始列删除         ”        ,可谓一举三得        ,简直是太方便啦~

声明:本站所有文章                         ,如无特殊说明或标注                ,均为本站原创发布                         。任何个人或组织        ,在未征得本站同意时                         ,禁止复制                 、盗用                         、采集        、发布本站内容到任何网站        、书籍等各类媒体平台        。如若本站内容侵犯了原著者的合法权益                ,可联系我们进行处理        。

创心域SEO版权声明:以上内容作者已申请原创保护,未经允许不得转载,侵权必究!授权事宜、对本内容有异议或投诉,敬请联系网站管理员,我们将尽快回复您,谢谢合作!

展开全文READ MORE
Python怎么定义模块并应用(Python如何自定义元类) wordpress主题怎么用(如何用WordPress修改内页标题以提升网站流量)