标签编码、独热编码大不同 - Python 实现
2019-01-25 10:08
127 查看
对于新手在做资料的特征工程时,会看到 Label Encoding 或 One Hot Encoding 两种对于类别行资料的编码方式,那他们之间究竟有什么不同呢?
直接讲结论:
- 原始资料是有序离散值的话 => Label Encoding
- 原始资料是无序离散值的话 => One Hot Encoding (Dummies)
以下分为两点说明:
为什么要将离散转数值?
因为大部分的模型都是基于数学运算,所以字串资料是无法运算的
为什么要将无序转 One-Hot?
所谓数学运算一般泛指用距离代表相似(几何观点),意思是会用转换后的两个值的差距作为其相似程度。
如果将性别栏位的男/女转换成 0, 1 ,二元的没问题
如果讲水果这个无序栏位中的频果、香蕉、西瓜,Label 成0, 1, 2 会隐含着「香蕉跟苹果」比「西瓜跟苹果」还要相似的意义,但这样是错误的。
如果是年龄这个有序栏位的老年、中年、少年,Label 成 0, 1, 2 就很恰当,到如果硬转成 One-Hot 反而将这个差距关系给拿掉。
在 Python 中实现
很巧的是,在 Python Pandas 跟 SciKit-Learn 两个套件中都有提供编码的操作。以下分别示范用法的不同:
① LabelEncoding
df = pd.DataFrame({'size':['XXL', 'XL', 'L', 'M', 'S']}) # Using Pandas import pandas as pd cat = pd.Categorical(df['size'], categories=df['size'].unique(), ordered=True)) df['size_code'] = cat.codes # Using sklearn from sklearn import preprocessing le = preprocessing.LabelEncoder() le.fit(df['tw']) le.transform(df['size'])
② One Hot Encoding (Dummies)
# Using Pandas df = pd.DataFrame({'A': ['a', 'b', 'a'], 'B': ['b', 'a', 'c']) pd.get_dummies(df) # Using sklearn enc = preprocessing.OneHotEncoder() enc.fit([[0, 0, 3], [1, 1, 0], [0, 2, 1], [1, 0, 2]]) enc.transform([[0, 1, 3]]).toarray()
要注意的是,他们都是同样的动作,仅是不同的套件而已。
License
本著作由Chang Wei-Yaun (v123582)制作,
以创用CC 姓名标示-相同方式分享 3.0 Unported授权条款释出。
相关文章推荐
- 不同梯度下降方法实现逻辑回归性能比较(python)
- ASP实现清除HTML标签,清除 空格等编码
- 用调整法和插入法建堆的Python实现,不同建堆方式对堆排序性能的影响
- 关于siamese network训练时,按同样的顺序打乱输入X1,X2以及对应的标签Y(Python实现)
- Python 3.4.3 使用threading模块进行多线程编码实现
- python-如何根据用户选择实现不同函数功能
- Python的不同实现
- 编码类型及python中实现转换
- 使用python将图片按标签分入不同文件夹的方法
- 博为峰Java技术题 ——JavaSE Java实现在不同编码之间进行文件转换
- python 设置文件编码格式的实现方法
- Python读取不同文件夹下的图片并且分类放到新创建的训练文件夹和标签文件夹
- 不同的角度,不同的玩法——用Python实现Fibonacci函数
- Python实现不同格式打印九九乘法表
- python判断字符串编码的简单实现方法(使用chardet)
- 用python实现对比两张图片的不同
- Python实现监控Nginx配置文件的不同并发送邮件报警功能示例
- python 获取网页编码方式实现代码
- JS实现选择不同select标签option值的验证
- python读写不同编码txt文件