技术标签： 数据挖掘与机器学习
'''在实际工作中获取到的数据往往不那么理想，可能会存在非数值类型的文本数据、重复值、缺失值、异常值及数据分布不均衡等问题，因此，在进行数学建模前还需要对这些问题进行处理，这项工作称为特征工程。特征工程通常分为特征使用方案、特征获取方案、特征处理、特征监控几大部分，其中特征处理是特征工程的核心内容，有时称为数据预处理。'''
#非数值类型数据处理
'''机器学习建模时处理的都是数值类型的数据，然而实际工作中获取的数据往往会包含非数值类型的数据，其中最常见的就是文本类型的数据，例如，性别中的“男”和“女”，处理时可以用查找、替换的思路，分别转换为数字1和0。但如果类别有很多，又该如何处理呢？本节就来介绍Python中两种常用的非数值类型数据处理方法——Get_dummies哑变量处理和Label Encoding编号处理。'''
(1)Get_dummies哑变量处理
'''哑变量也叫虚拟变量，通常取值为0或1，上面提到的将性别中的“男”和“女”分别转换成数字1和0就是哑变量最经典的应用。在Python中，通常利用pandas库中的get_dummies()函数进行哑变量处理，它不仅可以处理“男”和“女”这种只有两个分类的简单问题，还可以处理含有多个分类的问题。'''
import pandas as pd
df=pd.DataFrame({'客户编号':[1,2,3],'性别':['男','女','男']})
df.head()
df=pd.get_dummies(df,columns=['性概念 特征预处理是什么呢？特征预处理是通过统计方法（数学方法）将数据转换成算法要求的数据，所以特征预处理也叫做数据预处理。 下面是几种数据预处理的方法 1、数值型数据：标准缩放：1、归一化2、标准化 2、类别型数据：one-hot编码 3、时间类别：时间的划分 下面介绍归一化和标准化归一化 归一化 特点：通过对原始数据进行变换把数据映射到（默认在[0,1]）之间 公式： ...
sklearn在中小型数据集上，在工业界是在使用的 xgboost、lightgbm在工业界的实用度非常的高 工业界数据体量真的达到上亿或者十亿这样的规模用sklern处理起来是比较吃力的， 可借助于大数据的工具，比如spark来解决 现在可以用spark来做大数据上的数据处理，比如数据工程、监督学习、无监督学习模型的构建，只要计算资源够就OK。【大数据底层做分布式处理】 注意：spark基于RD...
我在前面的几篇文章里面介绍了一些机器学习的算法，当然不是非常全面，只是大致介绍，但我觉得对我来说已经对算法有了一定的理解。但是当我想完成一个真正的数据处理任务的时候，发现还是不够，从原始数据到开始用算法训练之间还有一部分空白，这个空白就是——特征工程。 我在一些文章里面都看到这种说法数据和特征决定了最后结果的上限，而算法只是用来逼近这个上限的工具。对此我深以为然，数据和选择...
文章目录 数据挖掘的五大流程 数据预处理(preprocessing) 数据归一化 数据标准化 缺失值处理 处理离散型特征和非数值型标签 处理连续型特征 二值化 分箱 特征选择(feature selection) 特征提取(feature extraction) Filter过滤法 方差过滤 相关性过滤 卡方过滤 F检验 互信息法 Embedded嵌入法 Wrapper包装法 数据挖掘的五大流程...
数据预处理：从数据中检测、纠正、删除损坏的不准确的或者不适用于模型记录的过程 目的：让数据更加适应模型，匹配模型需求 特征工程：将原始数据转换为更能代表预测模型的潜在问题的特征工程。可以通过挑选最相关特征，提取特征以及创造特征来实现。其中创造特征又经常以将为的方式实现。 &n...
原则： 1.缺失数据的比例 2.数据的重要性 方法： 如果缺失的数据不重要或者缺失的很多可以直接删除。 删除： 1.删除所有包含缺失数据的行 2.删除所有包含缺失数据的列 3.删除缺失的某个数据列如：删除a,b列 如果缺失数据重要或者缺失的不多进行填充。 填充： 1.用均值、众数、中位数等填充 2.用没有缺失的数据当训练集，缺失的数据当测试集，用机器学习的方法去预测填充。 数据集使用的是华为算法精...
处理缺失值呢，就不讲了，参考之前的博文，《《scikit-learn》随机森林回归填补缺失值》 即可。 这里来学习怎么对一些数值进行处理 一：对分类型数据处理，对数据进行编码和哑变量的处理 Scikit-learn中处理是不允许有文字的，因此需要做一些转换，对标签或者特征的含有文字的信息进行转换。 1：把文字/字符信息转换成对应的类别数值。 方法如下： 一个是对标签进行数值转换。 另一个是对特征进...
打算做个网站，学着安装mysql。网上查了一些教程，最后找到官网教程以及另一个教程，互为参照。我采用APT库安装方式，步骤如下： 在https://dev.mysql.com/downloads/repo/apt/下载.deb包并安装，出来图形界面直接默认选ok就行 更新 如果出现以下关于签名的问题 参考https://serverok.in/mysql-8-apt-error-the-follo...
1.浅拷贝 es6 新增方法 Object.assign 2.深拷贝 JSON.parse 用于将一个 Json 字符串转换成对象 JSON.stringify() 方法用于将 JavaScript 值转换为 JSON 字符串。...