办公室数据处理技巧视频(211统计教你数据清洗 #统计建模方向)

数据清洗。

211统计课堂。

各位同学们好，今天讲数据清洗。数据清洗是数据预处理中的一个重要步骤，它的目标是找出并修正记录其中的错误和不一致，在此过程中可以提高数据的质量并增强其价值。数据清洗的关键步骤简单讲七个：

·一缺失数据处理。找出并处理数据集中的缺失值，如使用平均值、中值、重数等填充缺失值，或通过差值模型预测的方法填补缺失数据。

·二去除重复记录。检查并删除数据集中的重复记录。

·三数据类型转换。将特征列转换为适当的数据类型，如将字符串类型转换成日期类型。

·四异常值处理。利用统计学方法来识别和处理数据集中的异常值。

·五数据归一化。对特征进行缩放，以便在相同的范围内进行比较，这有助于提高某些机器学习算法的性能。

·六特征工程。从现有特征中创建新特征，以增强模型的预测能力。

·七文本数据清洗。对文本数据进行处理，包括去除停用词、标点符号、数字等，以及文字小写转换和词干提取。

这期视频就到这里了，大家有什么问题都可以在下方评论区或者私信留言给我。