通常异常值出现的原因有以下几种:
1. 数据收集过程出现问题,录入错误
2. 数据测量误差(人为、测量仪器)
3. 数据随机误差(数据自身)
异常值处理步骤
第一步:异常值检测 异常值的检验有很多种方法,最常见的是图示法,也有使用分析方法进行探索,如下说明。 箱盒图:实验研究时经常使用,非常直观的展示出异常数据; 散点图:研究X和Y的关系时,可直观展示查看是否有异常数据; 描述分析:可通过最大最小值等各类指标大致判断数据是否有异常; 其它:比如结合正态分布图,频数分析等判断是否有异常值。
第二步:异常值判定 上述已经说明异常值会带来严重的影响,扭曲数据结论等。那么首先需要设定异常值的标准,然后再对其进行处理。异常值的判定标准并不统一,更多是通过人为标准进行设定,SPSSAU提供以下几类判定规则: 缺失数字 小于设定标准的数字 大于设定标准的数字 大于3个标准差
第三步:异常值处理 完成异常值的判定之后,接着需要进行处理;SPSSAU提供两类处理方式,分别为: 1、设置为Null值;此类处理最简单,而且绝大多数情况下均使用此类处理;直接将异常值“干掉”,相当于没有该异常值。如果异常值不多时建议使用此类方法 2、填补;如果异常值非常多时,则可能需要进行填补设置,SPSSAU共提供平均值,中位数,众数和随机数共四种填补方式。建议使用平均值填补方式。
异常值设置注意事项:
首先需要选中处理的标题,请谨慎操作,一旦操作无法还原数据; 异常值是针对原始数据进行修改;无法还原,建议处理之前先进行“备份数据”,防止处理出错时无法还原。 异常值判定没有固定标准,带微弱主观性;