数据分析 | 感官分析数据异常值剔除常用方法

发布网友发布时间：2024-09-27 18:23

共1个回答

热心网友时间：2024-10-07 04:16

在定量分析实验中，实验结束后，必须对分析数据进行处理。一组分析数据中，往往有个别数据与其它数据相差较大，这种个别数据称为可疑值。对可疑值的处理，首先回顾和检查生产可疑值的实验过程，有无可觉察到的技术上的异常原因。当原因不明时，必须按一定的数理统计方法进行处理，决定是保留还是舍弃。

1、格鲁布斯检验方法：

格鲁布斯检验法效果比较好的方法。格鲁布斯检验法的优点是在判断可疑值取舍的过程中，将正态分布中的两个最重要的参数—平均值和标准偏差引进来，故方法的准确性较高。方法计算的过程是这样的：

1.实验得出一组数据X1、X2、X3、X4……Xn，怀疑其中某个数据可疑（X可疑）

2.计算X1、X2、X3、X4……Xn的平均数（X平均）标准偏差（S）

3.计算格鲁布斯G计算=（X平均-X可疑）/S，取绝对值

4.查表求格鲁布斯G查表

5.若G计算≥G查表，则可疑数据舍去，反之保留格鲁布斯检验表：

比如置信概率为95%，测试6次，则G查表=1.89

实例计算：用重铬酸钾作基准试剂，对硫代硫酸钠溶液的浓度进行标定，共做了6次，测得其物质的量浓度c(Na2S2O3)=0.1025；0.1031；0.1028；0.1051;0.1021；0.1031mo1/L。用格鲁布斯检验法来判断可疑值0.1051是否应舍弃。

首先算得X平均=0.10315, S=0.00105 (均保留一位安全数字)，可以得出结果格鲁布斯 G计

这里要提出的是：一般有效数字修约规则为“四舍六人五留双”。但对标准偏差、格鲁布斯检验统计量等值按“只进不退”的修约规则。

查表得到：G0.95, 6=1.89（95%置信概率，测试6次）

比较:G计＜G0.95, 6，所以0.1051需要保留

2.Q值检验法（Dixon检验法）

Q值检验法又叫做舍弃商法，是迪克森(W. J. Dixon)在1951年专为分析化学中少量观测次数(n<10)提出的一种简易判据式。按以下步骤来确定可疑值的取舍：

（1）将各数据按递增顺序排列：X1，X2，X3，…，Xn-1，Xn。

（2）求出最大值与最小值的差值（极差）Xmax-Xmin.

（3）求出可疑值与其最相邻数据之间的差值的绝对值。

（4）求出Q0。若可疑值出现在首项，则

（5）根据测定次数n和要求的置信水平（如95%）查表（见下）得到值

（6）判断：若计算Q0>Q表，则舍去可疑值，否则应予保留。

实例计算：现场仪器测在同一点上4次测出：0.1014，0.1012，0.1025，0.1016，其中0.1025与其他数值差距较大，是否应该舍去?

根据“Q值检验法”：

（1）对数据进行从小到大排列：0.1012，0.1014，0.1016，0.1025；

（2）求出最大值与最小值的差值=0.1025-0.1012=0.0013

（3）求出可疑数据与其相邻数值的差值的绝对值=0.1025-0.1016=0.0009

（4）计算Q1=0.0009/0.0013=0.692

（5）测试次数为4，置信水平为0.9时的Q2=0.76（6）由于Q1=0.69