数极客首页

识别异常值,清洗脏数据,只需搞懂箱形图

最近有很多用户说到了年终需求
回想

这一年的工作,依据

这一年的数据看看有没有异常的状况

,那么哪种图能够

明晰
直观地展示

出这一信息呢?

答案只需

一个,那就是…

箱形图

箱形图(英文:Box plot),又称为盒须图、盒式图、盒状图或箱线图,是一种用作显现
一组数据分散状况

资料

的统计图。因型状如箱子而得名。在各种范畴
也经常被运用
,常见于质量
管理,快速辨认

异常值。

箱形图最大的优点就是不受异常值的影响,能够

精确

稳定地描画
出数据的离散散布

状况

,同时也利于数据的清洗。

想要搞懂箱形图,那么一定要了解

五大因“数”

我们一组序列数为例:12,15,17,19,20,23,25,28,30,33,34,35,36,37解说

这五大因“数”

辨认异常值,清洗脏数据,只需搞懂箱形图

1、下四分位数Q1

(1)肯定
四分位数的位置。Qi所在位置=i(+1)/4,其中i=1,2,3。n表示序列中包含的项数。

(2)依据

位置,计算相应的四分位数。

例中:

Q1所在的位置=(14+1)/4=3.75,

Q1=0.25×第三项+0.75×第四项=0.25×17+0.75×19=18.5;

2、中位数(第二个四分位数)Q2

中位数,即一组数由小到大排列处于中间位置的数。若序列数为偶数个,该组的中位数为中间两个数的平均

数。

例中:

Q2所在的位置=2(14+1)/4=7.5,

Q2=0.5×第七项+0.5×第八项=0.5×25+0.5×28=26.5

3、上四分位数Q3

计算办法

同下四分位数。

例中:

Q3所在的位置=3(14+1)/4=11.25,

Q3=0.75×第十一项+0.25×第十二项=0.75×34+0.25×35=34.25。

4、上限

上限是非异常范围内的最大值。

第一
要知道

什么是四分位距怎样
计算的?

四分位距IQR=Q3-Q1,那么上限=Q3+1.5IQR

5、下限

下限是非异常范围内的最小值。

下限=Q1-1.5IQR

讲了这么多的“数学学问
”,那么箱形图到底怎样
经过
BDP应用到理论

的工作呢?我们还是用一个实例来辅佐

大家了解

往常

有“2017年各季度各地域
分公司销售业绩”工作表,我们想要找出各季度哪些分公司业绩属于不正常范围内。

数据示例如下图:

辨认异常值,清洗脏数据,只需搞懂箱形图 BDP箱形图结果:

辨认异常值,清洗脏数据,只需搞懂箱形图 从上图能够

明晰
的找出异常点,例如第二季度北京分公司的销售额为22147元,该值比上限10759元还要大,所以定义为异常值。

细致

操作在这里就不解说

了,能够

参考“各位久等了,全新的炫酷图表终于上线啦!”

箱形图的价值

1.直观明了地辨认

数据批中的异常值

上文讲了很久的辨认

异常值,其实箱线图判别
异常值的规范

以四分位数和四分位距为基础

,四分位数具有一定的耐抗性,多达25%的数据能够

变得恣意
远而不会很大地扰动四分位数,所以异常值不会影响箱形图的数据外形
,箱线图辨认

异常值的结果比较

客观。由此可见,箱线图在辨认

异常值方面有一定的优越性。

2.应用
箱线图判别
数据批的偏态和尾重

关于
规范

正态散布

的样本,只需

极少值为异常值。异常值越多阐明

尾部越重,自由

度越小(即自由

变动的量的个数);

而偏态表示偏离水平

,异常值集中在较小值一侧,则散布

呈左偏态;异常值集中在较大值一侧,则散布

呈右偏态。

3.应用
箱线图比较

几批数据的外形

同一数轴上,几批数据的箱线图并行排列,几批数据的中位数、尾长、异常值、散布

区间等外形
信息便昭然若揭。如上图,可直观得看出第三季度各分公司的销售额大致
都在降落

但箱形图也有他的局限性,比如

:不能精确

地权衡
数据散布

的偏态和尾重水平

;关于
批量比较

大的数据,反映的信息愈加
含糊

以及用中位数代表总体评价水平

有一定的局限性。

发表评论

评论已关闭。

相关文章