您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

组距是什么意思 组距是什么意思举例子

数据,四分,缺失组距是什么意思 组距是什么意思举例子

发布时间：2019-02-08加入收藏来源：互联网点击：

很多朋友想了解关于组距是什么意思的一些资料信息，下面是小编整理的与组距是什么意思相关的内容分享给大家，一起来看看吧。

1.数据质量分析

数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效和准确的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据包括：

（1）缺失值； （2）异常值； （3）不一致的值； （4）重复数据及含有特殊符号（如#、￥、*）的数据。

1.1缺失值分析

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。

（1）缺失值产生的原因 1）有些信息暂时无法获取，或者获取信息的代价太大。 2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失。 3）属值不存在。在某些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。 （2）缺失值的影响 1）数据挖掘建模将丢失大量的有用信息。 2）数据挖掘模型所表现出的不确定更加显著，模型中蕴含的规律更难把握。

3）包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。

（3）缺失值的分析 使用简单的统计分析，可以得到含有缺失值的属的个数，以及每个属的未缺失数、缺失数与缺失率等。

1.2异常值分析

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，会给结果带来不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值的分析也称为离群点分析。

（1）简单统计量分析 可以先对变量做一个描述统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。例如，客户年龄的最大值为199岁，则该变量的取值存在异常。

（2）3σ原则 如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为P（|x-μ|3σ）≤0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。

（3）箱形图分析 箱形图提供了识别异常值的一个标准：异常值通常被定义为小于QL-1.5IQR或大于QU+1.5IQR的值。QL称为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数QU与下四分位数QL之差，其间包含了全部观察值的一半。箱形图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒：多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱形图识别异常值的结果比较客观，在识别异常值方面有一定的优越，如图所示。

在平常的数据分析过程中可以发现，可能其中有部分数据是缺失的，但是如果数据记录和属较多，使用人工分辨的方法就很不切合实际，所以这里需要编写程序来检测出含有缺失值的记录和属以及缺失率个数和缺失率等。同时，也可使用箱形图来检测异常值。R语言检测代码如下所示。

# 设置工作空间# 把“数据及程序”文件夹拷贝到F盘下，再用setwd设置工作空间setwd("F:/数据及程序/chapter3/示例程序")# 读入数据saledata - read.csv(file = "./data/catering_sale.csv", header = TRUE) # 缺失值检测 并打印结果，由于R把TRUE和FALSE分别当作1、0，可以用sum()和mean()函数来分别获取缺失样本数、缺失比例sum(complete.cases(saledata))sum(!complete.cases(saledata))mean(!complete.cases(saledata))saledata[!complete.cases(saledata), ]# 异常值检测箱线图sp - boxplot(saledata$"销量", boxwex = 0.7)title("销量异常值检测箱线图")xi - 1.1sd.s - sd(saledata[complete.cases(saledata), ]$"销量")mn.s - mean(saledata[complete.cases(saledata), ]$"销量")points(xi, mn.s, col = "red", pch = 18)arrows(xi, mn.s - sd.s, xi, mn.s + sd.s, code = 3, col = "pink", angle = 75, length = .1)text(rep(c(1.05, 1.05, 0.95, 0.95), length = length(sp$out)), labels = sp$out[order(sp$out)], sp$out[order(sp$out)] + rep(c(150, -150, 150, -150), length = length(sp$out)), col = "red")

　该代码以某餐厅的日销量额数据作为样本数据，数据示例如下：

运行上面的程序，得到以下结果：

可以看到缺失值个数输出结果为“1”，占样本总量的0.497%，缺失值位于第15行，2015年2月14日销量缺失。分析箱形图可以看出，箭头所示的是一个标准差的区间。可以看出箱形图中超过上下界的8个销售额数据可能为异常值。结合具体业务可以把865、4060.3、4065.2归为正常值，将60、22、51、6607.4、9106.44归为异常值。

1.3一致分析

数据不一致是指数据的矛盾、不相容。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。在数据挖掘过程中，不一致数据的产生主要发生在数据集成的过程中，可能是由被挖掘数据来自于不同的数据源、对于重复存放的数据未能进行一致更新造成的。例如，两张表中都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表中的数据，那么这两张表中就有了不一致的数据。

2.数据特征分析

对数据进行质量分析以后，接下来可通过绘制图表、计算某些特征量等手段进行数据的特征分析。

2.1分布分析

分布分析能揭示数据的分布特征和分布类型。对于定量数据，欲了解其分布形式是对称的还是非对称的、发现某些特大或特小的可疑值，可做出频率分布表、绘制频率分布直方图、绘制茎叶图进行直观地分析；对于定数据，可用饼形图和条形图直观地显示分布情况。

2.1.1.定量数据的分布分析

对于定量变量，选择“组数”和“组宽”是做频率分布分析时最主要的问题，一般按照以下步骤：

1）求极差；

2）决定组距与组数； 3）决定分点； 4）列出频率分布表； 5）绘制频率分布直方图。 遵循的主要原则有： 1）各组之间必须是相互排斥的； 2）各组必须将所有的数据包含在内； 3）各组的组宽最好相等。

下面结合具体实例运用分布分析对定量数据进行特征分析：

下表是描述菜品捞起生鱼片在2014年第二个季度的销售数据，绘制销售量的频率分布表、频率分布图，对该定量数据做出相应的分析。

 1/3    1 2 3 下一页 尾页