SPSS数据挖掘方法概述

数据挖掘方法概述

一、主要概念1ﻩ

二、主要方法概述 ............................................................................................................................ １

1、神经网络方法概述 ................................................................................................................. 1 ２、聚类方法概述....................................................................................................................... 9 3、主成分分析 .......................................................................................................................... 14 4、决策树概述 .......................................................................................................................... 17 5、关联分析２1ﻩ ６、遗传算法概述23ﻩ

一、主要概念

１、数据挖掘(ｄａta mｉnｉnｇ，简记DM):采取专门算法对数据库中潜在得、不明显得数据关系进行分析与建模。

2、ＣＲISP-DM(CRｏｓs-Ｉndusｔry Sｔandaｒｄ Pｒocesｓ ｆor Datａ Mining):各企业中被广泛采用得数据挖掘标准流程。包括6个步骤:商业理解、数据理解、数据准备、模型建立、结果评估、应用部署。

3、Clｅｍenｔiｎe:SPSS公司推出得企业级数据挖掘软件产品,其包括得数据挖掘主要方法为：神经网络、聚类分析、主因子分析、决策树分析、关联分析、回归分析。

二、主要方法概述

１、神经网络方法概述

主要问题:(1）什么就是神经网络？ (２)神经网络有什么用？ (3)如何建立神经网络? (4）如何应用神经网络？ （1）人工神经网络

“人工神经网络”(ARTIFICIＡL NEUＲAL ＮＥTWＯＲＫ,简称A、N、Ｎ、)就是基于模仿大脑神经网络结构与功能而建立得一种信息处理系统。神经网络在一定学习规则下,对提供得学习样本进行学习,从中获取特征信息,并存储(记忆)在相应得权值及参数上。学习后,对于新得输入数据,网络可通过已获取得权值及参数,计算网络得输出。神经网络具有高度得非线性、容错性与自学习、自适应更新等功能，能够进行复杂得逻辑操作与非线性关系实现。目前神经网络模型在辅助管理与决策中,应用广泛。 (2)神经网络得作用

已证明结论:对于函数,在满足一定条件下,可以找到函数与实常数与,构造函数:

使对于任意小得,满足

(3）简单神经网络模型(感知机模型)得建立

问题引入:设想对购买手机得顾客制定销售方案，用购买量与购买频率两个指标来判别,即:

购买量大, 购买频率大,则给予优惠折扣 ； 购买量大, 购买频率小,则给予优惠折扣 ; 购买量小, 购买频率大，则给予优惠折扣 ; 购买量小, 购买频率小,则不给予优惠折扣 问题：这样得销售方案判别就是否可以建立模型表示?

设想:分别对购买量、购买频率以及就是否优惠得两种取值定义为1，0,则上述四种方案可以用四个样本表示,设每一样本具有两个评价指标X1，X2,一个评价结果Ｙ: 样本号 Ｘ1, X２ Y 1 １ 1 １ 2 １ 0 1 3 0 1 1 4 0 ０ 0 构造两个输入节点、一个输出节点、二层结构得神经网络模型： (*) O１=ｆ( ｘｊ取值1或０,

ｗ1ｊ(j=１,2)待求

作用函数:f(x)= 1 ｘ>0 ０ x≤０

结构：

X1 ○ W11 X１

○ Y X2 ○ Ｗ12 Ｘ2

学习样本:（ x1(k),x２(ｋ)， Y1(k) ） , k就是样本数, ｋ=1，２,3,4

关键问题:如何获取模型(＊)中得权数w1j,使计算结果与样本得评价结果得误差最小? 计算ｗ1ｊ方法:

随机赋予ｗ１j初始值，通过对每一样本得学习,获取计算结果与样本评价结果得误差,修正w1j得取值，使经过一定次数得学习后,总误差能达到期望值,此时修正得到得ｗ１j就就是所要获取得权数,即设

δ(k)=∣Y k -Ｏ k∣ , Y k就是第k个样本评价结果(称期望输出或实际输出),Ｏ

k

就是计算结果。

通过第k个样本得输出误差修正权数得公式为: (k ＋1)=（k）＋△( k)， △=αδ（k)Xj

其中, α>0 , α称收敛因子。

第k个样本得误差为： 误差 ek＝|δ(ｋ) ｜, 总误差 Ｅ(k)=E(k-1)＋ ｅk 计算过程:

１)设α=1,随机赋予w１j得初始值为0,即ｗ１1(k=1）=０,

ｗ12（k=1）=0

２) 对第一个样本进行学习：把X1=1,X２=１代入(＊），有 O= ｆ（ｗ11×X1+ w12×Ｘ2)=f(0×１+０×1)= f(0)=0 δ (k=1)= ∣Y ｋ -Ｏ ｋ∣=1 修正权数:△ｗ1ｊ=αδ (k) X j △=δ (k＝1) X 1=1×1=1

△ｗ１2 =δ (k=1) X 2=1×1=1 (k=２）=（ｋ=１)+△=0+1=１， ｗ12(k=２）＝ w1２(ｋ=1)+△w1２=０+１=1 总误差 E（K=1)= E（K=0)+ｅk=0+δ(ｋ=1)＝1

３)对第２个样本:X１=1 , X2=0， O＝f(１×1＋1×0)＝ f(1)＝１

δ (k＝2）＝ ∣Y

ｋ

-O k∣=0

修正权数:△w1j=αδ （k) X j △＝δ (k=2） Ｘ １=0×１=0

△ｗ1２ =δ (k=２) X 2=0×0＝０ （k＝2)=(k=1)+△＝１+０＝1, w1２（k=2)= ｗ12(k=1)+△w12=1+０=1

总误差 Ｅ(K=２)＝ E(Ｋ＝1)+eｋ=1+δ（k=2）＝1 4)对于获取得权数 =1,ｗ1２=1，有

对第３个样本:X1=0，X２＝1, Ｏ=ｆ(１×０+１×1)= f（1）=1=Y 对第4个样本：X1＝０，X２＝０, O=ｆ(1×0+1×０)= f(0)=０=Y

5)结论:＝1,ｗ12=1就是使计算结果与样本得评价结果误差最小得权数。将=１,w１2=代入模型(*），则模型建立完毕。可以利用这个建立得模型,对任一组输入得Ｘ1,X2,在未知其输出(评价结果)时，通过(*）计算得到结果。

（４)误差逆传播神经网络模型(Ｅｒror Bａck-Propagaｔion ,简记BＰ模型)

在简单神经网络得基础上,进行形式推广,对多个输入、多个输出、多层结构,不同作用函数得情况进行建模分析。最常用得就是BＰ神经网络。 BP神经网络基本原理

ＢP神经网络模型就是一种具有三层或三层以上得前馈型得、按梯度算法使计算输出与实际输出得误差沿逆传播修正各连接权得神经网络模型。网络按有教师示教得方式进行学习,

当一对学习模式提供给网络后,神经元得激活值,从输入层经各中间层向输出层传播,在输出层得各神经元获得网络得输入响应,并按减少希望输出与实际输出偏差得方向，从输出层经各中间层逐层修正各连接权，最后回到输入层,随着这种误差逆传播修正得不断进行，网络对输入模式响应得正确率不断上升。

x1 ○ wi1 ○ 1 vti ○

x2 ○ ｗｉ2 ○ ｉ ○ t 节点 x3 ○ 节点 vtm ○ … wiｎ ○ M ○

xｎ ○ 输入信息 正向传播

反向传播 实际输出与网络输出误差 ＢP网络模型得特点:

模型表示:Ｙi=f（ i＝1,2,3…，m , xi取值(－∞,+∞） Ot= f ( t=1，2，3…,q, Ot取值(０,1) 模型结构:至少三层(至少有一隐层),多个输入，一个或多个输出 作用函数(Siｇｍoid型函数) :ｆ(x)= 1/(1+e) x（-，+) f(x）(0,1) 学习样本:

( ｘ１(k），ｘ2(ｋ），x３(k),…，xm(k)， D1(k)， D2(ｋ), D３（k)…， Dq(ｋ) ) ,

ｋ就是样本数, k=１，2,3…，P

权值修正公式:设

δi=Di－Oi ， Di就是期望输出（实际输出),Oi就是网络计算输出 1) 隐层与输出层连接权得修正： (Ｋ+1)＝(K)+△ , 就是隐节点输出 2) 输入层与输出层连接权得修正: （Ｋ+1)=(K)+△， ,就是输入节点输入。 3) 第K个样本误差

总误差 E=

(５)基于神经网络辅助医疗绩效得评定

案例:为了对城市医疗能力进行评价，收集一批有代表性得城市医疗数据,评价指标为病床数、医生数、工作人员数、诊所数、死亡率，并给出了专家得评价结果,旨在建立评价城市得医疗建设绩效得模型,应用于评价任意城市得医疗建设绩效。收集数据见表1、1（单位:万人)。

表1、1

样本 病床数

医生数 工作人员

数

ｖ v b g g g g g b a

v v b ｇ ａ ｂ g a v a

诊所数 v ｖ a a b b a g ｖ ｂ

死亡率 专家评价得医疗能

力

上海 北京 沈阳 武汉 哈尔滨 重庆 成都 兰州 青岛 鞍山

g a ｂ g ｖ g ａ v g g

b g ｇ b a b ａ v a v

ｖ v b a ａ ｂ a v ｇ g

其中,v——非常好, g——好， a—— 一般, b——差 需要评价得城市数据见表1、２。 表1、2 样本 病床数 天津 广州 南京 西安 长春 太原 大连 济南 抚顺 b a b ｇ g v b ｖ g g g ｇ ｇ g g ａ v b 医生数 工作人员数 b ｇ g a g g b v b g g g ｇ a ｇ a g b a a b g g v ｇ a g 诊所数 死亡率 专家评价得医疗能力 建立评价得BP神经网络模型： 1）将取得得１0个样本分别量化:定义ｖ、g、a、ｂ得取值为

v=１、5,g=0、５，a=-0、５,b＝-1、5 (１)

也可以定义： v=３,g＝1，a= －1,b= －３ ｖ=6，g=2，ａ=-－2，b=-６

v=1０,g＝7,a=４,b=1由 （1)定义可得上海等１0个城市样本取值见表1、3。 表1、３ 样本

病床数 医生数 工作人员

数

诊所数 死亡率 专家评价得医疗能

转换值 网络输出

力

上海 北京 沈阳 武汉

0、５ －0、5

1、５ 1、5

1、5 1、5 -1、5 0、５

１、5 1、５ -0、5

－1、5 0、5 0、5

1、5 １、5 －1、5 -0、5

0、９ 0、9 ０、1

0、88８5 ０、9581 0、1215

-1、５ -1、５ 0、5

0、５

－０、5 -1、5 0、3７ 0、38２６

6

哈尔滨 重庆 成都 兰州 青岛

１、5 0、5 -０、5 -1、5 -0、5 －0、5 0、３7 0、369

０、５ -0、5 1、5 ０、5

0、5 ０、５ ０、5 -1、5

-1、5 0、5 -0、５ 1、5

－1、５ -1、５ -0、5 0、5 1、5

-0、5 1、5 -0、５

－1、5 -０、5 １、5 0、5

0、1 ０、1168

0、３7 0、3４697 0、9

0、8998

０、633 ０、6４1

９

鞍山 0、5 －0、５ -0、5 -1、5 １、5 0、5 0、63３ ０、656０

２)设计具有三层、五个输入节点、8个隐节点、一个输出节点得ＢP模型,输入为万人拥有病床数、医生数、工作人员数、诊所数、死亡率，输出为评价得医疗能力。 3)由于选择得映射函数就是S型函数：

f（x）＝ 1/(１+e) , x（-,+) , f(x）（0,1) 需要把样本输出转换为(０,1)之间得值。定义:

输出转换值=０、1+0、８(样本输出值－最小值）/(最大值－最小值)， 其中,这里最大值＝1、5,最小值＝－1、５, 转换后得样本输出见表1、3、

4) 网络学习35万次后,网络收敛,总误差为0、16,网络输出见表1、3所示，存储网络学习后得有关权数与参数。

5)用学习后得网络,建立得城市医疗能力评价模型: Yi=f(， i=１,２,3…,8 xi取值(-∞,＋∞)，j＝1,2…5 Ｏt＝ｆ( , t=1 , Ot取值（０,１)

其中,wij、Vｔｉ、、rｔ已在学习中获取，评价表２城市得医疗能力，评价结果见表１、4。 表1、4 样本 病床数 医生数 工作人员数

天津 广州 南京 西安

-1、５ 0、５ -０、5 0、5 -1、5 0、5

０、5 0、5

－１、５ ０、5 0、5 0、5 －0、５

0、5 ０、5 0、5

－0、５ 0、12２ -０、５ 0、6687 -0、5 0、５

0、6423 0、6011

诊所数 死亡率 网络输出 网络评价得医疗能力 b g g g

长春 太原 大连 济南 抚顺

０、5 1、5

0、５ ０、5

0、5 0、５

－0、5 0、5 -０、5 ０、５ －1、5

0、5 1、5 ０、5

0、633３ g 0、8851 0、1134

ｖ b

－1、5 -０、5 -1、5 １、5 ０、5

1、5 -1、5

1、5 －1、5

－0、5 0、899６ ｖ 0、5

0、３869 a

思考问题:(1)如何利用神经网络辅助客户分类,以制定相应得促销或销售策略？ （2)如何利用神经网络对客户信誉等级进行评价？

(3)在城市医疗能力评价中,直接用收集得五个指标得定量数据作为神经网络输

入，就是否可以?

(4)在城市医疗能力评价中,评价结果有四个可能得取值,可否设计四个节点得输

出?如何定义?

作业:

拟建立神经网络进行肺病诊断，设每个病例有有五种症状:发烧(无、低、中度、高),咳嗽(轻微、中度、剧烈),X光所见阴影(点状、索条状、片状、空洞),血沉(正常、快)，听诊(正常、干鸣音、水泡音),肺炎与肺结合饿部分病例集见下表: 肺病实示例集 病状 病例号 肺 炎 1 ２ 3 4 ５ 肺 结 核 1 2 ３ 4 5 高 中度 低 高 中度 无 高 低 无 低 剧烈 剧烈 轻微 中度 轻微 轻微 剧烈 轻微 轻微 中度 片状 片状 点状 片状 片状 索条状 空洞 索条状 点状 片状 正常 正常 正常 正常 正常 正常 快 正常 快 快 水泡音 水泡音 干鸣音 水泡音 水泡音 正常 干鸣音 正常 干鸣音 正常 发烧 咳嗽 X光所见 血沉 听诊

２、聚类方法概述

主要问题:(1)如何定义两类之间得距离? (2)如何进行类归并？ (３）如何表出谱系图? (4)聚类分析得应用?

聚类:按照事物得某些属性，把事物聚集成类,使类间相似性尽量少,类内相似性尽量大。 问题引入:(１)四个学生要分成两类,如何分？

(2）设想对优势股进行投资,问优势股如何选择?

一般地,按已知属性对样品或对元素进行归并,称为分类,未知属性(没有先验知识）按距离大小对样品或元素进行归并称为聚类。 常用聚类方法

1）、系统聚类法：先将n个样本各自瞧成一类,规定样本之间与类与类之间得距离,选择距离最近得一对合并为一个新类,再将距离最近得两类合并，直至所有得样本都归为一类为止。

聚类既可对样品进行聚类,也可以对变量进行聚类。若对样品得进行聚类,设第i样品表示为,则第A类与第B类得距离可以定义为:

最常用得距离有:

１最小距离:用两类中样品之间得距离最短者作为两类得距离。 2最大距离:用两类中样品之间得距离最长者作为两类得距离。 ３重心距离：用两类得重心之间得距离作为两类得距离。

4类平均距离:用两类中所有两两样品之间得平均距离作为两类得距离。

案例应用:设有5个股票,每个股票有８个指标Ｘ１,X2,…X８,表示为股价波动率、股息率、资产负债率、资金周转率、流动负债率、经营杠杆系数、财务杠杆系数、投资报酬率）,用xi

ｔ

表示第ｉ个股票得第ｔ个指标得值，则可得到股票样品得数据矩阵:

变量

样品 x1 x２ … x8 １ x11 x12 … x18 2 x21 x２2 … x28

、 、 、 、 、 、 、 、 、 、 、 、 、 、 、

5 x51 x5２ … x５8

将每一个样品作为一类,每个样品有8个变量，因此可以将每个样品视为8维空间中得一

个点，5个样品就就是8维空间中得5个点,然后用欧氏距离度量样品点得相似性:两样品点间距离越大，其相似性越小。下面给出5个样品两两之间得欧氏距离阵D（0):

0 4 0

D（0): 6 9 0

1 7 10 0

６ 3 5 8 0 采用最小得距离法,将样品1与样品4合并成新类={,} ,则得到类 之类得距离阵Ｄ(１):

0 ４ 0

D(1）： ６ 9 ０

６ ３ ５ 0

合并类与成一新类7。下面计算类6,７，３之间得距离阵

0

D（2)： 4 0 5 ６ 0

合并类与成一新类={,}，最后计算与得距离为５,并合并为一大类。并化出相应得谱系图:

1 2 3 ４ 5

１ 4 2 5 3 五个样品得最小距离得谱系图 5个股票样品得聚类顺序表

合并次序 合并得类 合并后类得元素 合并水平(距离)

1 1,4 6＝{1，4} 1 2 2,５ ７＝{2,5} 3 3 6,７ 8=｛1,２,４,5} 4 4 3,8 9={1,2,3,４,5} ５

最小距离法也可以对变量进行系统聚类,仍通过例子来说明 案例2:对某地超基性岩得一批样品,测试六个与矿化有关得元素:

x1＝镍，x2=钴，x3=铜，x４=铬,x５＝硫，x6==砷,并假设它们得相关系数如矩阵 Ｒ(0)所示。

相关系数定义:设有n个个体,每个个体测量了p个变量,第ｉ个变量x1与第k个变量ｘk得相关系数为： riｋ=]/

第A类与第B类得距离可以定义为:

１

0、84６2 1

0、757９ ０、9802 1

0、6431 0、２41９ 0、1811 １

0、５０39 0、7370 0、７21０ －0、３075 1

０、5603 0、４24１ ０、3920 0、1998 ０、6802 1

其中, i=1,2，…，6,试用系统聚类得最大距离法对六个变量进行聚类(负相关系数采用绝对值)。

由于采用得就是相关系数矩阵，所以应找最大元素并类。其中最大得元素为0、980２,因此将与合并为。计算它与其它剩下得类得相关系数,相应地得到Ｒ（1):

１ ０、757９ 1

０、1811 0、643１ １

0、７210 0、5０3９ -0、3057 １ 0、３920 0、５6０3 0、1998 0、6802 １

Ｒ（1)中最大得元素为０、75７9,因此将与合并为,并计算它与其它剩下得类得相关系数,相应得得到R(2):

1 0、1811 1

0、５0３9 -0、3075 1

0、3９20 0、1９98 0、68０２ １

R(2)中得最大得元素为0、6８０２，因此将 与合并为,并计算它与其它剩下得类得相关系数,相应地得到R(3):

1 0、３920 1

－0、3０75 0、１811 1

Ｒ(3）中最大得元素为0、３９20,因此将与合并为。 六个变量得并类顺序表

并次序 合并得类 合并后类得元素 合并得水平(相关系数) 1 2，３ ７={ｘ2,ｘ3｝ ０、9802 2 １,7 8={x2,x３,x1} ０、7579 3 5,6 ９=｛x5,ｘ6} ０、6802 4 8，9 10＝｛x２,ｘ３,ｘ1，x5，ｘ6｝ 0、393０ 5 10４, 11＝｛ｘ２，x３,x1,x5,ｘ６，x4} ０、１811 1 0、8 0、6 0、4 ０、２ ０ x2 x３ x1 x5 x6 x4

横坐标就是并类得相关系数。 ２）Ｋ均值聚类法

K均值聚类法就是一种已知类数得数据聚类与分类方法。过程如下: ① 选取聚类数Ｋ;

② 从训练样本中任意选择K个向量C1,C２,…ＣK作为聚类中心,Cｉ=(Ｃi1，Ci2…Cin）; ③ 将每个样本Xｌ=（Ｘl1,Ｘl2, …,Xln)按距离：

P=１,2，3…k, 归入距离最小得中心为Ci得类;

④ 设属于Cｉ类得样本为Xｊ(j=１，２, …q),计算新得聚类中心

Ci＝((C

其中：

⑤ 若④中得聚类中心不再变化,就终止,否则转③。 思考问题：（１)如果分两类,谱系图如何？ (2)如果分三类,谱系图如何？

（３)如何确定适合得聚类数？

(4)分析客户购买手机得数据,通过聚类分析客户流失情况。

作业: 在城市医疗能力评价中，评价指标为五个,即X=（X1,X2,X3,X４，X5)，每一指标取值四个（v,ｇ，a,b)，则Xi取值得各种可能为4，则可能有4得评价指标情况，要求通

５

5

‘

’ｉ１

,C

‘

i2

…C

‘

in

)

过聚类,从中选出1５个有代表性得样本，比较聚类辅助建立神经网络与专家经验辅助建立神经网络得不同。 ３、主成分分析

主成分分析就是一种多变量分析方法,通过变量变换把相关得变量变为不相关得、比原来少得若干个新变量。

问题引入:为了找出影响顾客购买手机得主要因素,抽查一部分人按性别与年龄分成1０个小组,分别对1０0种手机类型进行打分评价,最受欢迎得手机给予9分,最不受欢迎得手机给1分。设10组顾客对１00类手机得评分数据为:

指标 样本 手机1 手机2 …… 手机100 X1(男20岁以下） X１1 X２１ …… X1００１ X２(男21—3０岁) Ｘ１２ Ｘ22 …… X100２ X３(男３1—４0岁） …… Ｘ4(男41—５0岁) X5（男50岁以上) X６(女２0岁以下) X7(女21—３0岁） X8（女3１—40岁) Ｘ9（女41—５0岁)

X10（女50岁以上) Ｘ11０ X2 １0 …… Ｘ １０0 10 Xij表示第j个顾客对第ｉ款手机得偏好评分,记A=(Xiｊ)。设想通过主成分分析确定手机类型得主要影响因素。 主成分分析步骤:

1） 2） 3） 4） 5）

求A得相关系数矩阵R,R=Ｒ(), 得定义为:

，=

求特征方程det（R-）=0得特征根ｉ(i =1,2,…ｎ);

通过非零向量B满足（Ｒ-）B=0,计算相应得特征向量Bi＝(Ｂｉ1,B i2， …Bin); 从大到小排列i,不妨设1>2> ……>n ，由累计贡献率≥95%确定m个特征根

1>2> ……>m,对应得特征向量为Bi=(Bi1,B i２, …Biｎ)，i=1，2,…m;

计算主分量Ｚ ｋ，Z k=(k=1,2, …m( ｍ合。

Z k 得应用:１)通过Ｚi与Zj得对应取值变化,了解主要影响因素之间得关系与变化趋势;2）可以通过Z ｋ对X1,X２，…X１0０得贡献率,找出最大得指标Ｘｉ,视Ｘi为Z ｋ影响最大得指标。

得定义:

令Xij 与 Zｉｊ得关系为:

组号\\指标 X1,X2, …… X n Ｚ １,Z 2 …… Ｚ ｍ １ Ｘ11 X21 …… X n １ Ｚ11 Z21 Z m1 2 Ｘ１２ X2２ …… X ｎ 2 Z12 Z２2 Z m2 ……

10 X110 X21０…… Ｘ n １0 Ｚ110 Ｚ210 Z m10

ｉ＝１,2, ……ｍ， j=1,2, …… n

案例分析:

1):A(Xｉｊ)得相关系数矩阵R为：

X1 X2 X3 …… X

１0 Ｘ１ 1 0、87１ 0、5１6 0、３７ 0、172 0、936 ０、８１１ 0、01５ 0、5 0、33

X2 1 0、7 ０、６4 0、4 0、８21…… …… 1……

1 …… 1……

1……

1……

1……

1…… X10 1……

2）用计算机求解特征方程 deｔ（R-)=０得特征根i,其中累计贡献率达到９3、4％得前三个特征根为:1＝6、8３,２=1、７6,3=0、75; 3)计算三个特征值得特征向量及累计贡献率见下表:

评价组 X1 X2 X3 X4 X4 X6 X7 X8 X９ Ｘ10 特征值i

特征向量B１ ０.26８ 0.311 0.3２３ 0．22９ 0.261 0．309 0.344 0.348 0．346 ０.303 6．８3 特征向量Ｂ2 0．446 0.24 -0.１66 -0359 -0.507 0．408 0．2３5 0．032 －０.1６４ －0.26７ 1．７6 特征向量B３ 0.１9４ 0．336 ０.442 0.３７5 0．1２8 -0．084 －0.171 －0．29 －０.32２ -０.5２2 ０.75

有效率i/1０ 累计贡献率 68.3% ６8．3% 0．1７6 85.9% 0．０75 ９3．4% 4)计算主分量Ｚ k,Ｚ k=,即 Z1=0.26８X１+０．311X２+0．３23X3+…0.3０X１0

Z2＝0.4４6X1+０.24X2 —0.16６3X3＋…—0．２６7X１０ Ｚ3=０．１94X１+0.336Ｘ2 +０.442Ｘ3+…—0．522X10 5)分析各特征向量得各分量得取值

对B1,各分量取值差异不大，符号相同（都就是正号),表明对哪一评价组合都就是喜欢得,或者都就是不喜欢得,因此可以把新得综合指标Ｚ1定义为偏好指标;

对B２,从第１组到第5组，从第６组到第10组,有从大到小得变化相同得趋势,即随年龄得增长而取值由正变负,表示了年龄对偏好喜欢程度得影响,因此可以把综合指标Z2定义为年龄指标。

对Ｂ3,各分量对于1到5组(男性）取正值,对于女性取负值，表示由于性别得不同而产生得偏好上得不同，所以可以把综合指标Z3定义为性别指标。

可以归纳为：影响手机购买得主要因素就是:偏好、年龄、性别。

6） 可以通过Ｘ1——X１０得取值,获取Ｚk得取值，分析偏好与年龄得变化关系; 7)可以通过计算Zk对Xi得贡献率,确定贡献率最大得相应得评价组合，由此确定销售主要得对象策略。如计算得到得为: Ｘi 1 ２ 3 4 ５ 6 7 8 9 10 ０、9１ ０、7 0、６2 ０、９1 0、8６ ０、76 0、７８ 0、5 ０、２3 0、４2 0、32 ０、2３ -0、53 0、29 0、３2 0、44 0、３１ -0、6 ０、11 -0、23 0、０1 0、08 ０、18 0、０４ 0、0４ -0、03 0、０3 -０、19 ０、８ -0、67 0、９３ * ０、5５ ０、７ ０、９2 * 0、85 * 0、77 * ０、７１ 0、65 0、7 0、7 把大于０、75得用*表出,可见偏好、年龄以及性别对２0岁以下得男、女组合、40岁以上得男性组合影响较大。

思考问题:如何通过收集得客户有关数据，分析客户流失得主要因素? 作业:

用随机赋分形式形成各年龄层得调查分数,借助SPＳＳ，求出各年龄层最感兴趣得三款手机。

4、决策树概述

决策树:一种以实例为基础得归纳学习算法,它从一组无次序、无规则得实例中推理出树表示形式得分类规则。

问题引入:设想影响气候得主要指标有四个: 天气:晴、多云、下雨;分别记为0,1,2

温度:寒冷,温暖,热,分别记为０,1,２ 湿度：潮湿、正常,分别记为0,1, 风力:有风,没风，分别记为0,1。

将气候分为两个级别:P,N,分别记为0,１。

如果某一天得气候为多云,寒冷,湿度正常,没风,问气候就是哪一级别？ 思路:1)建立判别实例集;

２)由实例集建立一棵判别得决策树; 3)由决策树对任何组合气候特征进行判断。 关键问题:如何建立决策树，树得属性判别次序如何选择？

Ｃ５、０系统决策树得算法(ID3)特点:首先找出最有判别力得因素，把数据分成两个子集,每个子集又选择最有判别力得因素进行划分，一直进行到所有子集仅包含同一类型得数据为止。 决策树建立过程:设收集得气候实例集为: 样本号 1 ２ 3 4 5 ６ 7 ８ 9 10 1１ 12 13 １4 天气 晴 晴 多云 有雨 有雨 有雨 多云 晴 晴 有雨 晴 多云 多云 有雨 温度 热 热 热 温暖 寒冷 寒冷 寒冷 温暖 寒冷 温暖 温暖 温暖 热 温暖 湿度 潮湿 潮湿 潮湿 潮湿 正常 正常 正常 潮湿 正常 正常 正常 潮湿 正常 潮湿 风力 没风 有风 没风 没风 没风 有风 有风 没风 没风 没风 有风 有风 没风 有风 分类 Ｎ N P P P N P N P P P P P Ｎ 设想用获得信息量最大得特征作为决策树判别得标准。若U表示信息源，Ｖ表示收到得信息,Ｉ(U,Ｖ)表示收到信息V后获得关于U得信息量，定义 Ｉ（U,Ｖ)=H(U)—H（U∣Ｖ）

对于相同得Ｕ及不同得V,当I(U，V)最大时，将属性V(即收到得信息)作为决策树得判断点。

关于H(Ｕ)、H(U∣V)得计算,用上述实例说明。

设Uj表示输出类别(j=1，２)，即U1=P,U2＝N;Ｖk表示判别特征,即Ｖ１=天气，V2=温度,Ｖ3=湿度,V4=风力,k=１,2,3,４,Vkｊ表示第Ｋ个判别特征得第j个取值,如V1=天气得取值为:V11=晴，Ｖ12=多云,V１3=有雨。为了选择最有判别力得特征,需要分别计算I(U,Ｖk),从中取最大I(U,Vｋ０）,相应得Vk０就就是判别特征。

1）

Ｈ(U)得计算:根据输出类别Uj得概率进行计算,即

由于 P(U1）=９／14, Ｐ(U2)＝5/１4

= —[9/1４log2（9/14)+ 5／１4lｏg2(５/1４)] =0、9４

2）

计算H(Ｕ∣V1):

H(UV1)P(V1j)H(UV1j)P(V1j)(P(UiV1j)log2P(UiV1j))，

j1j1i1332 (1） 由于

P(V11)＝5/１4, P(V１2)=4/１４， P(Ｖ1３)＝5/14， Ｐ(U１∣V11)＝2/5，P(U２∣V1１)=3／5 P（U1∣V１2)=1,P(U2∣V11)=0 P(U１∣V13)=3／5,P(U2∣V13)=2／5 代入(１）得:

H(UV1)P(V1j)H(UV1j)P(V1j)(P(UiV1j)log2P(UiV1j))

j1j1i1332 =5/14[2／５ log2(５／2)＋ 3/５ log２(5／3)］＋ 4/14[log2(1)+ 0]+ 5/14［3/5

lｏg2(5／3)+ 2／5 log2（5/2）]

=0、69４,

3） 4）

计算I(Ｕ,V１):

Ｉ（U，Ｖ1)=H（U)—H(U∣V1)=０、94-0、6９4＝０、246 同理计算Ｉ（U，Ｖk)(k=2,3，4)，并求出最大Ｉ(U，Vk):

可以计算得到:I（U,V2)=0、02９,I(U,V3)=0、159,I（Ｕ,V4)=０、048

与I（U,Ｖ1)==0、24６相比,I(U,V1)最大,所以第一选择判别特征为Ｖ１=天气,作为决策树树根。

5）

建立树根得分支:树根对应得三个属性值(晴、多云,有雨）作为分支,分别有相应晴

得子集样本为F1={1,2,8,9,１1},相应多云得子集样本为Ｆ2={3,７,12，１3},相应有雨

得子集样本为Ｆ3＝{4,5,６,1０,14}，其中F1中2个取P,3个取N, F2中全部取N,F3中３个取Ｐ,２个取N。所以仅需对F1、F3进一步判别,对F2不需再判别。

6）

递归建树：分别利用上述算法(ID3)对子集F1、Ｆ3继续判别,即对子集Fi(i=１,３）

个特征求平均互信息最大得特征。可以得到：

对F１,I（Ｕ,V3）最大,以其为该分支得结点再分支,由于取V3=湿度时,潮湿对应得类全就是N类,正常对应得类全就是Ｐ类，因而已有判别结果,不需继续再分。

对Ｆ３,计算得到平均互信息最大得为I(U,V４)，Ｖ4=风力,以其为结点再分枝,此时有风对应得就是N类,无风对应得就是P类,所以也有判别结果,不许继续再分。见图所示。

晴 有雨 多云 P

正常 风力 无风 潮湿湿度 有风 N P Ｎ P

天气 7） 8）

利用建立得决策树，对问题“某天气候为有雨，寒冷,湿度正常,没风”,进行判别,

判别结果为“气候为P类”。

利用决策树,可以写出判别规则：

ＩF “天气就是晴” and “湿度潮湿”Ｔ ｈeｎ “气候就是N类” IF “天气就是晴” and “湿度正常”T hｅn “气候就是Ｐ类” IF “天气就是多云” T hｅn “气候就是P类”

IF “天气就是有雨” ａnd “有风”T heｎ “气候就是N类” IF “天气就是有雨” and “无风”Ｔ hｅn “气候就是P类”

9）

决策树得存在问题:(1）依赖于特征取值较多得特征;

(2）依赖于正、反例取值个数;

（3）当正、反例个数变化时,平均互信息也变化,决策树变化。

思考问题:如何对顾客得数据进行判别，以作出最佳销售策略? 如何从一个决策树,转换为一个神经网络? ５、关联分析

关联分析：对事务中物品之间同时出现得规律知识模式进行分析得方法。 关联规则:通过量化得数字描述事务中物品之间同时出现得规律得关联表示。

问题引入:1）事务1中出现了手机,事务2中出现了电池、储值卡，事务3中出现了手机与电池,问手机、电池、储值卡在事务中出现,其相互之间有没规律可循?

2)开通得手机业务中，如语音信箱,移动秘书,信息点播,呼叫转移…等，相互之间就是否有关联关系? 主要概念:

1)可信度:(cｏnfｉdence)设Ｗ就是一组事务集，每个事务T就是一组物品。若W中支持物品集Ａ得事务中,有Ｃ%得事务也支持物品集B,则Ｃ%称为关联规则Ａ B得可信度,其中, A B表示A出现则B也出现，且AB=。可信度表示为P(B/A)。

2)支持度(Supporｔ):设W中有S%得事务同时支持物品集A与B,则S%称为关联规则A B得支持度。支持度表示为P(Ａ∩B)。

3）期望可信度（eｘpected confｉdｅｎｃｅ):设W中有E%得事务支持物品集B,则Ｅ%称为关联规则A B期望可信度。期望可信度表示为P（B)。

４)作用度(lift):作用度就是可信度与期望可信度得比值。表示为P（Ｂ/A)/ P(B)。 关联规则挖掘算法常用得有aｐriｏｒi算法。aprioｒi算法得主要思想就是找出存在于事务数据库中得所有大物品集（也称频繁集）,利用获取得大物品集生成关联规则。其中，大物品集就是指支持度不少于用户给定支持度得物品集。

案例: 设通过统计用户主叫号码得业务使用情况，进行业务得关联分析。设有10项业务，记0—语音信箱,…５—移动秘书，６—信息点播,…,９—呼叫转移,统计得１0个主叫号码及使用业务如下所示：

主叫号码 使用得业务类型 0,５，6,7

1，５,6，7,

1,4,７

８,7,9

０，１，2,５,6 1 1,2，3，6 4，5,6,９ 0,2,3 ４,5,7，8 3,6，7

记Ａ为业务5，Ｂ为业务6,T为事务总数(主叫号码统计数),则有: 规则A Ｂ得支持度为0、4,可信度为0、8。 规则B A得支持度为０、4,可信度为0、67。

若用户给出得最小可信度为０、３,支持度为0、３,则这两条规则满足条件,形成关联规则。 问题：如何确定那些业务可以生成不少于用户支持度与可信度得关联规则？

apriori算法特点:设物品集I含有N个项,Ｔ就是事务，用户给定得最少支持度为Ｐ。

1）

计算所有得1－项集（K项集表示元素只含K项),记为C1;

2） 用给定最少支持度（用户给定支持度)对C1进行过滤，选出满足最少支持度得项, 记为L1;

3） 由L1通过L1*L1生成2-项集Ｃ2，其中C2为

C2=L１＊L1={ＸY,XＬ1,YL1,XＹTi, Ti就是某一事务,ＸY 就是2－项元素}；

4） 用给定最少支持度(用户给定支持度）对C２进行过滤,选出满足最少支持度得项，记为Ｌ2;

5） 由L2通过L２＊L1生成３-项集Ｃ3,其中Ｃ3为

C3=L2＊L1={ＺY,ZＬ２，YL1，ZYTｉ, Ti就是某一事务，ZY 就是３-项元素，且ZY 得任一子集得最少支持度仍大于Ｐ }； 6）

用给定最少支持度(用户给定支持度)对C3进行过滤,选出满足最少支持度得项,记为L3;

7）

以此类推,可以选出Ｋ项集Ck,Ck为

Ck＝L(k－１)*L1＝{GY，ＧL(ｋ-1),YL1,GＹTi， Ｔi就是某一事务,GY 就是k－项元素,且GY 得任一子集得最少支持度仍大于Ｐ};当用给定最少支持度对Ck进行过滤不能选出更大项得元素时,Ck就就是最大物品集。

例:设有四项业务，用Ｔ-IＤ表示,用户得最少支持度与可信度均为0、4 ，如下所示： Ｔ－IＤ 项 100 ACD 200 BCE ３00 ＡBＣE 40０ BＣ

通过aprｉｏrｉ算法,可以找出ＢＣE就是大物品集,可以生成关联规则:

B {BCE}-{B｝ 即 B C ｃｏnf=2/３, Sup=２/4, B Ｅ cｏｎf=1， Ｓup＝3/4 Ｃ B ｃonf=２／３, Ｓuｐ=2/4 C E coｎf＝２/3, Suｐ＝2/４ E B ｃonｆ＝1， Ｓup=3/４ E Ｃ coｎf=2/3, Sup=2/4

思考问题:(1)如何利用关联分析,挖掘手机销售中得零配件业务关系,从而制定有利得销售

策略?

(２)如果以利润最大为目标,如何从关联业务中，形成利润最大得促销(套餐,

如买一送一,或买十送一)策略?

6、遗传算法概述 遗传算法主要思想：

遗传算法就是一种基于生物自然选择与遗传机理得随机搜索算法。该算法从一组随机产生得初始解,称为“种群”,开始搜索过程。种群中得每个个体就是问题得一个解,称为染色体。染色体在后续迭代中不断进化,称为遗传。在每一代中用“适值”来测量染色体得好坏。生成得下一代染色体,称为后代。后代就是由前一代染色体通过交叉或变异运算形成。新一代染色体形成中，根据适值大小选择部分后代,淘汰部分后代,从而保持种群大小就是常数。适值高得染色体被选中得概率较高。这样,经过若干代之后,算法收敛于最好得染色体，这很可能就就是问题得最优解或次优解。 基本概念

（1） 基因链码

生物得形状就是由生物得遗传基因得链码所决定得。使用遗传算法时,需要把问题得每 一解编码成为一个基因链码,称为个体或染色体，每一基因链码得位称为基因。

（2） 群体

群体（种群)就是若干个个体得集合。由于每个个体代表了问题得一个解，所以一个群体就就是问题得一些解得集合。例如,Ｐ1＝｛ｘ1,ｘ2，…x１０0}就就是由100个解(个体)构成得群体。 （3） 交叉

两个染色体某些基因得交换。交叉得作用在于使新得群体中得个体具有多样性，由此扩大解得搜索空间。 （4） 变异

通过在染色体上得某些基因位置产生突变使得新产生得个体与其它个体有所不同。变异得作用在于提供初始群体中不含有得基因,为种群提供新得内容。

（5） 适应度

表示染色体对环境得适应程度。适应度越大,染色体越好,对应得解越好。 （6） 选择

根据染色体得适应性,选择适应度大得染色体而淘汰适应度小得染色体。 遗传算法得流程:

1． 令进化代数g=0,随机给出初始化群体P(ｇ); 2． 对Ｐ(g)中每个个体估值; 3． 根据估值进行个体选择(复制）;

4． 对已选择个体,进行交叉与变异操作，得到新一代群体Ｐ(ｇ＋1）。令g=g+1。 5． 如果终止条件满足,则算法结束。否则,转到2。

随机产生初始种群

对每一个体计算适应

值

满 Y 足终止 条件 N 对个体进行选择复制

按一定概率与定义进

行交叉 按一定概率与定义进显示适应值或最优解 行变异

遗传算法得实现 1.编码方法

（１）二进制编码:把问题解用0—1串得编码形式表示。 如整数1552就是问题得一个解，则可以用1552得二进制形式1１0０0０1０0０来表示这个解所对应得基因链码(染色体)。 二进制、十进制相互转换方法: 例:二进制数110010012转换为十进制:

２

=12+１2＋02+0２+12+０２+0２+12+

76543２10

=１28+64+8＋1=20110

十进制数N1０转换为二进制数 （除2取余): N１0=bm2＋ bm-1２

m

ｍ-1

+ …ｂ1２+ b02

10

由十进制数与二进制数得转换规律， bi 由2除N1０得余数决定。 例：将157１０转换为二进制数: 余数 2 157 1=b0 ２ 7８ 0= b1 2 3９ 1= b2 2 19 1= ｂ3 2 9 1= b４ 2 4 0＝ ｂ5 2 ２ 0＝ b6 2 1 1= b７ ０ 把余数按顺序排列,有１571０=1001１1012

遗传算法得一个显著特点就是它交替地在编码空间与解空间中工作,它在编码空间对染色体进行遗传运算,而在解空间对解进行评估与选择。二进制串表达得编码很难描述问题得实质,产生了各种非0—1串得编码方法，如实数编码等。 (2)实数编码:每个染色体编码为一个与解向量维数相同得实向量表示。

如优化问题 :

mａxf(ｘ) s、ｔ、 gi(x）≤0 hi(ｘ）＝０ xX

得解实向量ｘ=（ｘ1，x2，…xn) 就用作表示解得染色体。 2.适应度函数设计

（1）对ｇ(ｘ)得最大值问题,可以定义适应度函数为： 当g(x)≥0时，适应度函数 ｆ(x)＝ g(ｘ)

当g(x)≥0时不成立时，取Ｃmin＝{ g（ｘ)},适应度函数 f(x）可以定义为: f（ｘ)= － Cmiｎ+ g(x）

(2)对g(ｘ）得最小值问题,可以定义适应度函数为: 当g(x） ＞0时,适应度函数 f(x)= 1/g(x）

当g(x)>0时不成立时,取Cmaｘ={ g(ｘ)｝,适应度函数 f（x)可以定义为： f(x)= Ｃｍax-g(x) 3、选择算子得设计

适应度比例方法(轮盘赌选择方法)：

设群体大小为ｎ,其中个体ｉ得适应度值为fi,则被选择得概率Ｐi为 Pi=ｆｉ/

这种选择得方式非常类似轮盘赌中得转盘,当被选择得概率越大时,个体得适应值越大,被选择到得机会也越多,其基因结构被遗传到下一代得可能性越大。 期望值方法

每个个体在下一代生存得期望数目:为 M＝ fi/(/n)=n fi/

可以通过期望数M得取值决定个体ｉ得复制数目。 4、交叉算子设计 (1)单点交叉

单点交叉又叫简单交叉。对两染色体,在随机选择得一个交叉位之后(或之前)得所有基因交换,生成两个新个体。当基因链码得长度为n时,可能有ｎ－1个交叉点位置。

例:若双亲为:x=（x1,ｘ２，…ｘn）, ｙ=(y1,y２, …ｙｎ)，在随机得第K位交叉,生成得后代为:

x＝(x1,x２,…ｘk， yk＋1,ｙk+2, …yn), y=(ｙ1,y2, …yk, xk+1,xｋ+2,…xｎ)

(2)两点交叉

对两染色体,在随机选择得两个交叉位之间得部分基因交换,生成两个新得个体。一个两点交叉得例如下:

父辈个体 aaa∣ａａaa∣aaa → aaa∣ｂbbb∣aａa 父辈个体 bbb∣bbｂｂ∣bbb → bｂb∣aａａa∣bbb

即2个交叉点需要设定两个基因交叉位置,父辈两个个体在这两个差点之间得基因链码相互交换,从而生成新个体。对于两点交叉而言，若染色体长为n,则可能有(n-1)（n-2)/2种交叉点得设置。 (3)多点交叉

多点交叉就是前述两种交叉方法得推广。多点交叉有时又被称为广义交叉。若用参数ｃ表示交叉数，则当c=１时,广义交叉就就是单点交叉。C=２时,广义交叉就就是两点交叉。

一般地,多点交叉不经常被采用。这就是因为当基因链码得长度n较小,或交叉点数ｃ较大时，具有优良特性得模式也很容易被破坏。 (4)均匀交叉

对两染色体，随机生成与两染色体编码位数相同得摸板,根据摸板进行基因交换。 即均匀交叉得过程就是:先随机得产生一个与父辈个体基因串具有同样长度得二进制串,其中０表示不交换,１表示交换。这个二进制串称为交叉模版；然后根据该模板对两个父辈基因串进行交叉,得到得两个新基因串即为后代新个体。例如: 父辈个体 1:11001０111０0０ 父辈个体 2：１ 模板： :0

后代个体 １:1１1０11101000 后代个体 2:１

由于均匀交叉在交换位时并不考虑其所在位置,破坏模式得概率较大。但另一方面它能搜索到一些前面基于点得交叉方法无法搜索到得模式。 (５).基于实向量算术运算得交叉 设两向量为 x1、x２，则有 凸交叉:ｘ1′= x1+ x2

x2′= x2+ x１ ==0。5 仿射交叉:ｘ1′= x1＋ ｘ２

x２′= x２+ x1 =1。5, =-0。5 线性交叉：x1′= x1＋ x２

ｘ2′= ｘ2+ x1 ＋≤0 >0, >0

在很多得应用中,交叉算子就是以一定得概率实现得。这一概率称作交叉概率。在解决实际问题时,由于问题得特殊性,以及编码得方式得不同,交叉算子也会不同。 5、变异算子设计 （1） 基本变异算子

基本变异算子就是针对二值基因链码而言。其具体操作就是:指对群体中基因链码随机挑选ｃ个基因位置并对这些基因位置得基因值以变异概率P取反,即0变成1,１变成0。当c＝1时,表示一个 基因值取反。 （2） 均匀变异算子

该变异方法就是针对实数编码方式得。为叙述方便,设ｖ=(v1，ｖ２，…、vm)就是群体中得一个个体,z＝(ｚ1，z2,…,zm)就是变异产生得后代。均匀性变异则就是先在个体ｖ中随机得选择一个分量vk,然后,在一个定义得区间［ａｋ,bk]中均匀随机地取一个数ｖk代替vk以得到ｚ,即ｚ＝(v1,…,vｋ,…,vm)。 简单得函数极值求解 例:设函数ｆ（x)=ｘ

1. 编码

由于x[０，31],因此把变量x编码为5位长得二进制无符号整数表示形式。比如 x=13可表示为０1101得形式。

２.初始群体得生成

初始群体得每个个体就是通过随机方法产生得。设随机生成得4个个体组成得群体,其选择、复制、交叉过程见下表： 个体号 初始群体 X值 适应度 选择概率 2 1

1

,x[0,31]

i/i 选择交叉处次数 位置 配对 交叉位置 新一代群体 X值 适应度 １ ２ 110００ 3 01０00 4 1０01１ 适应度总与 平均适应度 =/n 最大适应度 个体号

２4 8 576 .14 0．56 1.96 0.24 １.2４ 1 2 ０ 1 ０.４9 64 ０.0６ 19 ３61 0.31 0110｜1 11０0｜ 01｜ 10|01 ２ 4 配对 交叉位置 01100 12 1４４ 25 新一代群体 7 Ｘ值 729 ５6 1７５4 43７ 7２9 适应度 1１71．00 4．00 ０ ２93 0.25 1.00 1.９6 i/i ５76 0.49 第二代遗传优化过程: 初始群体 X值 适应度 选择概率 选择交叉处次数 位置(设第2点交叉)

１ 2 １1０25 0１ 3 11011 2７ 4 １16 0000 遗传算法小结

６２5 729 .0８ 0．32 0.３5 1．4 0.42 １.68 0 1 2 1 11| 1１| 11| 10| 5 7 4 9 ６25 72９ ５76 ３6１ 25６ 0.１5 ０.６ （1） 遗传算法运算得就是解集得编码,而不就是解集得身; （2） 遗传算法得搜索始于解得一个种群,而不就是单个解;

（3） 遗传算法只使用报酬信息（适应值函数),而不使用导数或其它辅助知识； （4） 遗传算法采用概率得、而不就是确定得状态转移规则。 遗传算法优点:

可以处理任意形式得目标函数与约束,无论就是线性得还就是非线性得,离散得还就是连续得,甚至混合得搜索空间。 思考问题:

（1） 遗传算法优化神经网络结构(参数）； （2） 遗传算法最优投资组合; （3） 遗传算法优化工艺参数

作业： 在城市医疗能力评价中,令Ｘ1——病床数,Ｘ2——医生数,X３——工作人员数,X4——诊所数,X5——死亡率，Y——医疗能力,若设Xi[10００，10000],i=1,2,3,Ｘ4[10,100]，Ｘ5[0,０、2],Y[0，１］，X=(Ｘ1,Ｘ2,X3,X4,X5),要求用遗传算法，求达到最优医疗能力得X(即Xi得最优组合)？