中国大学MOOC慕课答案(1)--试题库

2024年2月4日发(作者：)

《模式识别》试题库一、基本概念题1.1 模式识别的三大核心问题是： 、 、 。1.2、模式分布为团状时，选用 聚类算法较好。

1.3 欧式距离具有 。 马式距离具有 。

（1）平移不变性 （2）旋转不变性 （3）尺度缩放不变性 （4）不受量纲影响的特性1.4 描述模式相似的测度有： 。（1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度1.5 利用两类方法处理多类问题的技术途径有：（1） ；（2） ；（3） 。其中最常用的是第 个技术途径。

1.6 判别函数的正负和数值大小在分类中的意义是： ，

。1.7 感知器算法 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。

1.8 积累位势函数法的判别界面一般为 。 （1）线性界面；（2）非线性界面。1.9 基于距离的类别可分性判据有： 。SBSB （1） （2）

（3）

-1SW+SBTr[SwSB]SW1.10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。1.11 确定性模式非线形分类的势函数法中，位势函数K(x,xk)与积累位势函数K(x)的关系为（

）。1.12 用作确定性模式非线形分类的势函数法，通常，两个n维向量x和xk的函数K(x,xk)若同时满足下列三个条件，都可作为势函数。①（ ）；②（ ）；③ K(x,xk)是光滑函数，且是x和xk之间距离的单调下降函数。

1.13 散度Jij越大，说明wi类模式与wj类模式的分布（ ）。当wi类模式与wj类模式的分布相同时，Jij=（ ）。1.14 若用Parzen窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（

），h1过大可能产生的问题是（ ）。1.15 信息熵可以作为一种可分性判据的原因是： 。1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。1.17 随机变量l(x)=p(

x|w1)/p(

x|w2)，l(

x)又称似然比，则E{l(

x)|w2}=（ ）。在最小误判概率准则下，对数似然比Bayes判决规则为（ 　　　　　　　　　　　　）。

1.18 影响类概率密度估计质量的最重要因素是（ ）。JE[-P(w|x)logP(w|x)]，JH越（ ），说明模式的可1.19 基于熵的可分性判据定义为Hixici1分性越强。当P(wi|

x) =（ ）(i=1,2,…,c)时，JH取极大值。

1.20 Kn近邻元法较之于Parzen窗法的优势在于（ ）。上述两种算法的共同弱点主要是（ ）。1.21 已知有限状态自动机Af=(，Q，d，q0，F)，={0，1}；Q={q0，q1}；d：d(q0，0)= q1，d(q0，1)= q1，d(q1，0)=q0，d(q1，1)=q0；q0=q0；F={q0}。现有输入字符串：(a) ，(b) 1100110011，(c) 1，(d)0010011，试问，用Af对上述字符串进行分类的结果为（ ）。1.22 句法模式识别中模式描述方法有： 。（1）符号串 （2）树 （3）图 （4）特征向量1.23设集合X={a,b,c,d}上的关系， R={(a,a),(a,b),(a,d),(b,b),(b,a),(b,d),(c,c),(d,d),(d,a),(d,b)}，则a,b,c,d生成的R等价类分别为 （ [a]R= ，[b]R= ，[c]R= ，[d]R=

）。1.24 如果集合X上的关系R是传递的、（ ）和（ ）的，则称R是一个等价关系。1.25一个模式识别系统由那几部分组成？画出其原理框图。1.26 统计模式识别中，模式是如何描述的。1.27 简述随机矢量之间的统计关系：不相关，正交，独立的定义及它们之间的关系。

1.28 试证明，对于正态分布，不相关与独立是等价的。1.29 试证明，多元正态随机矢量的线性变换仍为多元正态随机矢量。1.30 试证明，多元正态随机矢量X的分量的线性组合是一正态随机变量。

第二部分 分析、证明、计算题第二章 聚类分析2.1 影响聚类结果的主要因素有那些？2.2 马氏距离有那些优点？2.3 如果各模式类呈现链状分布，衡量其类间距离用最小距离还是用最大距离？为什么？2.4 动态聚类算法较之于简单聚类算法的改进之处何在？层次聚类算法是动态聚类算法吗？比较层次聚类算法与c-均值算法的优劣。2.5 ISODATA算法较之于c-均值算法的优势何在？2.6 简述最小张树算法的优点。2.7 证明马氏距离是平移不变的、非奇异线性变换不变的。wwxxn

nq个。2.8 设，类p、将和

wq合并为

wl，则

wl有q的重心分别为

p、

q，它们分别有样本

p、nlnp+nq个样本。另一类

wk的重心为

xk。试证明

wk与

wl的距离平方是

npnk+nlnqnk+nlnpnqnk+nlD2klD+2kpD-2kq2Dpq2.9 （1）设有M类模式wi，i=1,2,...,M，试证明总体散布矩阵ST是总类内散布矩阵SW与类间散布矩阵SB之和，即ST＝SW＋SB。（2）设有二维样本：x1=(-1,0)T，x2=(0,-1)T，x3=(0,0)T，x4=(2,0)T和x5=(0,2)T。试选用一种合适的方法进行一维特征特征提取yi = WTxi 。要求求出变换矩阵W，并求出变换结果yi ，(i=1,2,3,4,5)。（3）根据（2）特征提取后的一维特征，选用一种合适的聚类算法将这些样本分为两类，要求每类样本个数不少于两个，并写出聚类过程。2.10 （1）试给出c-均值算法的算法流程图;

（2）试证明c-均值算法可使误差平方和准则J(k)j1cxiw(jk)(k)T(k)(xi-zj)(xi-zj)最小。其中，k是迭代次数；zj是

wj的样本均值。

2.11 现有2k+1个一维样本，其中k个样本在x=-2处重合，另k个样本在x=0处重合，只有1个在x=a>0处。若a=2(k+1)，证明，使误差平方和准则Jc最小的两类划分是x=0处的k个样本与x=a处的1个样本为一类，其余为另一类。这里， c NjJc =



(xi-mj)2 j=1 i=1其中，c为类别数，Nj是第j类的样本个数，xiwj，i=1,2,...,Nj，mj是第j类的样本均值。(k)(k)00445512.12 有样本集{0,1,4,5,4,5,0}，试用谱系聚类算法对其分类。T(x2.13 设有样本集S=到S中各样本点距离平方和

i-z)(xi-z)为最{x1,x2,...,xn}，证明类心

zi1n1n小时，有

zxi 。

ni12.14 假设s为模式矢量集X上的距离相似侧度，有"x,y>0,s(x,y)>0且当a>0时，d(x,y)a/s(x,y)。证明d是距离差异性测度。

2.15 证明欧氏距离满足旋转不变性。提示：运用Minkowski不等式，对于两矢量x[x1,L,xl]和T

dmin(smin),dmax(smax),davg(savg),dmean(smean)d(s)，满足(�xi+yi)i12.16证明： （a）如果s是类X上的距离相似侧度，"x,y>0,s(x,y)>0，那么对于

"a>0，

s(x,y)+a也是类X上的距离测度。 （b）如果d是类X上的距离差异性测度，那么对于"a>0，

d+a也是类X上的距离差异性测度

2.17 假设f:sssssssssssssssslp1/pﾣ(�xii1lp1/p)+(�yii1lp1/p)R+ﾣR+是连续单调递增函数，满足

f(x)+f(y)ﾣf(x+y),"x,yﾣR+d是类X上的距离差异性测度且d0ﾣ0。证明

f(d)也是类X上的距离差异性测度。

2.18 假设s为类X上的距离相似侧度，有"x,y>0,s(x,y)>0，

f:数，满足R+ﾣR+是连续单调递增函

f(x)+f(y)ﾣf(11+),"x,yﾣR1+xy证明f(x)是X上的距离相似侧度。

y2.19 证明：对于模式矢量集X上任意两个矢量x和

有

(x,y)ﾣ(x,y)ﾣ(xdﾣd2d1,y)

lq1/q2.20 （a）证明公式sF(x,y)(ﾣs(xi,yi))中

。1/q的最大最小值分别是和

sF(x,y)0.5li1q（b）证明当qﾣ+ﾣq时，公式s(x,y)(ﾣs(xi,yi))ql1/q

F中

i1(x,y)maxs(x1ﾣiﾣli,yi)sF2.21 假设d是模式矢量集X上的差异性测度，sdmax-d是相应相似测度。 证明

X,Csavg(x,C)dmax-davg(x,C),"x��pspsX 其中spsavg和

dpsavg是分别根据s和d所定义的。

Yavg的定义来自于下面公式，其中第一个集合ps只含有一个矢量。提示：平均亲近函数psY(Di,Dj)avg

1nDinDjpsx�Diy�Dj��Y(x,y)，其中n

和

DinDj分别是集合

Di和

Dj的势。即使

Y是测度，显然

Yavg不是测度。在公式中，

Di和

Dj中的所有矢量都参与计算。

2.22 假设x,yﾣ{0,1}l。证明

d2(x,y)dHamming(x,y)。

T2.23 考虑一维空间的两矢量，x[x1,L,xl]和

y[y1,L,yl]，Tx-yiimaxj1KKl{xj-y}，定义距离

(x,y)为jdn

dn(x,y)x-yiil1+ﾣl-[(l-2)/2]j1,jﾣix-yii 这个距离曾被提议作为欧氏距离的近似值。 （a）证明ddn是距离。 （b）比较

n和

d2的计算复杂度。

2．24 若定义下列准则函数T-1JT�(x-m)�iST(x-mi)i1xﾣXic其中mi是

Xi中

Ni个样本的均值向量，

ST是总散布矩阵，（1）证明JT对数据的非奇异线形变换具有不变性。（2）证明把Xi中的样本

xˆ转移到

Xj中去，则使

JT改变为JJT-[*TNjNj+1ˆˆˆˆ(x-mj)TST-1(x-mj)-Ni(x-mi)TST-1(x-mi)]Ni-1（3）写出使JT最小化的迭代程序。

%)ﾣJ(G,K)，则有2．25 证明对于C-均值算法，聚类准则函数满足使算法收敛的条件。（即若J(G,K%)ﾣJ(G,K%)）

%,KJ(G

2．26 令D(y,Kj)11-1(y-mj)T�(y-m)+log|�j|是点到聚类的相似性度量，式中

m和

ﾣjjjj22是聚类

Gj的均值和协方差矩阵，若把一点从

Gi转移到

Gj中去，计算由公式JK��D(y,Kj)所示

i1y�GjcJK的变化值。

第三章 判别域代数界面方程法3.1 证明感知器算法在训练模式是线性可分的情况下，经过有限次迭代后可以收敛到正确的解矢量w。

3.2（1）试给出LMSE算法（H-K算法）的算法流程图;（2）试证明X#e(k)=0，这里, X#是伪逆矩阵；e(k)为第k次迭代的误差向量;（3）已知两类模式样本w1：x1=(-1,0)T, x2=(1,0)T；w2：x3=(0,0)T，x4=(0,-1)T。试用LMSE算法判断其线性可分性。*3.3 设等式方程组Xwb，其中：属于

w1的样本作为

X的前

N1行，属于

w2的样本作为

X的后行。证明：当余量矢量

b(NNNN,L,,,L,)N1N1N2N2时，MSE解等价于Fisher解。

N1N2N2TTTTTx{xxxx3.4 已知二维样本：1=(-1,0)，

2=(0,-1)，=(0,0)，

4=(2,0)和

5=(0,2)，

1,x2,x3}w1，{x4,x5}w2。试用感知器算法求出分类决策函数，并判断

x6=(1,1)T属于哪一类？

3.4. 已知模式样本 x1=(0,0)T,x2=(1,0)T,x3=(-1,1)T分别属于三个模式类别，即， x1w1,x2w2,x3w3，（1）试用感知器算法求判别函数gi(x)，使之满足，若xiwi 则gi(x)>0，i=1,2,3；（2）求出相应的判决界面方程，并画出解区域的示意图。给定校正增量因子C=1，初始值可以取：w1(1)=(4,-9,-4)T，w2(1)=(4,1,-4,)T，w3(1)=(-4,-1,-6)T。3.5 已知w1：{(0,0)T},w2：{(1,1)T},w3：{(-1,1)T}。用感知器算法求该三类问题的判别函数，并画出解区域。3.6 试证明：|g(x)|是在

T（1）从到超平面

的距离

rg(xq)0的约束条件下，使wg(x)wx+w0x02x-xq达到极小的解。g(x)（2）在超平面上的投影是

xpx-2w 。

wx3.7 设有一维空间二次判别函数g(x)5+7x+9x，试将其映射成广义齐次线性判别函数2g(x)aTy。

g(x)x1+2x2-23.8 对二维线性判别函数Tg(x)wx+wg(x)0的几何图形；（1）将判别函数写成0的形式，并画出

（2）将其映射成广义齐次线性判别函数g(x)ay ；T

Ta（3）指出上述X空间实际是Y空间的一个子空间，且y0对X子空间的划分与原空间中wTx+w00对原X空间的划分相同，并在图上表示出来。

3.9 指出在Fisher线性判别中，w的比例因子对Fisher判别结果无影响的原因。

3.10 证明两向量外积组成的矩阵一般是奇异的。3.11 证明，在几何上，感知器准则函数值正比于被错分类样本到决策面的距离之和。3.12解释为什么感知器函数是一个连续分段的线性分类器。3.13如果在感知器算法中rrk，那么在

k0w(0)-aw2*br(2-r)步之后，这个算法收敛，其中abg2，

r<2。3.14证明感知器算法的正确分类和错误分类在有限个反复的运算以后是收敛的3.15 考虑一种情况，在类w1中包含两个特征向量，

[0,1]T。类

w2中包含

[1,0]和[1,1]T

T两个向量。根据感知器算法，其中

r1，

w(0)[0.5,0.5]mT1T，设计一个线性分离器来区分这两类3.16在上一章2。12问题中两分类问题中，取[1,1],

m[0,0],

s2s20.2.对于每一类产212T生50个向量。为了确保对于这两类的线性分离，对于向量[1，1]类确保

x+x12<1，对于[0，0]向量类x+x12>1。下面的步骤就是使用这些向量去设计一个线性分类器使用(3.21)中的感

知器算法。在收敛以后，画出相关的判定线3.17 假如2.12问题中是多类分类问题，每一类有100个样本点。根据LMS算法使用这些数据去设计一个线性分类器。当所有的点被带入这个算法中进行计算的时候，画出这个算法收敛的相关超平面。其中rrk0.01，然后使用

r0.01。观察这个结果3.18 证明，使用KESLER构造器，经过前面3。21感知器算法的有限步正确与错误分类计算后，对于一个x()ﾣwti，变为wi(t+1)wi(t)+rx(t)

ifwiiwi(t+1)wi(t)-rx(t)wk(t+1)wk(t)x(),ifwx()

E[y|x]asx+m-asmssyyyxxx，�

���a�sasssssxx2xyy2y����k

3.23 取M类分类器按照参数函数gx;(w)的形式存在，目的是估计参数wk，使得分类器根据输入向量x能够产生期望的响应输出值 。假设在每一类中x是随机分布，分类器的输出根据相关期望响应值的不同而不同。按照高斯已知变量的一个高斯分布，假设所有的输出都是相同的。证明按照误差平方和的原则，ML估计是产生一个等价的估计值。提示：在已知的类别当中取出N个训练样本值。对于他们中的每一个形成yiig(xi;wk)-dk。

dik

是第k类中第i个样本点的期望响应值。

ys服从正态0均值，方差为si

'2的分布。这个似然函数使用ysi'3.24在二类分类问题中，贝叶斯最佳判定截面是通过g(x)P(w|x)-P(w12|x)0给出，证明MSE中训练一个判定界面

f(x;w)，目的是对两类进行有效判别，相关的，它等价于在MSE最优感知中，它等价于

f(x;w)的渐进函数形式g(.).3.25 假设在两类分类问题中有服从联合分布的特征向量，他们在有共同的方差ﾣ。设计一个线性MSE分类器，证明在2.11问题中的贝叶斯分类器和这个结果的MSE分类器仅仅通过一个阈值就可以区分。简化起见，仅仅考虑等概率的类的情况。提示：计算MSE超平面wTx+w00，增加x的维数，它的解按照下列方式提供，�R��Ex�[]T1E[x]�w�����2���1�w0����(m-m)120����相关的R和ﾣ在MSE分类器中按照下列的形式给出

(m1-m2)Tﾣ-1�1x-��2(�+>(<)0m1m2��)第四章 统计判决4.1 使用最小最大损失判决规则的错分概率是最小吗？为什么？4.2 当Si=s2I时，先验概率对决策超平面的位置影响如何？

4.3 假设在某个地区的细胞识别中正常w1和异常

w2两类的先验概率分别为

正常状态 ：P(w1)0.9

异常状态：P(w2)0.1

现有一待识的细胞，其观测值为x，从类条件概率密度分布曲线上查得p(xw1)0.2,p(xw2)0.4并且已知损失系数为l11=0，l12=1，l21=6，l22=0。试对该细胞以以下两种方法进行分类：①基于最小错误概率准则的贝叶斯判决；②基于最小损失准则的贝叶斯判决。请分析两种分类结果的异同及原因。4.4 试用最大似然估计的方法估计单变量正态分布的均值m和方差

s。24.5 已知两个一维模式类别的类概率密度函数为

ì x 0≤x<1p(x|w1)=í 2-x1≤x≤2

î 0 其它

ì x-1 1≤x<2p(x|w2)=í 3-x 2≤x≤3

î 0 其它先验概率P(w1)=0.6，P(w2)=0.4，（1）求0-1代价Bayes判决函数；（2）求总错误概率P(e)；（3）判断样本{x1=1.35,x2=1.45,x3=1.55,x4=1.65}各属于哪一类别。

4.6 在目标识别中，假定有农田和装甲车两种类型，类型w1和类型w2分别代表农田和装甲车，它们的先验概率分别为0.8和0.2，损失函数如表1所示。现在做了三次试验，获得三个样本的类概率密度如下：

p(x/w1)：0.3，0.1，0.6p(x/w2)：0.7，0.8，0.3（1）（2）（3）试用贝叶斯最小误判概率准则判决三个样本各属于哪一个类型；假定只考虑前两种判决，试用贝叶斯最小风险准则判决三个样本各属于哪一个类型；把拒绝判决考虑在内，重新考核三次试验的结果。表1类型损失判决

w1w2a1a2a30.5523124.7已知两个一维模式类别的类概率密度函数为ì2x, 0x1p(x|w1)íî0, 其它ì2-2x , 0x1p(x|w2)íî0 , 其它先验概率P(w1)=P(w2)，损失函数，l11=l22=0，l12=0.6，l21=0.4。（1）求最小平均损失Bayes判决函数；（2）求总的误判概率P(e)；

（3）对于一个两类一维问题，若这两类的类概率密度分别服从正态分布N(0,s2)和 N(1,s2)，证明使平均决策风险最小的决策门限为x0lP(w2)1-s2ln21

2l12P(w1)12s[-(x-m)22s2]这里，假设风险函数l11=l22=0 。一维正态分布：p(x)e

1ˆ4.8 设C(N)Nj1Nˆ(N))(xˆ(N))T(xj-m-m}对总体

¾

是基于样本集{

的jx1,x2,...,xNN(m,C)xˆˆ(N+1)的递x协方差矩阵的最大似然估计。试推导由

C(N)求增加一个样本

N+1后协方差矩阵的估计

Cˆ(N)是基于样本集{

x1,x2,...,xN}对总体

x的均值向量

m的最大似然估计推公式。其中，

mˆ(N)1mNj1Nxj 。

4.9 设以下两类模式均为正态分布w1：{(0,0)T，(2,0)T，(2,2)T，(0,2)T}w2：{(4,4)T，(6,4)T，(6,6)T，(4,6)T}(1) 设P(w1)= P(w2)=1/2，求该两类模式之间的Bayes判别界面的方程。(2) 绘出判别界面。4.10 设以下两类模式均为正态分布w1：{(-5,-5)T，(-5,-4)T，(-4,-5)T，(-6,-5)T，(-5,-6)T }w2：{(5,5)T，(5,6)T，(6,5)T，(5,4)T，(4,5)T }(1) 试用正交函数逼近法求类概率密度的估计p(x|w1)和

p(x|w2)，可选用Hermite正交多项式前四项低阶基函数：H0(x)=1, H1(x)=2x,H2(x)=4x2-2, H3(x)=8x3-12x；

(2) 设P(w1)= P(w2)=1/2，求Bayes判决函数；(3) 给出判别界面方程和图示。4.11 证明在多类问题中，贝叶斯决策准则使错误分类概率最小。提示：使用正确分类概率来证明要方便一些。4.12 在一个两类一维问题中，两类的概率分布密度函数分别为高斯分布N(0,s)和

N(1,s)，证明22使平均风险最小的门限

x0为：12

x0-sln2lP(w2)lP(w1)2112其中

。l11l220l114.13 假设两类类问题中损失矩阵为L=l21l12，e1是将本来属于w1类的样本错分为w2的概率，l22e2是将本来属于w2类的样本错分为w1的概率。试证明平均风险为

4.14 证明在多类分类问题中，M类的分类错误概率上限为 Pe=(M-1)/M 。P(w|x)，i=1,2，…，M，大于或等于1/M。这提示，对于每一个向量x最大后验概率密度函数iP(w|x)都是相等的。 等价于每一个

i4.15 假设在一维两类分类当中样本点符合Rayleigh概率密度函数分布：ìx-x2exp(2) x0p(x|wi)ísi2 试求判决边界

。

2sig(x)0î0 x<04.16在两类分类问题中，限定其中一类的错分误概率为e1=e，证明，使另一类的错分概率e2最小等价于似然比判决：如果P(w1)/P(w2)>

q，则判xw1，这里，q是使e1=e成立的似然比判决门限。

注：这就是Neyman-Pearson判决准则， 它类似于贝叶斯最小风险准则。提示：该问题等价于用Langrange乘子法，使q=q(e1-e)+e2最小化。4.17．二维三类问题，假设每一类都服从同一正态分布，且特征向量的的协方差矩阵为

ﾣ1.20.4����0.41.8��各类的均值向量分别是[0.1,0.1]，[2.1,1.9]，[-1.5,2.0]TT

T。（1）用贝叶斯最小错误概率分类器将向量[1.6,1.5]T分类。（2）画出距离向量[2.1,1.9]T的等马氏距离曲线图（略图）。

4.18. 在两类三维空间分类问题中，每一类中的特征向量都服从正态分布，协方差矩阵为0.30.10.1����

ﾣ0.10.3-0.1���0.1-0.10.3���这两类的各自的均值向量分别为[0,0,0]和[0.5,0.5,0.5]T

T。试推导相应的线性决策函数和决策界面方程。

4.19．在两类等概率分类问题中，每一类中的特征向量的协方差矩阵均为S，相关的均值向量为m1，m2，证明对于贝叶斯最小错误概率分类器，错误概率分布是

PBﾣ+ﾣ(1/2)dm1exp(-z2/2)dz2其中，dm是这两个均值向量之间的马氏距离。该函数是

dm的增函数。

提示：对数似然比ulnp(x|w1)-lnp(x|w2)是一个随机变量，且服从高斯分布：N��1�2d22�m,dm��，"

xﾣw；和

N��-1d2,d2�m�，"

。据此计算错误概率。1�2m�xﾣw24.20．证明假设每个向量都遵循高斯概率密度函数分布，在（2。19）的最大似然概率检测x�w1(w2)iflp(x|w1)12p(x|w(<)q2)>等价于

d2m(m1,x|�1)-d2m(m2,x|�2)+lnﾣ1ﾣ<(>)-2lnq2这里d2m(mi,x|ﾣi)是

mi和x之间关于

ﾣi矩阵的的马氏距离。4.21．如果���，证明上个问题成为

(mT-1x122-m1)ﾣ>(<)Q，Qlnq+12(m1�-m2�)。4.22．在二维两类问题中，每一类w1,w2都服从以下分布：

p(x|w11)2s2exp��-12(x-mT1)(x-m�1)�1�2s1�这里

p(x|w2)其中

m满足1(1,1)T，m�1T�1exp�-2(x-m2)(x-m2)�22s2�2s2�2(1.5,1.5)T，

s12s20.2假设

P(w1)P(w2)，设计一个贝叶斯分类器，2（a）错误分类概率最小（b）01��具有损失矩阵L的平均风险最小L��0.50��

使用一个伪随机的数值产生器，从每一个类中得到100个特征向量。按照上面的概率密度函数。使用这Tm个分类器去分类已经产生的向量。对于每个事例中的错误概率是多少？用2(3.0,3.0)重复这个实验。4.23．重复上面的实验，特征向量服从以下分布：px|wi)(

而且12ﾣ�1exp-�12�2(x-mi)ﾣT-1(�x-m�i�)1.010.2��

���0.21.01��并且m1[1,1]T，

m2[1.5,1.5]T提示：一个高斯随机向量的线性变换仍然是一个高斯随机向量。注意1.010.2��10.1�10.1���

������0.21.010.110.11������

1.10.3��S4.24．二维两类问题，假设两类服从同一正态分布，其协方差矩阵为，均值向量分别��0.31.9��T为

m1(0,0),m2(3,3)。试用贝叶斯分类器对向量

x(1.0,2.2)进行分类。TT24.25．假设在两类一维问题中p(x|w1)服从高斯分布

N(m,s)，p(x|w2)服从a到b之间的均匀b-m��a-m��G-G分布。证明贝叶斯错误概率的上限为�，其中GxﾣPyﾣx，并且y服���()()�s��s�从高斯N(0,1)分布。ﾣln(p(xk;q))4.26．证明随机向量的均值是。ﾣq04.27．在掷硬币的游戏实验中，正面（1）出现的概率是q，反面出现的概率是（1-q）。设xi，i=1,2,1…，N是这个实验的结果，

，证明q 的最大似然估计是

qMLxiﾣ{0,1}N似然函数是：P(X;q)ﾣNﾣxi1Ni提示：i1q(1-q)xiﾣixi(1-x)i证明ML结果是下列方程的解

q(1-q)(N-ﾣx)��ixiii��q�-�N-�ixi0�1-q��4.28．随机变量x服从高斯Nm,s(2)分布，m未知。给定该变量的N个观测值，设L（m）为m的对数�2L(m)�ﾣ�似然函数：。试求该随机变量的Cramer-Rao界：

-E�2。将该结果m��L(m)ln(p(x;m))�ﾣ�

与m的ML估计值的方差进行比较，有何结论？假如这个未知参数是方差s，结论又如何？。

24.29．证明假如似然函数是高斯函数有未知的均值m，和协方差矩阵

ﾣ，然后ML估计如下给出

1

mN::ﾣxk1Nk1

�N:����-m-m�ﾣ�xxk������TN:k1k4.30．随机变量x 服从Erlang分布，概率密度函数为

p(x;q)qxexp(-qx)u(x)2其中u(x)是一个阶跃函数ﾣ1

u(x)ﾣﾣ0, x>0, x<0假设x的N个观测值x1，…，xN ，证明q的最大似然估计为ˆ

qML2NﾣNk1xk4.31．随机变量x是服从正态分布N(m,s)，其中未知参数

m服从Rayleigh分布，其概率密度函数为2

2mexp(-m2/2sm)

p(m)2sm试证明m的最大后验概率估计为ˆMAP

mZ(1+1-4R/Z2)2R其中，

Z1s2ﾣNk1xk,

RNss+212m4.32. 证明对于对数正态分布2��(lnx-q)1�exp�-,x>0

p(x)2��2ssx2��最大似然估计为

ˆqML1Nﾣlnxk1Nk4.33．若已知一个随机变量x的均值和方差：

mﾣ+ﾣ-ﾣxp(x)dx，

s2ﾣ+ﾣ-ﾣ(x-m)2p(x)dx试证明，该随机变量概率密度函数的最大熵估计服从高斯分布N(m,s)

2

4.34．P为一个随机点x位于某区间h的概率。给定x的N个观测值，其中有k个落入区间h的概率服从二项式分布：

N!kprob{k}k!(N-k)!P(1-P)2N-k证明E[k/N]P，并且它的方差为

sE[(k/N-P)2]P(1-P)/N而且这个概率估计P=k/N是无偏的和渐进一致的。第五章 特征提取与选择5.1 设有M类模式wi，i=1,2,...,M，试证明总体散布矩阵St是总类内散布矩阵Sw与类间散布矩阵Sb之和，即St＝Sw＋Sb　。5.2 下面哪个矩阵可以用在二维空间线性变换中，并保持马氏距离的特性？请解释原因。212110.5A；

B；

C-11110.5-15.3 Bhattacharyya可分性判据定义为JB-ln[p(x|w1)p(x|w2)]1/2dx式中表示特征空间。试证明，在最小误判概率准则判决下，最小最小误判概率有P(e)[P(w1)P(w1)]1/2exp(-JB) 。

5.4 令xi，i=1，2，3为独立的二值特征，且p(xi=1|w1)=ai ，p(xi=1|w2)=bi ，两类的先验概率相等，且ai，bi满足以下条件：（1）ai

b1 -

a1 >b2 -

a2>b3 -

a3 。试证明各特征分别使用时之错误概率e(xi)满足：e(x1)< e(x2)< e(x3) 。

5.5 按上题条件，试证明当两个特征合用时，其错误概率为1e(xi,ej)[e(xi)+e(xj)-(bi-ai)|e(xj)-aj|-(bj-aj)|e(xi)-ai|]2请找出使e(x1,x2)

5.6 同上题，如果给定a10.10,a20.05,a30.01,b10.90,b20.80,b30.70试计算e(x1),e(x2),e(x3),e(x1,x2),e(x1,x3),e(x2,x3)。

5.7 已知以下两类模式w1：{(0,0,0)T，(1,0,0)T，(1,0,1)T，(1,1,0)T}w2：{(0,0,1)T，(0,1,0)T，(0,1,1)T，(1,1,1)T}试用K-L变换分别把特征空间维数降到d=2和d=1，并作图画出样本在该特征空间中的位置。5.8 令Si和

Pi分别是

wi类（i=1,2）的协方差矩阵和先验概率。假设对数据进行了白化变换，即，使这里，

BTSwBI。SwPiSi，I是单位矩阵。试证明矩阵

PBTSB和

PBTSB所产生的K-L坐i1122T标轴是相同的。若用

Li表示矩阵

PiBSiB的本征值矩阵，求证

L1I-L2。

8．1 三类w1,w2,w3，其中

w1:(1,0),(2,0),(1,1){TTT}，

w2:(-1,0),(-1,1),(0,1){TTT}，，求S

w及

Sb。

8．3 令p(x|wi)~N(mi,ﾣi)，

i1,2,假定各特征分量

xj,j1,2,L,D,相互独立，试证按式

JDIij+Ijiﾣ[p(x|wi)-p(x|wj)]lnXDp(x|wi)dxp(x|wj)定义的散度JD可写为

JDﾣJj1Dj8．6 两个一维正态分布，其期望与方差如下：第一组m10,m22,s14,s20.25；第二组

m10,m22,s11,s21。

求Bhattacharyya距离及散度。8．10 令xi,i1,2,3为独立的二值特征，且

p(xi1|w1)ai,p(xi1|w2)bi，二类先验概率相2222等，且

ai,bi满足以下条件：

①ai

b1-a1>b2-a2>b3-a3。

试证各特征分别使用时之错误概率e(xi)满足：

e(x1)

8．11令xi,i1,2,3为独立的二值特征，且

p(xi1|w1)ai,p(xi1|w2)bi，二类先验概率相等，且

ai,bi满足以下条件：

①ai

b1-a1>b2-a2>b3-a3。

试证当两个特征合用时其错误概率为e(xi,xj)12[e(xi)+e(xj)-(bi-ai)|e(xj)-aj|-(bj-aj)|e(xi)-ai|]找出使e(x1,x2)

8．12令xi,i1,2,3为独立的二值特征，且

p(xi1|w1)ai,p(xi1|w2)bi，二类先验概率相

等，且

ai,bi满足以下条件：

①ai

b1-a1>b2-a2>b3-a3。

当两个特征合用时其错误概率为e(xi,xj)12[e(xi)+e(xj)-(bi-ai)|e(xj)-aj|-(bj-aj)|e(xi)-ai|]，如果给定a10.10,a20.05,a30.01,b10.90,b20.80,b30.70。试计算e(x1),e(x2),e(x3);e(x1,x2),e(x1,x3),e(x2,x3)。

第六章 句法模式识别6.1 句法模式识别中，模式类是如何描述的。6.2 文法G=(VN,VT,P,S)中起始符S可以是非终止符吗？6.3试给出能产生不含子串011的0，1字符串的全体的正则文法Gn，画出Gn对应的有限状态自动机的状态转移图。设x=10010，试根据CYK算法导出对x的最左剖析。6.4 已知文法G=(VN,VT,P,S)，VN={S,D}，VT={a,d,(,),+，´，-,*,~},其中，a,d为图形描述语言（PDL）的基元：a：®；d：¯；“+，´，-，*，~”为基元链接运算：“+”为头接尾；“´”为尾尾相接；“-”为头头相接；“*”为头接和尾接；“~”为反向；“（，）”为运算顺序控制符。试写出描述字母“E”的PDL句子及相应的产生式P。第三部分 综合分析题1、在描述一个完整的模式识别系统的基础上, 给出你所了解的一种模式识别应用实例，并对其中可能用到的模式识别典型理论和方法进行简要说明。2、举出日常生活或技术、学术领域中应用模式识别理论解决问题的实例（包括问题模型，解决的方法，体会）

3、 若要实现手机上的语音拨号功能，你认为应该有哪些处理步骤？分别需要哪些模式识别方法？试用流程图予以说明。4、 若要实现机器（计算机、手机等）的手写字符输入功能，你认为应该有哪些处理步骤？分别需要哪些模式识别方法？试用流程图予以说明。5、 若要实现计算机指纹识别功能，你认为应该有哪些处理步骤？分别需要哪些模式识别方法？试用流程图予以说明。6、 若要实现汽车车牌自动识别，你认为应该有哪些处理步骤？分别需要哪些模式识别方法？试用流程图予以说明。