第三章 习题答案.doc 6页

'第三章习题答案一、设一3类问题有如下判决函数d1(x)=-x1d2(x)=x1+x2-1d3(x)=x1-x2-1试画出下列各种情况的判决边界及各类的区域：（1）满足3.4.2节中的第一种情况；（2）满足3.4.2节中的第二种情况,且令d12(x)=d1(x)，d13(x)=d2(x)，d23(x)=d3(x)；（3）满足3.4.2节中的第三种情况。解：1、两分法2、Wi/Wj两分法3、没有不确定区的Wi/Wj两分法 二、证明感知器的收敛性。证明：如果模式是线性可分的，则存在判别函数的最佳权向量解，利用梯度下降法求解函数的极小值点，即为。构造准则函数　　（k<0）当<０时，当时，，∵训练模式已符号规范化，∴寻求的最小值，且满足。令k=1/2,求得准则函数的梯度由梯度下降法，增广权矢量的修正迭代公式为：取＝１，则上述准则下的梯度下降法的迭代公式与感知器训练算法是一致的。∵梯度下降法是收敛到极小值点的，∴感知器算法也是收敛的。三、习题3.4证明：MSE解为其中： 则对应的化简　由上式可得：由（1）式可得：代入（2）式得：∵为标量∴为一标量 ∴∵、设为行向量，如果设为列向量则　　　而Fisher最佳判别矢量为不考虑标量因子的影响，和完全一致∴当余量矢量时MSE解等价于Fisher解。四、解：设、在判别界面中（1）－（2）得∵在判别界面中∴平面则平面的单位法矢量为设点P在判别界面d()=0中，则∵∴当和方向相同时，即为点到平面的距离时五、以下列两类模式为样本，用感知器算法求其判决函数。（令w(1)=(-1,-2,-2)T）w1：{(0,0,0)’,(1,0,0)’,(1,0,1)’,(1,1,0)’,}w2：{(0,0,1)’,(0,1,1)’,(0,1,0)’,(1,1,1)’,} 解（1）将训练样本分量增广化及符号规范化，将训练样本增加一个分量1,且把来自类的训练样本的各分量乘以－1,则得到训练模式集：（2）运用感知器算法，任意给增广权矢量赋初值，取增量，迭代步数k=1，则有(3)由上面的结果可以看出，经过迭代能对所有训练样本正确分类∴＝判别界面方程为3x1-2x2-3x3+1=0 六、用MSE(梯度法)算法检验下列模式的线性可分性。w1：{(0,1)’，(0,-1)’}，w2：{(1,0)’，(-1,0)’}。解：将训练样本增广及规范化后，得到则利用伪逆法利用H-K算法，设置步数k=0则的各分量均为负值，则停止迭代∴无法求得方程组的解，所以模式线性不可分。七、已知w1：{(0,0)’},w2：{(1,1)’},w3：{(-1,1)’}。用感知器算法求该三类问题的判别函数，并画出解区域。解：d(x)=9x2+7y2+5＝０设y1=x2,y2=x则广义线性判别函数为它对应的正负空间如下图：'