3.1线性判别函数【模式识别】

用判别函数分类的概念


首先模式识别系统的主要作用是:判别各个模式所属的类别,例如对一个两类问题的判别,就是将模式x划分为成ω1和ω2两类。

两类问题的判别函数(以二维模式样本为例)

x是二维模式样本x =
(x1
x2)T用x1和x2作为坐标分量,得到模式的平面图:

这时,若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分

d(x) = w1x1
+ w2x2 + w3 = 0

其中x1、x2为坐标变量,w1、w2、w3为参数方程,则将一个不知类别的模式代入d(x),有

- 若d(x) > 0,则

- 若d(x) < 0,则

此时,d(x)=0称为判别函数。

用判别函数进行模式分类依赖的两个因素

(1)判别函数的几何性质:线性的和非线性的函数。
       ?线性的是一条直线;
     
 ?非线性的可以是曲线、折线等;
   
   ?线性判别函数建立起来比较简单(实际应用较多);
     
 ?非线性判别函数建立起来比较复杂。
(2)判别函数的系数:判别函数的形式确定后,主要就是确定判别函数的系数问题。
     
 ?只要被研究的模式是可分的,就能用给定的模式样本集来确定判别函数的系数。

线性判别函数


一个n维线性判别函数的一般形式:

其中w0
= (w1, w2, …, wn)T称为权向量(或参数向量),
x = (x1, x2, …,
xn)T

d(x)也可表示为:d(x) =
wTx

其中,x =
(x1, x2, …, xn,
1)T称为增广模式向量,w = (w1, w2, …,
wn+1)T称为增广权向量。

分类情况:


两类情况:判别函数d(x)

 

多类情况:

设模式可分成ω1, ω2,…,
ωM共M类,则有三种划分方法
   
?多类情况1
   
?多类情况2
    ?多类情况3

多类情况1:

用线性判别函数将属于ωi类的模式与不属于ωi类的模式分开,其判别函数为:

  i
= 1, 2, …, M。

这种情况称为两分法,即把M类多类问题分成M个两类问题,因此共有M个判别函数,对应的判别函数的权向量为wi,
i = 1, 2, …, M。

图例:对一个三类情况,每一类模式可用一个简单的直线判别界面将它与其它类模式分开。

例如对的模式,应同时满足:d1(x)>0,d2(x)<0,d3(x)<0

不确定区域:若对某一模式区域,di(x)>0的条件超过一个,或全部di(x)<0,i
= 1, 2, …, M,则分类失败,这种区域称为不确定区域(IR)。

 

例题:设有一个三类问题,其判别式为:

d1(x)= -x1
+ x2,d2(x)= x1 + x2 -
5,d3(x)= -x2 + 1

则对一个模式x=(6,
5)T,判断其属于哪一类。

将x=(6,
5)T代入上述判别函数,得:

d1(x) =
-1,故d1(x)<0

d2(x) =
6,故d2(x)>0

d3(x) =
-4,故d3(x)<0

从而

假若x=(3,
5)T,则

d1(x) =
2>0

d2(x) =
3>0

d3(x) =
-2<0

分类失败。

多类情况2:

采用每对划分,即ωij两分法,此时一个判别界面只能分开两种类别,但不能把它与其余所有的界面分开。其判别函数为:

若dij(x)>0,,则 

重要性质:dij =
-dji

图例:对一个三类情况,d12(x)=0仅能分开ω1和ω2类,不能分开ω1和ω3类。

要分开M类模式,共需M(M-1)/2个判别函数。

不确定区域:若所有dij(x),找不到,dij(x)>0的情况。

例:设有一个三类问题,其判别函数为:

d12(x)= -x1
- x2 + 5,d13(x)= -x1 +
3,d23(x)= -x1 + x2

若x=(4,
3)T,则:d12(x) = -2,d13(x) = -1,d23(x)
= -1

则:

所以

若x=(2.8,
2.5)T,则:d12(x) = -0.3,d13(x) =
0.2,d23(x) = -0.3

则:

所以分类失败。

分类情况3:

3.1线性判别函数【模式识别】,布布扣,bubuko.com

时间: 06-12

3.1线性判别函数【模式识别】的相关文章

模式识别(Pattern Recognition)学习笔记(七)——线性分类器及线性判别函数

1.为什么要设计分类器? 回顾下前面学习的统计决策,也就是贝叶斯决策,它可以简单被划分为两步,首先根据样本进行PDF估计,然后根据估计出的PDF来求分类面,因此又经常被叫做两步贝叶斯决策.如果我们能够很好地估计出PDF模型,也总可以利用贝叶斯来实现两类甚至多类的最优分类,但是很多实际情形中,想要精准的估计出PDF模型,并非易事,尤其当样本存在高维特征空间,以及样本数量并不足够多的情况,本质上来说,模式识别的真正目的并非估计PDF模型,而是在特征空间中想方设法找到各类的分界线或分界面.因此,如果可

【模式识别与机器学习】——3.1线性判别函数

3.1线性判别函数 3.1.1两类问题的判别函数 (1)以二维模式样本为例 若x是二维模式样本x = (x1 x2)T,用x1和x2作为坐标分量,得到模式的平面图: 这时,若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分 d(x) = w1x1 + w2x2 + w3 = 0 其中x1.x2为坐标变量,w1.w2.w3为参数方程,则将一个不知类别的模式代入d(x),有 - 若d(x) > 0,则 - 若d(x) < 0,则 此时,d(x)=0称为判别函数. (2)用判别函数进

【模式识别与机器学习】——3.3分段线性判别函数

---恢复内容开始--- 出发点: 线性判别函数在进行分类决策时是最简单有效的,但在实际应用中,常常会出现不能用线性判别函数直接进行分类的情况. 采用广义线性判别函数的概念,可以通过增加维数来得到线性判别,但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难,增加计算的复杂性. 引入分段线性判别函数的判别过程,它比一般的线性判别函数的错误率小,但又比非线性判别函数简单. 图例: 用判别函数分类 可用一个二次判别函数来分类 也可用一个分段线性判别函数来逼近这个二次曲线 分段

哈尔滨工业大学计算机学院-模式识别-课程总结(三)-线性判别函数

1. 线性判别函数 本章介绍的线性判别函数都归属于判别式模型,即对于分类问题,根据判别函数\(g(x)\)的取值进行判断,比如正数归为第一类,负数与零归为第二类.关于判别式模版与生成式模型的区别可以阅读我以前的[博客])(https://www.cnblogs.com/szxspark/p/8426850.html),最典型的生成式模型是贝叶斯分类器,这个在之前的博客中也有介绍. 在介绍具体算法之前,先了解一下线性判别函数的基本概念. 1.2 线性判别函数基本概念 对于线性可分情况,线性判别函数

线性判别函数-Fisher 线性判别

这是我在上模式识别课程时的内容,也有参考这里. 线性判别函数的基本概念 判别函数为线性的情况的一般表达式 式中x是d 维特征向量,又称样本向量, 称为权向量, 分别表示为 是个常数,称为阈值权. 设样本d维特征空间中描述,则两类别问题中线性判别函数的一般形式可表示成 (3-1) 其中 而ω0是一个常数,称为阈值权.相应的决策规则可表示成, g(X)=0就是相应的决策面方程,在线性判别函数条件下它对应d维空间的一个超平面,   (3-3) 为了说明向量W的意义,我们假设在该决策平面上有两个特征向量

机器学习 —— 基础整理(六):线性判别函数——感知器、松弛算法、Ho-Kashyap算法

本文简单整理了以下内容: (一)线性判别函数与广义线性判别函数 (二)感知器 (三)松弛算法 (四)Ho-Kashyap算法 (一)线性判别函数与广义线性判别函数 一.线性判别函数 这篇总结继续关注分类问题.假设判别函数(Discriminant function)的参数形式已知,用训练的方法直接根据样本估计判别函数的参数.线性判别函数的形式为: $$g(\textbf x)=\textbf w^{\top}\textbf x+w_0$$ $\textbf x\in \mathbb R^d$ 是

模式识别: 线性分类器

一.实验目的和要求 目的: 了解线性分类器,对分类器的参数做一定的了解,理解参数设置对算法的影响. 要求: 1. 产生两类样本 2. 采用线性分类器生成出两类样本的分类面 3. 对比线性分类器的性能,对比参数设置的结果 二.实验环境.内容和方法 环境:windows 7,matlab R2010a 内容:通过实验,对生成的实验数据样本进行分类. 三.实验基本原理 感知器基本原理: 1.感知器的学习过程是不断改变权向量的输入,更新结构中的可变参数,最后实现在有限次迭代之后的收敛.感知器的基本模型结

线性判别分析(Linear Discriminant Analysis,LDA)

一.LDA的基本思想 线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是模式识别的经典算法,它是在1996年由Belhumeur引入模式识别和人工智能领域的.线性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性. 如

模式识别:感知器的实现

在之前的模式识别研究中,判别函数J(.)的参数是已知的,即假设概率密度函数的参数形式已知.本节不考虑概率密度函数的确切形式,使用非参数化的方法来求解判别函数.由于线性判别函数具有许多优良的特性,因此这里我们只考虑以下形式的判别函数:它们或者是x的各个分量的线性函数,或者是关于以x为自变量的某些函数的线性函数.在设计感知器之前,需要明确以下几个基本概念: 一.判别函数:是指由x的各个分量的线性组合而成的函数: 若样本有c类,则存在c个判别函数,本节只讨论两类样本的分类情况.要求实现以下判定规则: