现在的位置: 主页 > 商讯 > 文章列表

PU learning算法简介

作者:程力专用汽车股份有限公司 来源:www.dfclxwc.com 未知发布时间:2017-09-07 13:29:15
PU learning算法简介

PU learning算法简介

(1)问题描述

给定一个正例文档集合P和一个无标注文档集U(混合文档集),在无标注文档集中同时含有正例文档和反例文档。通过使用P和U建立一个分类器能够辨别U或测试集中的正例文档 【即想要精确分类U或测试集中的正例文档和反例文档】

应用:

从多个无标注集中学习

从不可靠的反例数据中学习

发现测试集中的突发文档

发现异常值

(2)理论基础

问题最终被转换成一个有限制的最优化问题(Constrained Optimization Problem),即算法试图在使得正例数据中的错误率低于1-r的情况下最小化无标注数据中正例数据的数目。

基于限制最优化问题,可采用两种方法来建立PU分类器:

两步方法(Two-step Approach)

直接方法(Direct Approach)

(3)建立分类器:两步方法

两个步骤组成:

A.从无标注数据集U中发现一些可靠的反例文档集合(Reliable Negative Documents)(RN)

B.利用P、RN和U-RN(Q=U-RN,Q也被称为可能正比例集)来建立分类器,根据RN集合中数据的质量和数量的不同,在该步骤中可能会使用某个现有的学习算法一次或循环使用多次。

A中所采用的技术:

间谍技术(Spy Technique):该技术从正例标注集P中选取一些“间谍”文档发送到无标注数据集U中去,

a.随机地从P中选取一个正例文档集合S,并把S加入到U中

b.通过把P-S当成是正例集合,Us当成是反例集合,在这两个集合上运行朴素贝叶斯算法,得到NB分类器被用于给Us中的每个文档d进行分类,即为每个文档赋予一个概率类别标识Pr(1|d),其中1代表正例类别

c.利用间谍文档的概率标识来决定哪些文档最有可能是反例。使用一个阈值t来确定,U中那些概率Pr(1|d)小于t的文档被认为是最有可能的反例文档,用RN表示。

1DNF技术:首先建立一个正例特征集合PF,其中包括那些在正例集合P中出现次数大于在无标注数据U中出现次数的单词,得到U与P中出现的所有单词并得到一个词汇表V,从U中发现可靠反例文档,U中的某个文档如果不含有PF中任何特征的话被认为是一个可靠的反例文档。

NB(朴素贝叶斯)技术:用NB分类器从无标注数据集U中发现一组可靠反例集合RN。

Rocchio技术:与NB技术类似,只需有Rocchio分类器代替NB分类器。

B中所采用的技术:

在P和RN上运行一个学习算法(如NB或SVM),集合U-RN中的文档不在考虑范围内;迭代地运行某个学习算法直到它收敛或达到某个停止条件。

使用NB分类器的EM算法

迭代SVM(Iterative SVM):该方法中,SVM通过使用P,RN和Q(U-RN)不断地循环运行。

企业建站2800元起,携手武汉肥猫科技,做一个有见地的颜值派!更多优惠请戳:黄冈SEO http://huanggang.4567w.com

上一篇:[Extjs优化二] Form表单提交通用 下一篇:最后一页