对于统计学只是皮毛认识,在学校时根本不重视,如今机器学习几乎以统计学为基础发展起来的,头疼的紧,如今还得琢磨基础概念。 1、我自己的理解: 1)先验:统计历史上的经验而知当下发生的概率; 2)后验:当下由因及果的概率; 2、网上有个例子说的透彻: 1)先验——根据若干年的统计(经验)或者气候(常识),某地方下雨的概率; 2)似然——下雨(果)的时候有乌云(因/证据/观察的数据)的概率,即已经有了果,对证据发生的可能性描述; 3)后验——根据天上有乌云(原因或者证据/观察数据),下雨(结果)的概率; 后验 ~ 先验*…

2021年11月21日 0条评论 13点热度 阅读全文

计算广告CTR预估系列(八)–PNN模型理论与实践 计算广告CTR预估系列(八)–PNN模型理论与实践 一、介绍 1.1 名词解释 1.2 数据特点 1.3 参数约定 二、相关工作 三、损失 & 评价函数 3.1 损失函数 3.2 评价函数 四、PNN详解 4.1 架构图 4.2 IPNN 4.3 OPNN 4.4 PNN* 五、优化 六、总结 七、代码实战 IPNN OPNN Reference 一、介绍 非常感谢PNN论文作者,上海交通大学曲彦儒同学的耐心讲解,PNN细节的地方还是挺多的。作者的gith…

2021年11月21日 0条评论 6点热度 阅读全文

流形正则化 最近看到一篇新论文《基于点态流形正则化的半监督学习》,关于这的讲解不多,先学一下流形正则化。 以下是关于论文的摘要: 流形正则化(MR)为同时使用标记和未标记数据的半监督分类提供了一个强大的学习框架。 依据流形假设,MR约束在流形结构图上的相似实例共享相似的分类输出。因此,MR基于流形图上的成对光滑性。光滑性的约束对象为所有实例对,从而将各实例对视为单个操作对象。然而,平滑性在本质上可以是点态的,即平滑性发生在“任何地方”,将各实例的行为与其近邻相联系。本文试图通过对各局部实例进行约束,提出半监督学习的…

2021年10月30日 0条评论 5点热度 阅读全文

        看了Andrew Ng 关于广义线性模型这内容的视频,对概念还是有点模糊,于是搜到这篇博文http://blog.csdn.net/lilyth_lilyth/article/details/10032993。只不过Andrew Ng的推导顺序和这篇文章是相反的,但还是同一个原理。下面我摘了这篇文章关于广义线性回归的内容。关于softmax的内容可以参考这篇文章http://ufldl.stanford.edu/wiki/index.php/Softmax%E…

2021年10月20日 0条评论 6点热度 阅读全文

一、前言 首先回顾一下自然语言处理中的一个基本问题: 如何计算一段文本序列在某种语言下出现的概率? 之所以称其为一个基本问题,是因为它在很多NLP任务中都扮演着重要的角色。 例如:去哪 。。。联想到“ 吃饭!”的概率,即“吃饭”这个词在“去哪”这种语言环境下出现的概率。 二、词向量 最早的词向量是很冗长的,它使用是词向量维度大小为整个词汇表的大小,对于每个具体的词汇表中的词,将对应的位置置为1。比如我们要表示春夏秋冬四季,词“Queen”的序号为2, 那么它的词向量就是(0,1,0,0,)。这种词向量的编码方式我们…

2021年10月19日 0条评论 5点热度 阅读全文

如图HMM模型,初始概率: 1,请列出所有可能输出序列的状态转移序列。 2,分别计算由每一个状态转移序列输出观察序列V 的概率 3,计算最有可能输出观察序列V 的状态转移序列 解析: 不合理之处还请批评指正,小弟谢过^0< 第一题: 首先,V=v2 v4 v4 v1 表示一个看到的现象,那么这个现象是由于什么原因导致的呢? 我们的任务就是去找这背后的“幕后主使”。 从图中可以知道,w2可以导致v2(也就是B22),w1也可以导致v2(也就是b12),w3也可以导致v2(也就是b32),那么到底谁才是v2现象的…

2021年10月19日 0条评论 6点热度 阅读全文

线性模型——最小二乘法,梯度下,线性回归,logistic回归(逻辑回归) (一)基本形式 线性模型: 给定d个属性描述的示例X = (x1;x2;……;xd)(X为列向量),xi是第i个属性上的取值。 线性模型(linear model)试图学得一个通过属性的线性组合进行预测的函数。 f ( X ) = w 1 x 1 + w 2 x 2 + … + w d x d + b f(X) = w_1x_1 + w_2x_2+…+w_dx_d+b f(X)=w1​x1​+w2​x2​+…+wd​xd​+b 向量形式: …

2021年10月9日 0条评论 6点热度 阅读全文

最近在做文本分类的项目,在这个方向上有点自己的思考,总结出来,希望对大家有帮助。 研究意义 我们身边每天所产生的信息量正在迅猛增加,而这些信息基本都是非结构化的海量文本。 人类可以轻松处理与感知非结构化文本,但机器显然很难理解。 不用说,这些文本定然是信息和知识的一个宝贵来源。因此,设计出能有效处理各类应用中非结构化文本的方法就显得便迫在眉睫。 概念理解 首先我们要达成一个共识,也就是对文本挖掘这个概念的认识,大家先听听我的理解,看看和你们的认识是否一样。 文本挖掘是从文本中进行数据挖掘。 从这个意义上讲,文本挖掘…

2021年10月4日 0条评论 10点热度 阅读全文

注:本文若没特殊声明,所有截图均来自cs229 Machine Learning Lecture notes 1 监督学习中,最常见的是线性回归和分类问题。然而,我们熟知的linear regression和logistic regression这两个机器学习算法其实只是一个更广泛的模型family的特殊特殊情况——广义线性模型(Generalized Linear Models)。本系列分三部分,首先介绍linear regression,再介绍logistic regression,最后点出广义线性模型,并介绍…

2021年9月30日 0条评论 5点热度 阅读全文

前言:原创不易,转载请告知并注明出处!扫码关注公众号【机器学习与自然语言处理】,定期发布知识图谱,自然语言处理、机器学习等知识,添加微信号【17865190919】进讨论群,加好友时备注来自CSDN。 logistic回归,又叫对数几率回归(从后文中便可此名由来)。首先给大家强调一点,这是一个分类模型而不是一个回归模型!下文开始将从不同方面讲解logistic回归的原理,随后分别使用梯度上升算法和随机梯度上升算法将logistic回归算法应用到实例中。 一、logistic回归和线性回归的关系 想必大家也早有疑惑,…

2021年9月30日 0条评论 6点热度 阅读全文