2018年1月7日,中山大学AI俱乐部最后一次的课程,即第十二次次课程与第十三次课程正式结束啦。本次课程是由林俊凡师兄所带来的《概率图模型》以及赵惠师姐的《规则学习》。感谢师兄师姐为我们精心准备干货满满的讲座。
简单的展示会员们在这学期的积分,培训正式开始。首先是林俊凡师兄的《概率图模型》。
近年来,概率模型图(ProbabilisticGraphical Model)开始广泛运用。概率模型图能很有效的利用变量之间的关系,大大的降低了计算的复杂度.。概率模型图可以大致分为两个类别:贝叶斯网络(Bayesian Network)和马尔可夫随机场(Markov RandomField)。前者采用无环图来表达因果关系,而后者采用无向图来表达变量间的相互作用。
师兄详细介绍三个模型,分别是Hidden Markov Model、Markov Random Field和Conditional Random Field。师兄很好的解释模型的概念及应用范围。
完成模型的设计之后,下一步就是通过一定的算法从数据中去估计模型的参数,或推断我们感兴趣的其它未知变量的值。在这师兄介绍了三种统计推断 (Inference)的方法。Belief Propagation、Variable elimination及著名的 Markov ChainMonte Carlo(MCMC)。
师兄课程结束后,紧接着是以及赵惠师姐的《规则学习》。
师姐的课程分为五个部分,规则学习基本概念、序贯覆盖、剪枝优化、一阶规则学习和归纳逻辑程序设计。
规则学习(Rule learning)
规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则。机器学习中的规则通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念,可写成“逻辑规则”。
序贯覆盖
规则学习的目标是产生一个能覆盖尽可能多的样例的规则集。师姐用图说明序贯覆盖这种做法。
剪枝优化
由于规则生成本质上是一个贪心搜索过程,有过拟合的风险,通常采用“剪枝”机制来缓解过拟合。按照剪枝执行的时间,剪枝分为 预剪枝和后剪枝。
一阶规则学习
受限于命题逻辑表达能力,命题规则学习难以处理对象之间的关系(relation),而关系信息再很多任务中是很重要的,要用一阶逻辑表示,使用一阶规则学习。
归纳逻辑程序设计
归纳逻辑程序设计(Inductive Logic Programming,ILP)在一阶规则学习中引入了函数和逻辑表达式嵌套,使得机器学习系统具备了更为强大的表达能力。
师姐提供了两个参考文件,有兴趣的同学不妨阅读。
· 《 机器学习》(周志华版)
· 南京大学2017年秋季学习《高级机器学习》课程第15章《规则学习》ppt
课程结束后,AI俱乐部颁发礼物给积分排名前五的同学。恭喜获奖同学,也期待会员们下学期的努力。再次感谢林俊凡师兄及赵惠师姐精彩讲座,也感谢大家这一个学期的支持。
我们下学期见!