混合专家系统(MoE)
来源:互联网 发布:在哪里开通淘宝客 编辑:程序博客网 时间:2024/05/16 09:55
混合专家系统(Mixture of Experts)
原理:
混合专家系统(MoE)是一种神经网络,也属于一种combine的模型。适用于数据集中的数据产生方式不同。不同于一般的神经网络的是它根据数据进行分离训练多个模型,各个模型被称为专家,而门控模块用于选择使用哪个专家,模型的实际输出为各个模型的输出与门控模型的权重组合。各个专家模型可采用不同的函数(各种线性或非线性函数)。混合专家系统就是将多个模型整合到一个单独的任务中。
混合专家系统有两种架构:competitive MoE 和cooperative MoE。competitive MoE中数据的局部区域被强制集中在数据的各离散空间,而cooperative MoE没有进行强制限制。
对于较小的数据集,该模型的表现可能不太好,但随着数据集规模的增大,该模型的表现会有明显的提高。
定义X为N*d维输入,y为N*c维输出,K为专家数,
各专家输出为:
(其中
第k个专家输出均值为:
门限模块输出为:
输出
对于Cooperative MoE:
对于Competitive MoE:
实验结果:
不同数据集相同k值:
- k=2使用线性数据集,采用SGD和FTRL两种训练方式,结果如下:
- k=2使用非线性数据集,采用SGD和FTRL两种训练方式,结果如下:
相同数据集不同k值:
- k=1:
- k=2:
- k=4:
- 混合专家系统(MoE)
- 混合专家系统(Mixture of experts)
- 专家系统
- 专家系统
- 专家系统
- 专家系统
- 专家系统
- HDU4730--We Love MOE Girls HDU(148)
- HDU-#4730 We Love MOE Girls(字符串)
- C - We Love MOE Girls---(2015 summer training #9)
- 人工智能(二)--基于规则的专家系统
- Visual Prolog 的 Web 专家系统 (1)
- Visual Prolog 的 Web 专家系统 (2)
- Visual Prolog 的 Web 专家系统 (3)
- Visual Prolog 的 Web 专家系统 (4)
- Visual Prolog 的 Web 专家系统 (5)
- Visual Prolog 的 Web 专家系统 (6)
- Visual Prolog 的 Web 专家系统 (7)
- Codeforces 887C:Solution for Cube(模拟)
- windows10下使用charles无法抓取移动端的数据包
- java模拟表单提交数据
- oracle 实现 自增主键功能
- 论文阅读: 图像分类中的注意力机制(attention)
- 混合专家系统(MoE)
- SQL语言的基础操作
- 如何在win7+centos7双系统中添加win7启动菜单
- Android_第三方登录
- Ibatis Iterate的使用
- 学习笔记第五天
- 51单片机的定时器扯淡
- B. Which floor?
- centos7—关于软链接和硬链接