cs224

来源:互联网 发布:linux arp 安装包 编辑:程序博客网 时间:2024/06/05 13:21

更新梯度时,如果是对同一个变量记得是+,不要直接等于,第二次犯错误了。

神经网络更新梯度时,针对的是nerons,在skip gram中,因为输入层就是v_c,所以求梯度时和neron一致,

但是在cbow中,输入层是neighbor的v_i球和,所以neron是和,而对其中的每个分量来说,由于chain rule,

加法时,梯度为1,所以队每个分量也和neron是一致的。但是加入不是加法,是其他的,就需要改变一下了。

原创粉丝点击