立体神经网络

来源:互联网 发布:龙布峰针贴淘宝有卖吗 编辑:程序博客网 时间:2024/04/28 10:32

人的大脑有860亿个神经元,而神经元和其他神经元之间的连接多达上万个。所以有理由相信人类大脑的神经网络的隐藏层神经元节点之间应该是相互连接的。如果隐藏曾节点之间相互连接那么人类大脑的隐藏层就应该是立体的结构,假设一个神经网络第一层有4个节点,第二层也有4个节点


输入X输出是Y,第一层是AEHB,第二层是DFGC。与tensorflow的神经网络相比只是多了AB,BH,HE,EA,DC,CG,GF,FD共8条权重连接,如果把这8条连接去掉和tensorflow的神经网络结构是完全相同的,这里假设神经元起到阀门一样的功能,按照时间或者电压或其他生物指标可以屏蔽这8条连接,这个假设至少用计算机编程的方法可以很容易做到。将这个模型叫做F(X)=Y。
因为是立体结构有理由相信这8个点还可以同时支持别的模型




这个模型的输入是M输出是N,第一层是AEFD,第二层是BHGC。同样如果去掉AE,EF,FD,DA,BH,HG,GC,CB这8条连接这个模型和tensorflow的模型是一样的,并没有区别。按照神经元阀门的假设在输入M的同时将这8条连接屏蔽。经过训练形成模型F(M)=N。
那这两个模型是否可以共存?




这个模型8个节点同时支持两个模型F(X)=Y和F(M)=N,假设神经元阀门在这种多模型状态下仍然可以正常完成屏蔽,则这两个模型其实只有EG,EC,AG,AC这4条连接的权重是相同的,其余的权重值并不受影响。相当于两个tensorflow神经网络共享4个权重。
此时EG,EC,AG,AC这4个权重值用集合cross表示。用JHX表示F(X)=Y产生的权重集合,用JHM表示F(M)=N产生的权重集合。则这个立体的神经网络模型就等同于
F(X)=Y
F(M)=N
JHX JHM=cross
所以这个立体神经网络模型相当于用一个模型去一部分初始化另一个模型。


原创粉丝点击