当前位置: 首页 > news >正文

辽宁省精神文明建设工作三大创建活动网站引流软件

辽宁省精神文明建设工作三大创建活动网站,引流软件,福建省网站备案,怎么描述网站主页做的好第五章.与学习相关技巧 5.2 权重初始值 本节将介绍权重初始值的推荐值,并通过实验确认神经网络的学习是否会快速进行。 1.权值衰减 权值衰减就是一种以减少权重参数的值为目的进行学习的方法,通过减少权重参数值来抑制过拟合的情况发生。 2.权重初始值不…

第五章.与学习相关技巧

5.2 权重初始值

本节将介绍权重初始值的推荐值,并通过实验确认神经网络的学习是否会快速进行。

1.权值衰减

  • 权值衰减就是一种以减少权重参数的值为目的进行学习的方法,通过减少权重参数值来抑制过拟合的情况发生。

2.权重初始值不可设为相同值的原因

  • 在误差反向传播法中,所有权重值都会进行相同的更新(乘法节点的反向传播原理),权重被更新为相同的值,这使得神经网络拥有许多不同的权重的意义就丧失了,为了防止权重均一化,必须随机生成初始值。

3.权重初始值的设置方法

1).随机初始值:

  • 示例:

    观察权重初始值是如何影响隐藏层的激活函数的分布:向一个5层神经网络(激活函数使用sigmoid函数)传入随机生成的输入数据,用直方图绘制各层激活值的数据分布(神经网络权重标准差设置为0.01或1的高斯分布情况)

  • 各层激活值分布图:[标准差为1/0.01的高斯分布]

    • 标准差为1的高斯分布

      图像描述:各层的激活值呈偏向0/1的分布,这里使用的sigmoid是S型函数,随着输出不断的靠近0/1,它的导数值逐渐接近0,因此偏向0和1的数据分布会造成反向传播中梯度的值不断变小,最后消失,这个问题称为梯度消失
      在这里插入图片描述

    • 标准差为0.01的高斯分布

      图像描述:这次集中在0.5附近的分布,不会像刚才的例子偏向0/1,所以不会出现梯度消失的问题,但是激活值的分布有所偏向,会出现“表现力受阻”的问题
      在这里插入图片描述

  • 各层激活值的分布特点:
    各层激活值的分布都要求有适当广度的原因:通过在各层间传递多样性的数据,神经网络可以进行高效学习。反过来,如果传递的是有所偏向的数据,就会出现梯度消失或者表现力受阻的问题,导致学习可能无法顺利进行。

2).Xavier初始值:

  • 示例:

    观察权重初始值是如何影响隐藏层的激活函数的分布:向一个5层神经网络传入随机生成的输入数据,用直方图绘制各层激活值的数据分布(神经网络权重标准差设置为1/√n的高斯分布情况)

  • 各层激活值分布图:[标准差为1/√n的高斯分布]

    • 激活函数:sigmoid
      在这里插入图片描述

    • 激活函数:tanh
      在这里插入图片描述

  • 图像描述:
    sigmoid激活函数后面的层分布呈稍微歪斜的形状,如果是tanh激活函数,这个稍微倾斜的问题就会得到改善。众所周知,用作激活函数的函数最好具有关于原点对称的性质。[tanh函数:关于原点(0,0)对称的S型曲线;sigmoid函数:关于(x,y)=(0,0.5)对称的S型曲线]

  • 结论:
    如果前一层的节点数为n,则初始值使用标准差为1/√n的分布。

3).He初始值:(ReLU激活函数专用初始值)

  • 示例:

    观察权重初始值是如何影响隐藏层的激活函数的分布:向一个5层神经网络传入随机生成的输入数据,用直方图绘制各层激活值的数据分布(神经网络权重标准差设置为√(2/n)的高斯分布情况)

  • 各层激活值分布图:[标准差为√(2/n)的高斯分布]

    • 激活函数:ReLU
      在这里插入图片描述
  • 图像描述:
    当初始值为He初始值时,各层中分布的广度相同,即使层加深,数据的广度也能保持不变,因此逆向传播时,也会传递合适的值。

  • 结论:
    如果前一层的节点数为n,则初始值使用标准差为√(2/n)的分布。

4).总结

  • 激活函数为ReLU时:权重初始值使用He初始值。
  • 激活函数为sigmoid/tanh等S型曲线函数时:权重初始值使用Xavier初始值。
http://www.fp688.cn/news/157616.html

相关文章:

  • 长沙做网站那家好seo方式包括
  • 株洲做网站今日热搜
  • 微软网站做u盘启动教程成人企业管理培训课程
  • 做暧嗳xo小视频网站青岛网站开发公司
  • 工会 网站 建设软文自助发稿平台oem
  • 网站描述技巧百度打车客服电话
  • 新公司网站怎么做推广网站建设服务商
  • h5网站设计报价建网站建设
  • 西安专业建网站国际财经新闻
  • 选择建设网站公司要注意什么免费的个人网站怎么做
  • 网站设计评价标准seo网页推广
  • 互联网公司排名2022销售额独立站seo优化
  • 网站seo优化要怎么做优化标题关键词技巧
  • 手机免费创建网站的软件哪个浏览器不屏蔽网站
  • 网站注册页面怎么做做网页的网站
  • 一个营业执照可以做两个网站怎么提升关键词的质量度
  • 西宁网站建设公司怎样在百度上发布自己的信息
  • 成都网络宣传推广公司百度网站排名搜行者seo
  • 淘宝做网站设计长沙网站seo报价
  • wordpress商城 中文站全网营销推广是什么
  • 酒店行业的网站建设app推广注册放单平台
  • 网站如何验收seo站长助手
  • 学校网站集约化建设如何网络推广
  • 做网站能赚到流量费吗木卢seo教程
  • 辽宁电力建设监理有限公司网站seo推广
  • 网站建设免费模板南京网络推广优化哪家好
  • 网站建站网站建设免费的黄冈网站代码
  • 邢台企业网站建设好么百度推广怎么操作
  • 代码做网站图片怎么插百度推广登录地址
  • wordpress手机版错误sem和seo是什么职业