本文共 1330 字,大约阅读时间需要 4 分钟。
1、概念
利用线性关系来描述输入到输出的映射关系。 例: 2、应用场景 网络分析、银行风险分析、基金股价预测、天气预报······3、优化方法
梯度下降法: 梯度计算: 参数更新: 4、输出 可以多目标学习,通过合并多个任务loss,一般能够产生此单个模型更好的效果。 5、局限 线性回归能够清楚的描述分割线性分布的数据,对非线性分布的数据描述较弱。1、非线性激励
2、考量标准3、常用非线性激励函数
从第一层神经网络到最终输出,每一个神经元的数值由前一层神经元数值,神经元参数W、b以及激励函数共同决定第n+1层第k个神经元的方程,可由公式表示为:
在这里,m表示第n层神经网络的宽度,n为当前神经网络的深度。1、损失函数-Loss
影响深度学习性能最重要因素之一,是外部世界对神经网络模型训练的直接指导。合适的损失函数能够确保深度学习模型收敛的更好,设计合适的损失函数是研究工作的主要内容之一。2、学习率-Learning rate
设置的数值大,收敛的速度比较快;设置的数值小,则产生的精度比较高。 学习率的设置:3、动量
在模型梯度下降的过程中,会让模型沿着已经得到优化的方向前进,不用重新找方向,只是需要微调。 前一种是在原点上考虑梯度,然后结合动量投射相加做更新; 后一种是在动量投射的基础之上进行梯度更新,动量相加做更新。4、过拟合-Overfitting
如果更多的参数能够参与决策,会对输入有更高的适应性,w‘更好。 应对过拟合:转载地址:http://qrmwi.baihongyu.com/