关于小悟志网站地图归档友情链接联系Feed

云上小悟 + 

首页 » 7788 »

梯度是什么?

2018年5月15日 / 14次阅读
老男孩学数学

梯度其实就是(偏)导数组成的向量:

1, 一元函数的梯度就是导数,切线就是方向;

2, 二元函数的梯度就是两个偏导数组成的向量,我们称为梯度方向;

3, 以此类推。

 

我们课本中,引出梯度的概念,是在讲多元函数的章节,用二元函数举例说明。

比如二元函数\(z=f(x,y)\)可微,在点\(P_0\)处存在偏导数\(f'_x\)和\(f'_y\),则称向量\((f'_x,f'_y)\)为函数\(z\)在点\(P_0\)处的梯度,记为\(\nabla z\)。

 

梯度是一个向量,向量有方向,我们说的梯度方向,其实就是函数变化率最大的方向,这就是梯度的几何意义。

一元函数,导数表示的变化率,同时切线也是变化率最大的方向;二元函数,进化到梯度,由两个偏导数组成的向量的方向,成为了变化率最大的方向。继续想象三元函数,更多元函数,\(R^n\)空间。。。

二元函数全微分形式如下:

\(dz=f'_x(x,y)dx+f'_y(x,y)dy\)

变换一下这个等式的形式:

\(dz=f'_x(x,y)dx+f'_y(x,y)dy=\nabla z \cdot (dx,dy)\)

微分就是近似计算:

\(\Delta z=f'_x(x,y)dx+f'_y(x,y)dy=\nabla z \cdot (\Delta x,\Delta y)\)

如果我们假设向量\((\Delta x,\Delta y)\)是单位向量,由两个向量内积的公式可得:

\(\Delta z=\nabla z \cdot (\Delta x,\Delta y)=\|\nabla z\|  \cdot \cos{a}\)

\(a\)为两个向量的夹角,当夹角为0的时候,\(\Delta z\)最大,这就说明了梯度方向是函数变化率最大的方向。

(参考:向量的长度一文)

 

关键是在更多元函数的情况下,梯度方向依然是变化率最大的方向,我们画不出图形,这需要想象。神经网络在使用随机梯度下降算法的时候,面对的是成千上万甚至上亿个变量。

本文链接:http://www.maixj.net/misc/tidu-17934
云上小悟 麦新杰(QQ:1093023102)

相关文章

评论是美德

无力满足评论实名制,评论对非实名注册用户关闭,有事QQ:1093023102.


前一篇:

栏目精选

云上小悟,麦新杰的独立博客

栏目


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
拍拍贷
go to top