首页 » 栏目 人工智能 »

人工智能

栏目介绍:人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能与人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像视频识别、自然语言处理和专家系统等。思考人工智能,要跳出传统可编程问题的范畴。

文章列表

人工智能

神经网络训练在Linux虚拟机的速度快过Windows

by 麦新杰 / 2019年1月16日

无意中发现了这一现象,同样的一个测试不同浮点数类型对神经网络训练效率的影响的测试用例,在外层的Windows系统运行速度反而慢于内部的Linux虚拟机(CentOS7)。 阅读全文->

人工智能

float16/32/64对神经网络计算的影响

by 麦新杰 / 2019年1月12日

神经网络的计算,或者说深度学习的计算,全都是浮点数。浮点数的类型分16/32/64(128位的不再考虑范围内,numpy和python最大只到float64),选择哪一种浮点数类型,对神经网络的计算有不同的影响。 阅读全文->

人工智能

会死掉的ReLU

by 麦新杰 / 2019年1月11日

死掉的ReLU是不可逆的,即它无法再“正常”地活过来,因为对于所有的input,它的输出都是0,这时按照BP算法规则,它的weight和bias无法得到更新。 阅读全文->

人工智能

深度学习与bfloat16(BF16)

by 麦新杰 / 2019年1月9日

BF16的指数位比FP16多,跟FP32一样,不过小数位比较少。这样设计说明了设计者希望在16bits的空间中,通过降低精度(比FP16的精度还低)的方式,来获得更大的数值空间(Dynamic Range)。 阅读全文->

人工智能

多通道数据下的卷积计算

by 麦新杰 / 2019年1月8日

对于单通道数据,比如MNIST,卷积的计算是清晰明确的,但是对于多通道数据,比如CIFAR10,卷积的计算是如何进行的呢? 阅读全文->

人工智能

用直觉理解Cost函数

by 麦新杰 / 2019年1月7日

在学习英文的神经网络资料的时候,经常会看到直觉这个词(intuition),国外的学者有倾向于通过直觉来理解和寻找灵感的习惯。本人很认同这种思维方式。 阅读全文->

人工智能

为什么叫深度学习(Deep Learning)?

by 多肉 / 2019年1月4日

深度学习,Deep Learning,是通往AI的一条路。当然还有其它的路,不过这条路现在很火很流行。为什么叫做深度学习呢? 阅读全文->

人工智能

理解weight decay

by 麦新杰 / 2019年1月3日

weight decay是一种神经网络regularization的方法,它的作用在于让weight不要那么大,实践的结果是这样做可以有效防止overfitting。至于为什么有这样的效果,有些写书的人也说不清楚。 阅读全文->

人工智能

神经网络input data normalization

by 麦新杰 / 2019年1月2日

业界的最佳实践是,对于使用sigmoid的神经网络,input数据要normalize到0-1之间,对于使用tanh的神经网络,input的数据要normalize到-0.5-0.5之间。 阅读全文->

人工智能

hyperplane超平面

by 麦新杰 / 2018年12月22日

在阅读AI相关资料的时候,我注意到了hyperplane这个词。它的含义是:In geometry, a hyperplane is a generalization of the two-dimensional plane into a larger number of dimensions. 翻译过来,就是对应高纬度空间里的平面。 阅读全文->

人工智能

如何初始化weights和bias?

by 麦新杰 / 2018年12月18日

一般都是采用符合正态分布的随机数np.random.randn来给weight和bias赋值,然后再除以一个数,这个数最好是跟前一层神经元的数量相关,或者直接除以一个很大的数,也未尝不可。 阅读全文->

人工智能

选择cost函数的思考

by 麦新杰 / 2018年12月18日

使用crossentropy,只对一个神经元的输出计算cost,自然的就会要求在接近0和接近1时,都要计算cost。而softmax输出的是概率分布,只需要计算应该是最高概率的那个位置的神经元的输出而产生的cost即可。 阅读全文->

人工智能

cost还在降低,accuracy不一定稳步走高...

by 麦新杰 / 2018年12月13日

当到了在测试集上accuracy不能提高的阶段,cost还是会因为以上所述的原因而继续降低,不过,这个时候可能已经进入了overfitting阶段。 阅读全文->

人工智能

使用mini-batch来计算梯度的思考

by 麦新杰 / 2018年12月12日

在进行梯度下降计算的过程中,我们一般都是要将一组数据(mini-batch)的梯度进行平均,然后再更新网络中神经元的w和b。为什么要采用一组数据的梯度的平均? 阅读全文->

人工智能

训练神经网络时,如果cost越来越大...

by 麦新杰 / 2018年12月7日

训练神经网络时,如果cost越来越大,一定是不对的。我们训练神经网络,目的就是让cost越来越小,进而提高网络的预测水平。本文记录一个自己遇到的cost越来越大的case。 阅读全文->

人工智能

对各种回归算法的概念理解

by 麦新杰 / 2018年12月6日

线性回归强调的是使用线性关系函数。逻辑回归强调的是,一组向离散变量的回归。非线性回归强调的是,采用非线性关系函数,比如polynomial,也可以使用神经网络来做回归。 阅读全文->

人工智能

无视无惧numpy计算时的runtime warning...

by 麦新杰 / 2018年12月3日

之前总结过一篇在训练神经网络的时候,出现大量numpy的runtime warning的分析。今天这篇继续这个话题,我想说的时候,我们其实可以通过一些手段,来无视无惧这些warning。 阅读全文->

人工智能

梯度下降BP算法的4个公式

by 麦新杰 / 2018年11月27日

深入理解了之后,梯度下降算法的这4个公式的确呈现出一种自然的美!代码实现也是基于这4个公式。 阅读全文->

人工智能

训练神经网络,numpy出现runtime warning的解决思路

by 麦新杰 / 2018年11月24日

在使用numpy进行神经网络算法计算的时候,有的时候会遇到Runtime Warning,本文记录自己的在思考解决这个问题是的一些积累和经验。 阅读全文->

人工智能

梯度下降的三种形式BGD,SGD,MBGD(MSGD)

by 麦新杰 / 2018年11月21日

BGD就是使用全部训练数据,来计算平均的梯度,然后进行一次迭代;SGD就是每次选择一个训练样本来计算梯度并进行一次迭代;MBGD是采用一个小批量的数据来计算平均梯度,并进行一次迭代。 阅读全文->

人工智能

人工智能只是统计学?

by 多肉 / 2018年8月16日

日前,2011 年诺贝尔经济学奖获得者 Thomas J. Sargent 在世界科技创新论坛上表示,人工智能其实就是统计学,只不过用了一个很华丽的辞藻,其实就是统计学。好多的公式都非常老,但是所有的人工智能利用的都是统计学来解决问题。 阅读全文->

人工智能

符号主义

by 麦新杰 / 2018年5月20日

人工智能中,符号主义的一个代表就是机器定理证明,其巅峰之作是吴文俊先生创立的吴文俊方法。和人类智慧相比,人工智能的符号主义方法依然处于相对幼稚的阶段。 阅读全文->

人工智能人工神经网络

(随机)梯度下降算法

by 麦新杰 / 2018年5月16日

本文介绍随机梯度下降算法SGD的基本思想,这个算法在训练人工神经网络的时候,非常常用和重要。 阅读全文->

人工智能人工神经网络

神经网络的架构

by 麦新杰 / 2018年4月24日

本文介绍神经网络架构中的输入层,输出层,隐藏层,MLP,前馈网络,RNN等基础概念。 阅读全文->

人工智能人工神经网络

Sigmoid神经元

by 麦新杰 / 2018年4月24日

最初的神经元是感知机(Perceptron),后来演化成为Sigmoid神经元(Sigmoid neuron),它的优点是可线性变化,并且相对于其它激活函数,有计算方面的优势。 阅读全文->

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目

AD

ppdai

©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top