首页 » 小伙伴 麦新杰(第2分页)»

小伙伴:麦新杰

小伙伴介绍:云上小悟创建者,2B青年和文艺青年的混合体,有轻微厌世倾向,喜欢独立思考和阅读,豆豆小说迷。在读书的青涩岁月里,他就是一个傻X。现在只是想做点不靠谱的事情,天马行空的想些不靠谱的事情。通过网站进行个人学习总结,关注个人投资理财和世界经济格局。

文章列表

Before-35

脚踏石

by 麦新杰 / 2019年1月21日

看到脚踏石,就先上,一步一步走踏实了,最终可能会通过意想不到的路径,达到你想要的目的地。其实,我们每个人的目的地,都是在努力的过程中,不断变化的,能保持一个大的方向不变,都很不容易。 阅读全文->

人工智能

神经网络训练在Linux虚拟机的速度快过Windows

by 麦新杰 / 2019年1月16日

无意中发现了这一现象,同样的一个测试不同浮点数类型对神经网络训练效率的影响的测试用例,在外层的Windows系统运行速度反而慢于内部的Linux虚拟机(CentOS7)。 阅读全文->

人工智能

float16/32/64对神经网络计算的影响

by 麦新杰 / 2019年1月12日

神经网络的计算,或者说深度学习的计算,全都是浮点数。浮点数的类型分16/32/64(128位的不再考虑范围内,numpy和python最大只到float64),选择哪一种浮点数类型,对神经网络的计算有不同的影响。 阅读全文->

人工智能

会死掉的ReLU

by 麦新杰 / 2019年1月11日

死掉的ReLU是不可逆的,即它无法再“正常”地活过来,因为对于所有的input,它的输出都是0,这时按照BP算法规则,它的weight和bias无法得到更新。 阅读全文->

InfoTechGit

初次运行Git前的配置

by 麦新杰 / 2019年1月9日

总是在新的编程环境中,忘记配置git的基本信息。这回导致git push到github之后,commit不能在用户profile的那个contribution的图表中显示出来。 阅读全文->

InfoTechBash

export设置环境变量

by 麦新杰 / 2019年1月9日

Bash的环境变量分两种,临时的,或永久的。其实,这两者的设置方法是一样的,都是使用export命令,export是Bash的一个builtins。 阅读全文->

人工智能

深度学习与bfloat16(BF16)

by 麦新杰 / 2019年1月9日

BF16的指数位比FP16多,跟FP32一样,不过小数位比较少。这样设计说明了设计者希望在16bits的空间中,通过降低精度(比FP16的精度还低)的方式,来获得更大的数值空间(Dynamic Range)。 阅读全文->

InfoTech

IEEE754浮点数2008版

by 麦新杰 / 2019年1月9日

原IEEE浮点数标准之定义了32位和64位两种浮点数,即C程序员常说的单精度浮点数和双精度浮点数。新的2008版的标准,还定义了16位和128位的标准。 阅读全文->

人工智能

多通道数据下的卷积计算

by 麦新杰 / 2019年1月8日

对于单通道数据,比如MNIST,卷积的计算是清晰明确的,但是对于多通道数据,比如CIFAR10,卷积的计算是如何进行的呢? 阅读全文->

InfoTech

图片的单通道和多通道

by 麦新杰 / 2019年1月8日

我理解图片的通道数,就是指图片上每个点包含的颜色值的个数。 阅读全文->

人工智能

用直觉理解Cost函数

by 麦新杰 / 2019年1月7日

在学习英文的神经网络资料的时候,经常会看到直觉这个词(intuition),国外的学者有倾向于通过直觉来理解和寻找灵感的习惯。本人很认同这种思维方式。 阅读全文->

7788老男孩学数学

自信息和信息熵

by 麦新杰 / 2019年1月7日

自信息的定义为:一个随机事件所包含的自信息数量,只与事件发生的概率相关。随机事件发生的概率越低,在事件真的发生时,所传递出来的信息量就越大。 阅读全文->

投资理财投资笔记

无处安放的现金

by 麦新杰 / 2019年1月3日

只要一想到手里的现金在长毛,就会开始轻微的焦虑,然后检查持仓,寻找补仓“良机”。或者开启疯狂的学习模式,寻找其它的价值投资标的。一心只想让现金尽快变成资产,然后开始等待复利。 阅读全文->

人工智能

理解weight decay

by 麦新杰 / 2019年1月3日

weight decay是一种神经网络regularization的方法,它的作用在于让weight不要那么大,实践的结果是这样做可以有效防止overfitting。至于为什么有这样的效果,有些写书的人也说不清楚。 阅读全文->

人工智能

神经网络input data normalization

by 麦新杰 / 2019年1月2日

业界的最佳实践是,对于使用sigmoid的神经网络,input数据要normalize到0-1之间,对于使用tanh的神经网络,input的数据要normalize到-0.5-0.5之间。 阅读全文->

7788

机械思维

by 麦新杰 / 2018年12月30日

因为规律是确定的,所以是可知的,并且可以用简单的公式或者语言描述;(在牛顿之前,很多人并不这样认为,而简单地将规律总结为神的作用) 阅读全文->

Before-35

二八定律,跨界与精进

by 麦新杰 / 2018年12月30日

二八定律在学习方面的应用,即用二成的努力,获得某个领域八成的知识。然后呢?应用和跨界。 阅读全文->

InfoTechPython

删除Python中List或Dict的某一个元素

by 麦新杰 / 2018年12月27日

如果想删除Python中List或Dict的某一个元素,可以使用pop成员函数,也可以使用del语句。 阅读全文->

投资理财投资笔记

投资是很个性化的事情

by 麦新杰 / 2018年12月27日

2018年,我的股票市值缩水15%左右,虽跑赢大市,但也再次犯了过早抄底的悲剧。同时,开启更加多元化的个性化投资之路,开始注重不同类别资产的动态配置。 阅读全文->

人工智能

hyperplane超平面

by 麦新杰 / 2018年12月22日

在阅读AI相关资料的时候,我注意到了hyperplane这个词。它的含义是:In geometry, a hyperplane is a generalization of the two-dimensional plane into a larger number of dimensions. 翻译过来,就是对应高纬度空间里的平面。 阅读全文->

人工智能

如何初始化weights和bias?

by 麦新杰 / 2018年12月18日

一般都是采用符合正态分布的随机数np.random.randn来给weight和bias赋值,然后再除以一个数,这个数最好是跟前一层神经元的数量相关,或者直接除以一个很大的数,也未尝不可。 阅读全文->

人工智能

选择cost函数的思考

by 麦新杰 / 2018年12月18日

使用crossentropy,只对一个神经元的输出计算cost,自然的就会要求在接近0和接近1时,都要计算cost。而softmax输出的是概率分布,只需要计算应该是最高概率的那个位置的神经元的输出而产生的cost即可。 阅读全文->

人工智能

cost还在降低,accuracy不一定稳步走高...

by 麦新杰 / 2018年12月13日

当到了在测试集上accuracy不能提高的阶段,cost还是会因为以上所述的原因而继续降低,不过,这个时候可能已经进入了overfitting阶段。 阅读全文->

人工智能

使用mini-batch来计算梯度的思考

by 麦新杰 / 2018年12月12日

在进行梯度下降计算的过程中,我们一般都是要将一组数据(mini-batch)的梯度进行平均,然后再更新网络中神经元的w和b。为什么要采用一组数据的梯度的平均? 阅读全文->

人工智能

训练神经网络时,如果cost越来越大...

by 麦新杰 / 2018年12月7日

训练神经网络时,如果cost越来越大,一定是不对的。我们训练神经网络,目的就是让cost越来越小,进而提高网络的预测水平。本文记录一个自己遇到的cost越来越大的case。 阅读全文->


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top