首页 » 栏目 信息技术(第4分页)»

信息技术

栏目介绍:这个栏目存放麦新杰在信息技术领域(ICT)的个人学习总结和积累,有些文字内容是几年前积累的,有些是在网站制作过程中积累的,还有更多是在不断学习的过程中的积累,包括人工智能。

文章列表

信息技术Python

Python的变量引用

by 多肉 / 2019年1月27日

Python是动态类型语言,变量都是指针,可以指向任何类型的量。Python将指向相同的量的不同变量,指向了同一个地址。 阅读全文->

信息技术Python

直接调用Python类的实例

by 多肉 / 2019年1月21日

直接像调用函数一样,调用一个Python类的实例,只需要给这个类实现一个__call__函数。就像给类实现__str__函数一样,可以直接将类的实例作为print函数的参数。 阅读全文->

信息技术Python

NumPy中的基本数据类型

by 多肉 / 2019年1月18日

NumPy中的基本数据类型,float64或float 双精度浮点数:64位,正负号1位,指数11位,精度52位。 阅读全文->

信息技术

神经网络训练在Linux虚拟机的速度快过Windows

by 麦新杰 / 2019年1月16日

无意中发现了这一现象,同样的一个测试不同浮点数类型对神经网络训练效率的影响的测试用例,在外层的Windows系统运行速度反而慢于内部的Linux虚拟机(CentOS7)。 阅读全文->

信息技术

float16/32/64对神经网络计算的影响

by 麦新杰 / 2019年1月12日

神经网络的计算,或者说深度学习的计算,全都是浮点数。浮点数的类型分16/32/64(128位的不再考虑范围内,numpy和python最大只到float64),选择哪一种浮点数类型,对神经网络的计算有不同的影响。 阅读全文->

信息技术

ISO-8859-1编码(Latin1)介绍

by 多肉 / 2019年1月11日

ISO-8859-1编码是单字节编码,向下兼容ASCII,其编码范围是0x00-0xFF,0x00-0x7F之间完全和ASCII一致,0x80-0x9F之间是控制字符,0xA0-0xFF之间是文字符号。 阅读全文->

信息技术

会死掉的ReLU

by 麦新杰 / 2019年1月11日

死掉的ReLU是不可逆的,即它无法再“正常”地活过来,因为对于所有的input,它的输出都是0,这时按照BP算法规则,它的weight和bias无法得到更新。 阅读全文->

信息技术Git

初次运行Git前的配置

by 麦新杰 / 2019年1月9日

总是在新的编程环境中,忘记配置git的基本信息。这回导致git push到github之后,commit不能在用户profile的那个contribution的图表中显示出来。 阅读全文->

信息技术Bash

export设置环境变量

by 麦新杰 / 2019年1月9日

Bash的环境变量分两种,临时的,或永久的。其实,这两者的设置方法是一样的,都是使用export命令,export是Bash的一个builtins。 阅读全文->

信息技术

深度学习与bfloat16(BF16)

by 麦新杰 / 2019年1月9日

BF16的指数位比FP16多,跟FP32一样,不过小数位比较少。这样设计说明了设计者希望在16bits的空间中,通过降低精度(比FP16的精度还低)的方式,来获得更大的数值空间(Dynamic Range)。 阅读全文->

信息技术

IEEE754浮点数2008版

by 麦新杰 / 2019年1月9日

原IEEE浮点数标准之定义了32位和64位两种浮点数,即C程序员常说的单精度浮点数和双精度浮点数。新的2008版的标准,还定义了16位和128位的标准。 阅读全文->

信息技术

多通道数据下的卷积计算

by 麦新杰 / 2019年1月8日

对于单通道数据,比如MNIST,卷积的计算是清晰明确的,但是对于多通道数据,比如CIFAR10,卷积的计算是如何进行的呢? 阅读全文->

信息技术

图片的单通道和多通道

by 麦新杰 / 2019年1月8日

我理解图片的通道数,就是指图片上每个点包含的颜色值的个数。 阅读全文->

信息技术

用直觉理解Cost函数

by 麦新杰 / 2019年1月7日

在学习英文的神经网络资料的时候,经常会看到直觉这个词(intuition),国外的学者有倾向于通过直觉来理解和寻找灵感的习惯。本人很认同这种思维方式。 阅读全文->

信息技术

为什么叫深度学习(Deep Learning)?

by 多肉 / 2019年1月4日

深度学习,Deep Learning,是通往AI的一条路。当然还有其它的路,不过这条路现在很火很流行。为什么叫做深度学习呢? 阅读全文->

信息技术

理解weight decay

by 麦新杰 / 2019年1月3日

weight decay是一种神经网络regularization的方法,它的作用在于让weight不要那么大,实践的结果是这样做可以有效防止overfitting。至于为什么有这样的效果,有些写书的人也说不清楚。 阅读全文->

信息技术

神经网络input data normalization

by 麦新杰 / 2019年1月2日

业界的最佳实践是,对于使用sigmoid的神经网络,input数据要normalize到0-1之间,对于使用tanh的神经网络,input的数据要normalize到-0.5-0.5之间。 阅读全文->

信息技术Python

删除Python中List或Dict的某一个元素

by 麦新杰 / 2018年12月27日

如果想删除Python中List或Dict的某一个元素,可以使用pop成员函数,也可以使用del语句。 阅读全文->

信息技术

hyperplane超平面

by 麦新杰 / 2018年12月22日

在阅读AI相关资料的时候,我注意到了hyperplane这个词。它的含义是:In geometry, a hyperplane is a generalization of the two-dimensional plane into a larger number of dimensions. 翻译过来,就是对应高纬度空间里的平面。 阅读全文->

信息技术

如何初始化weights和bias?

by 麦新杰 / 2018年12月18日

一般都是采用符合正态分布的随机数np.random.randn来给weight和bias赋值,然后再除以一个数,这个数最好是跟前一层神经元的数量相关,或者直接除以一个很大的数,也未尝不可。 阅读全文->

信息技术

选择cost函数的思考

by 麦新杰 / 2018年12月18日

使用crossentropy,只对一个神经元的输出计算cost,自然的就会要求在接近0和接近1时,都要计算cost。而softmax输出的是概率分布,只需要计算应该是最高概率的那个位置的神经元的输出而产生的cost即可。 阅读全文->

信息技术

cost还在降低,accuracy不一定稳步走高...

by 麦新杰 / 2018年12月13日

当到了在测试集上accuracy不能提高的阶段,cost还是会因为以上所述的原因而继续降低,不过,这个时候可能已经进入了overfitting阶段。 阅读全文->

信息技术

使用mini-batch来计算梯度的思考

by 麦新杰 / 2018年12月12日

在进行梯度下降计算的过程中,我们一般都是要将一组数据(mini-batch)的梯度进行平均,然后再更新网络中神经元的w和b。为什么要采用一组数据的梯度的平均? 阅读全文->

信息技术

训练神经网络时,如果cost越来越大...

by 麦新杰 / 2018年12月7日

训练神经网络时,如果cost越来越大,一定是不对的。我们训练神经网络,目的就是让cost越来越小,进而提高网络的预测水平。本文记录一个自己遇到的cost越来越大的case。 阅读全文->

信息技术

对各种回归算法的概念理解

by 麦新杰 / 2018年12月6日

线性回归强调的是使用线性关系函数。逻辑回归强调的是,一组向离散变量的回归。非线性回归强调的是,采用非线性关系函数,比如polynomial,也可以使用神经网络来做回归。 阅读全文->

云上小悟,麦新杰的独立博客

Ctrl+D 收藏本页

栏目


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1。云上小悟网站部分内容来源于网络,转载目的是为了整合信息,收藏学习,服务大家,有些转载内容也难以判断是否有侵权问题,如果侵犯了您的权益,请及时联系站长,我会立即删除。

网站二维码
go to top