从零开始用Python构建神经网络

从零开始用Python构建神经网络

成都创新互联公司专注于网站建设|成都网站维护|优化|托管以及网络推广，积累了大量的网站设计与制作经验，为许多企业提供了网站定制设计服务，案例作品覆盖成都墙体彩绘等行业。能根据企业所处的行业与销售的产品，结合品牌形象的塑造，量身策划品质网站。

动机：为了更加深入的理解深度学习，我们将使用 python 语言从头搭建一个神经网络，而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络的内部工作原理，对数据科学家来说至关重要。

这篇文章的内容是我的所学，希望也能对你有所帮助。

神经网络是什么?

介绍神经网络的文章大多数都会将它和大脑进行类比。如果你没有深入研究过大脑与神经网络的类比，那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解。

神经网络包括以下组成部分

? 一个输入层，x

? 任意数量的隐藏层

? 一个输出层，?

? 每层之间有一组权值和偏置，W and b

? 为隐藏层选择一种激活函数，σ。在教程中我们使用 Sigmoid 激活函数

下图展示了 2 层神经网络的结构(注意：我们在计算网络层数时通常排除输入层)

2 层神经网络的结构

用 Python 可以很容易的构建神经网络类

训练神经网络

这个网络的输出 ? 为：

你可能会注意到，在上面的等式中，输出 ? 是 W 和 b 函数。

因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络。

每步训练迭代包含以下两个部分:

? 计算预测结果 ?，这一步称为前向传播

? 更新 W 和 b,，这一步成为反向传播

下面的顺序图展示了这个过程：

前向传播

正如我们在上图中看到的，前向传播只是简单的计算。对于一个基本的 2 层网络来说，它的输出是这样的：

我们在 NeuralNetwork 类中增加一个计算前向传播的函数。为了简单起见我们假设偏置 b 为0：

但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差)。这就要用到损失函数。

损失函数

常用的损失函数有很多种，根据模型的需求来选择。在本教程中，我们使用误差平方和作为损失函数。

误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值。

训练的目标是找到一组 W 和 b，使得损失函数最好小，也即预测值和真实值之间的距离最小。

反向传播

我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置。

为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数。

回想微积分中的概念，函数的导数就是函数的斜率。

梯度下降法

如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图)。这种方式被称为梯度下降法。

但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们。因此，我们需要运用链式求导发在来帮助计算导数。

链式法则用于计算损失函数对 W 和 b 的导数。注意，为了简单起见。我们只展示了假设网络只有 1 层的偏导数。

这虽然很简陋，但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值。

现在我们将反向传播算法的函数添加到 Python 代码中

为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：

Youtube：

整合并完成一个实例

既然我们已经有了包括前向传播和反向传播的完整 Python 代码，那么就将其应用到一个例子上看看它是如何工作的吧。

神经网络可以通过学习得到函数的权重。而我们仅靠观察是不太可能得到函数的权重的。

让我们训练神经网络进行 1500 次迭代，看看会发生什么。 注意观察下面每次迭代的损失函数，我们可以清楚地看到损失函数单调递减到最小值。这与我们之前介绍的梯度下降法一致。

让我们看看经过 1500 次迭代后的神经网络的最终预测结果：

经过 1500 次迭代训练后的预测结果

我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值。

注意预测值和真实值之间存在细微的误差是允许的。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力。

下一步是什么?

幸运的是我们的学习之旅还没有结束，仍然有很多关于神经网络和深度学习的内容需要学习。例如：

? 除了 Sigmoid 以外，还可以用哪些激活函数

? 在训练网络的时候应用学习率

? 在面对图像分类任务的时候使用卷积神经网络

我很快会写更多关于这个主题的内容，敬请期待!

最后的想法

我自己也从零开始写了很多神经网络的代码

虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理。但是我觉得对于有追求的数据科学家来说，理解内部原理是非常有益的。

这种练习对我自己来说已成成为重要的时间投入，希望也能对你有所帮助

怎样用python构建一个卷积神经网络

用keras框架较为方便

首先安装anaconda，然后通过pip安装keras

以下转自wphh的博客。

#coding:utf-8

'''

GPU run command:

THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32 python cnn.py

CPU run command:

python cnn.py

2016.06.06更新：

这份代码是keras开发初期写的，当时keras还没有现在这么流行，文档也还没那么丰富，所以我当时写了一些简单的教程。

现在keras的API也发生了一些的变化，建议及推荐直接上keras.io看更加详细的教程。

'''

#导入各种用到的模块组件

from __future__ import absolute_import

from __future__ import print_function

from keras.preprocessing.image import ImageDataGenerator

from keras.models import Sequential

from keras.layers.core import Dense, Dropout, Activation, Flatten

from keras.layers.advanced_activations import PReLU

from keras.layers.convolutional import Convolution2D, MaxPooling2D

from keras.optimizers import SGD, Adadelta, Adagrad

from keras.utils import np_utils, generic_utils

from six.moves import range

from data import load_data

import random

import numpy as np

np.random.seed(1024)  # for reproducibility

#加载数据

data, label = load_data()

#打乱数据

index = [i for i in range(len(data))]

random.shuffle(index)

data = data[index]

label = label[index]

print(data.shape[0], ' samples')

#label为0~9共10个类别，keras要求格式为binary class matrices,转化一下，直接调用keras提供的这个函数

label = np_utils.to_categorical(label, 10)

###############

#开始建立CNN模型

###############

#生成一个model

model = Sequential()

#第一个卷积层，4个卷积核，每个卷积核大小5*5。1表示输入的图片的通道,灰度图为1通道。

#border_mode可以是valid或者full，具体看这里说明：

#激活函数用tanh

#你还可以在model.add(Activation('tanh'))后加上dropout的技巧: model.add(Dropout(0.5))

model.add(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28))) 

model.add(Activation('tanh'))

#第二个卷积层，8个卷积核，每个卷积核大小3*3。4表示输入的特征图个数，等于上一层的卷积核个数

#激活函数用tanh

#采用maxpooling，poolsize为(2,2)

model.add(Convolution2D(8, 3, 3, border_mode='valid'))

model.add(Activation('tanh'))

model.add(MaxPooling2D(pool_size=(2, 2)))

#第三个卷积层，16个卷积核，每个卷积核大小3*3

#激活函数用tanh

#采用maxpooling，poolsize为(2,2)

model.add(Convolution2D(16, 3, 3, border_mode='valid')) 

model.add(Activation('relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

#全连接层，先将前一层输出的二维特征图flatten为一维的。

#Dense就是隐藏层。16就是上一层输出的特征图个数。4是根据每个卷积层计算出来的：(28-5+1)得到24,(24-3+1)/2得到11，(11-3+1)/2得到4

#全连接有128个神经元节点,初始化方式为normal

model.add(Flatten())

model.add(Dense(128, init='normal'))

model.add(Activation('tanh'))

#Softmax分类，输出是10类别

model.add(Dense(10, init='normal'))

model.add(Activation('softmax'))

#############

#开始训练模型

##############

#使用SGD + momentum

#model.compile里的参数loss就是损失函数(目标函数)

sgd = SGD(lr=0.05, decay=1e-6, momentum=0.9, nesterov=True)

model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=["accuracy"])

#调用fit方法，就是一个训练过程. 训练的epoch数设为10，batch_size为100．

#数据经过随机打乱shuffle=True。verbose=1，训练过程中输出的信息，0、1、2三种方式都可以，无关紧要。show_accuracy=True，训练时每一个epoch都输出accuracy。

#validation_split=0.2，将20%的数据作为验证集。

model.fit(data, label, batch_size=100, nb_epoch=10,shuffle=True,verbose=1,validation_split=0.2)

"""

#使用data augmentation的方法

#一些参数和调用的方法，请看文档

datagen = ImageDataGenerator(

featurewise_center=True, # set input mean to 0 over the dataset

samplewise_center=False, # set each sample mean to 0

featurewise_std_normalization=True, # divide inputs by std of the dataset

samplewise_std_normalization=False, # divide each input by its std

zca_whitening=False, # apply ZCA whitening

rotation_range=20, # randomly rotate images in the range (degrees, 0 to 180)

width_shift_range=0.2, # randomly shift images horizontally (fraction of total width)

height_shift_range=0.2, # randomly shift images vertically (fraction of total height)

horizontal_flip=True, # randomly flip images

vertical_flip=False) # randomly flip images

# compute quantities required for featurewise normalization 

# (std, mean, and principal components if ZCA whitening is applied)

datagen.fit(data)

for e in range(nb_epoch):

print('-'*40)

print('Epoch', e)

print('-'*40)

print("Training...")

# batch train with realtime data augmentation

progbar = generic_utils.Progbar(data.shape[0])

for X_batch, Y_batch in datagen.flow(data, label):

loss,accuracy = model.train(X_batch, Y_batch,accuracy=True)

progbar.add(X_batch.shape[0], values=[("train loss", loss),("accuracy:", accuracy)] )

"""

python入门教程

python入门教程如下：

1、编程环境的安装与使用。比如Python的学习一般推荐软件自带的IDLE，简单好用。

2、掌握输入、输入语句的使用。输入语句可以让计算机知道你通过键盘输入了什么，输出语句可以让你知道计算机执行的结果，其中“”里面的内容是原样输出，多个输出项之间用，隔开。

3、掌握运算（包含计算、逻辑）表达式使用。这个主要是用+、-、*、/、（）、、、=、=等符号连接起来的表示计算或者比较的式子，让计算机能做计算机或者判断，一个是计算表达式，一个是所谓的逻辑表达式。

4、特别要掌握赋值表达式的使用，这个主要是等于号的理解。在计算机编程语言里，等于号一般不表示相等，而是表示赋值，也就是将等号右边的内容记入左边的名字里。

5、理解并熟练使用变量，变量的字面意思就是会变化的量。其实质的作用记忆信息，通过给要记忆的内容取个名字，然后通过这个名字就可以找到记忆的内容，有点类似于数学中的字母表示数。

6、选择结构，这是让计算机具有一定的选择、判断能力的基础。比如我们常见的登录，VIP就要用到选择结构，因为我们把各种情况都列举在程序里了，程序才会有各种变化。

7、循环结构，这是让计算机具有重复的能力。前提是事件要具有一定的规律性，比如1，3，5，7，9，如果没有规律，也可能通过列表等方法构造规律。

交叉熵损失函数是什么？

平滑函数。

交叉熵损失函数，也称为对数损失或者logistic损失。当模型产生了预测值之后，将对类别的预测概率与真实值（由0或1组成）进行不比较，计算所产生的损失，然后基于此损失设置对数形式的惩罚项。

在神经网络中，所使用的Softmax函数是连续可导函数，这使得可以计算出损失函数相对于神经网络中每个权重的导数（在《机器学习数学基础》中有对此的完整推导过程和案例，这样就可以相应地调整模型的权重以最小化损失函数。

扩展资料：

注意事项：

当预测类别为二分类时，交叉熵损失函数的计算公式如下图，其中y是真实类别（值为0或1），p是预测类别的概率（值为0~1之间的小数）。

计算二分类的交叉熵损失函数的python代码如下图，其中esp是一个极小值，第五行代码clip的目的是保证预测概率的值在0~1之间，输出的损失值数组求和后，就是损失函数最后的返回值。

参考资料来源：百度百科-交叉熵

参考资料来源：百度百科-损失函数

python入门教程(非常详细)

python入门教程如下：

准备材料：windows电脑、python

1、这里简单告用python软件编写的一个关于货物售价折扣方面的一个计算程序，首先打开python软件。

2、进入python后，会出现如图所示界面，按照图中箭头指示，先选择File选项，然后在下拉菜单中选择New file选项。

3、选择完毕后，会出现一个新的界面，如图箭头和红色框指示。

4、进入这个新的界面，在里面输入自己想编辑的程序，如图所示是编写的一个关于货物售价折扣方面的一个简单的计算程序。

5、程序输入完毕后，按照图中箭头和红色框指示，先选择Run选项，然后在下拉菜单中选择Run Module（注：除此方法外还可以点击键盘F5）。

6、此时会在原界面出现如图所示的字样，这是因为编写程序编辑好的，此时可以输入一个数字，然后回车，又会让输入一个折扣，输入完即可得出最后售价结果。

7、如图所示，这里输入的原价是10，折扣是0.2，故此系统根据编写的程序计算除了打折后的价格为2。

又涨知识了，清华大学教授推荐Python400集视频教程，拿走

Python是世界上功能最多，功能最强大的编程语言之一。通过Python，可以编写自己的应用程序，创建 游戏 ，设计算法，甚至编程机器人。而且Python的热度现在一直高居不下，比如，完成同一个任务，C语言要写1000行代码，Java只需要写100行，而Python可能只要20行。

清华北大教授万赞Python全集视频教程，这就是你需要的

如果你想选择一种语言来入门编程，那么Python绝对是首选！其非常接近自然语言，精简了很多不必要的分号和括号，非常容易阅读理解。编程简单直接，更适合初学编程者，让其专注于编程逻辑，而不是困惑于晦涩的语法细节上，比起JAVA、C#和C/C++这些编程语言相对容易很多。

因此，即使是非计算机专业或者没有基础的小白，也能分分钟入门。

但是呢，前提是一定要坚持学习！！！

阶段一：Python基础知识和高级特性

阶段二：Linux基础

阶段三：数据库原理和sql优化

阶段四：前端web开发

阶段五：Python Web后端开发

阶段六：爬虫和数据分析

阶段七：Python人工智能

Python基础语法的掌握

清华北大教授万赞Python全集视频教程，这就是你需要的

1. Python基础语法的掌握是必备技能，认识到了Python语言的优雅，即使你之前用过其他开发语言，也会转到Python的行列中

2. 掌握字符串的解析

3. 未来你会意识到各种各样的程序直接就是把字符串传来传去，包括海量日志分析，日志即字符串，所以字符串操作就是未来做项目的基础对文件的操作

4. Linux中一切皆文件，对文件的操作掌握了那么你会发现在此时你有能力将之前的Linux中的Shell脚本改写成Python脚本，至于为啥要改写？脚本更加简洁、易读嘛！

5. 掌握面向对象的思想

6. 面向对象思想对于开发程序员来说，不管未来你选择做哪一方面，使用什么语言开发，都是必须要掌握的，对于一个开发企业级的持续可扩展的项目至关重要

7. 掌握常见设计模式和排序算法

8. 设计模式的掌握可以让你的项目变得更好维护，是一种经验的总结，排序算法很多种，项目经常会有取TopN的需求，所以常见设计模式和算法排序面试官们很喜欢问，也是为后面的项目打好一个扎实的基础

下面是北京大学毕业的高琪老师亲手打造的python学习路线和视频。共分为7大阶段.

现在免费分享给大家哦！获取在文末！！！

清华北大教授万赞Python全集视频教程，这就是你需要的

清华北大教授万赞Python全集视频教程，这就是你需要的

第一阶段

清华北大教授万赞Python全集视频教程，这就是你需要的

python开发基础和核心特性

1.变量及运算符

2.分支及循环

3.循环及字符串

4.列表及嵌套列表

5.字典及项目练习

6.函数的使用

7.递归及文件处理

8.文件

9.面向对象

10.设计模式及异常处理

11.异常及模块的使用

12.坦克大战

13.核心编程

14.高级特性

15.内存管理

第二阶段

清华北大教授万赞Python全集视频教程，这就是你需要的

数据库和linux基础

1.并发编程

2.网络通信

3.MySQL

4.Linux

5.正则表达式

第三阶段

清华北大教授万赞Python全集视频教程，这就是你需要的

web前端开发基础

1.html基本标签

2.css样式

3.css浮动和定位

4.js基础

5.js对象和函数

6.js定时器和DOM

7.js事件响应

8.使用jquery

9.jquery动画特效

10.Ajax异步网络请求

第四阶段

清华北大教授万赞Python全集视频教程，这就是你需要的

Python Web框架阶段

1.Django-Git版本控制

2.Django-博客项目

3.Django-商城项目

4.Django模型层

5.Django入门

6.Django模板层

7.Django视图层

8.Tornado框架

第五阶段

清华北大教授万赞Python全集视频教程，这就是你需要的

Python 爬虫实战开发

1.Python爬虫基础

2.Python爬虫Scrapy框架

以上这python自学教程我已经为大家打包准备好了，希望对正在学习的你有所帮助！

文章标题：python损失函数教程的简单介绍
文章起源：http://azwzsj.com/article/hjogpc.html