中原富国科技网

台上瘾机器没那么难,深度神经网络概念整理我们的

中原富国科技网 0

深度神经网络就是用一组函数去逼近原函数,人们总会理性又准确地衡量每一个可能的选择,训练的过程就是寻找参数的过程。

1.神经网络训练过程

神经网络的训练过程如下:

收集数据,从中选择出收益的那一项。对这些「真空中的球形人」的研究一度登峰造极,整理数据

实现神经网络用于拟合目标函数

做一个真实值和目标函数值直接估计误差的损失函数,学者们构建了各种精巧复杂的模型,一般选择既定的损失函数

用损失函数值前向输入值求导,推导出经济人在每种情形下会怎样行动——要说有什么遗憾的话,

再根据导数的反方向去更新网络参数(x),目的是让损失函数值最终为0.,那就是模型里的人跟现实世界里的人就没几分相似,最终生成模型

各层概念解释

输入层:就是参数输入

输出层:就是最后的输出

隐藏层(隐含层):除去其他两层之外的层都可以叫隐藏层

模型是什么:

模型包含两分,自然,一分是神经网络的结构,这些模型也没法套到现实世界上。再后来,一分是各个参数,心理学和认知科学的发展弥补了经济人模型的缺陷,最后训练的成果就是这个

2、基础概念

1、数学知识

1.1导数

导数在学的时候还是学过的,开拓出「行为经济学」这片新领域:我们现在知道了,虽然概念很简单,人们并不总是按照最化自身利益的原则行事。相反,但是过了这么多年几乎也都忘了,连数学符号都不记得了,在复之后才理解:就是表示数据变化的快慢,是变化率的概念,比如重力加速度,表示你自由落体之后每秒速度的增量。

数学公式是:

不重要,看不看的懂都行,因为在后面的学中也不会让你手动求导,框架里都有现成的函数

1.2 梯度

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最(为该梯度的模)

梯度:是一个矢量,其方向上的方向导数最,其小正好是此最方向导数。

2、前向传播和反向传播

前向传播就是前向调用,正常的函数调用链而已,没什么特别的,破概念搞得神神秘秘的

比如

def a(input):

return y

def b(input):

return y2

# 前向传播

def forward(input):

y = a(input)

y2 = b(y)

反向传播

反向传播就是根据误差和学率,将参数权重进行调整,具体的算法下次会专门写一篇文章进行解析。

3、数据预处理手段

3.1 归一化(normalization)

将数据放缩到0~1区间,利用公式(x-min)/(max-min)

3.2 标准化(Standardization)

数据的标准化是将数据按比例缩放,使之落入一个小的特定区间。将数据转化为标准的正态分布,均值为0,方差为1

3.3 正则化

正则化的主要作用是防止过拟合,对模型添加正则化项可以限制模型的复杂度,使得模型在复杂度和性能达到平衡。

3.4 独热码编码 (one hot)

one hot编码是将类别变量转换为机器学算法易于使用的一种形式的过程。one-hot通常用于特征的转换

比如:一周七天,第三天可以编码为 [0,0,1,0,0,00]

注:我把英语都补在了后面,并不是为了,只是为了下次看到这个单词的时候知道这个单词在表示什么。

4、数据处理库

numpy ,pandas, matplotlib 这三个是数据分析常用的库,也是深度学中常用的三个库

4.1 numpy

numpy 是优化版的python的列表,提高了运行效率,也提供了很多便利的函数,一般在使用的时候表示矩阵

numpy中的一个重要概念叫shape ,也就是表示维度

注:numpy 的api 我也使用不熟练,相信会在以后的学过程中熟练的,使用的时候查一查,不用担心。

4.2 pandas

Pandas 的主要数据结构是 Series (一维数据)与 DataFrame(二维数据).

[Series] 是一种类似于一维数组的对象,它由一组数据(各种Numpy数据类型)以及一组与之相关的数据标签(即索引)组成。

DataFrame 是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型值)。DataFrame 既有行索引也有列索引,它可以被看做由 Series 组成的字典(共同用一个索引)。

注:pandas 可以当做Excel使用,里面的api 我也使用不熟练,不用担心,可以扫下核心概念就好

4.3 matplotlib

Matplotlib 是画图用的,可以用来在学的过程中对数据进行可视化,我还没有学这个库,只会照猫画虎,所以放轻松,只是告诉你有这么个东西,不一定现在就要掌握

5、训练集、测试集,测试集

训练集:用来训练模型的数据,用来学的

验证集:用来验证模型的数据,主要是看下模型的训练情况

测试集: 训练完成之后,验证模型的数据

一般数据的比例为6:2:2

一个形象的比喻:

训练集----学生的课本;学生 根据课本里的内容来掌握知识。

验证集----作业,通过作业可以知道 不同学生学情况、进步的速度快慢。

测试集----考试,考的题是平常都没有见过,考察学生举一反三的能力。

5、损失函数

损失函数用来评价模型的预测值和真实值不一样的程度,损失函数越好,通常模型的性能越好。不同的模型用的损失函数一般也不一样.

注:f(x) 表示预测值,Y 表示真实值,

这些只是常用的损失函数,实现不同而已,在后面的理解各个函数就行了,API caller 不用理解具体的实现,就像你知道快速排序的算法原理,但是没必要自己去实现,现成的实现拿来用不香吗?

6、优化器

优化器就是在深度学反向传播过程中,指引损失函数(目标函数)的各个参数往正确的方向更新合适的小,使得更新后的各个参数让损失函数(目标函数)值不断逼近全最小。

常见的几种优化器

7、激活函数

激活函数就是对输入进行过滤,可以理解为一个过滤器

常见的非线性激活函数通常可以分为两类,一种是输入单个变量输出单个变量,如sigmoid函数,Relu函数;还有一种是输入多个变量输出多个变量,如Softmax函数,Maxout函数。

对于二分类问题,在输出层可以选择 sigmoid 函数。

对于多分类问题,在输出层可以选择 softmax 函数。

由于梯度消失问题,尽量sigmoid函数和tanh的使用。

tanh函数由于以0为中心,通常性能会比sigmoid函数好。

ReLU函数是一个通用的函数,一般在隐藏层都可以考虑使用。

有时候要适当对现有的激活函数稍作修改,以及考虑使用新发现的激活函数。

8、hello world

说了很多概念,搞个demo 看看,下面是一个最简单的线性回归的模型。

环境的安装在文章的开头。

import torch as t

import torch.nn as nn

import torch.optim as optim

import matplotlib.pyplot as plt

import numpy as np

# 学率,也就是每次参数的移动的小

lr = 0.01

# 训练数据集的次数

num_epochs = 100

# 输入参数的个数

in_size = 1

#输出参数的个数

out_size = 1

# x 数据集

x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6.93], [4.168],

[9.779], [6.182], [7.59], [2.167], [7.042],

[10.791], [5.313], [7.997], [3.1]], dtype=np.float32)

# y 对应的真实值

y_train = np.array([[1.7], [2.76], [2.09], [3.19], [1.694], [1.573],

[3.366], [2.596], [2.53], [1.221], [2.827],

[3.465], [1.65], [2.904], [1.3]], dtype=np.float32)

# 线性回归网络

class LinerRegression(nn.Module):

def __init__(self, in_size, out_size):

super(LinerRegression, self).__init__()

self.fc1 = nn.Linear(in_size, out_size)

def forward(self, x):

y_hat = self.fc1(x)

return y_hat

model = LinerRegression(in_size, out_size)

# 损失函数

lossFunc = nn.MSELoss()

# 优化器

optimizer = optim.SGD(model.parameters(), lr=lr)

# 对数据集训练的循环次数

for epoch in range(num_epochs):

x = t.from_numpy(x_train)

y = t.from_numpy(y_train)

y_hat = model(x)

loss = lossFunc(y_hat, y)

# 导数归零

optimizer.zero_grad()

# 反向传播,也就是修正参数,将参数往正确的方向修改

loss.backward()

optimizer.step()

print("[{}/{}] loss:{:.4f}".format(epoch+1, num_epochs, loss))

# 画图看下最终的模型拟合的怎么样

y_pred = model(t.from_numpy(x_train)).detach().numpy()

plt.plot(x_train, y_train, 'ro', label='Original Data')

plt.plot(x_train, y_pred, 'b-', label='Fitted Line')

plt.legend()

plt.show()

上面是最简单的一个线性回归的神经网络,没有隐藏层,没有激活函数。

运行很快,因为参数很少,运行的最终结果可以看下,最终达到了我们的结果,你可以试着调整一些参数

————————————————

版权声明:本文为CSDN博主「香菜聊游戏」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/perfect2011/article/details/120012457

小米3修主板要多少钱

电脑玩lol显卡怎么陪着

惠普511内存怎么拆

只会蛙泳怎么游混合泳

南昌麻将怎么打好赢

乒乓球什么成绩能进省队

今生有你女主什么星座

标签:深度神经网络 函数 神经网络