你必须知道深度学习术语

你必须知道深度学习术语

1. 神经元

我们可以说,我们使用神经元来形成大脑的基本元素。也有助于形成神经网络的基本结构。当我们得到新信息时。我们开始生成一个输出。

Neuron

同样,我们也要处理神经网络的情况。一旦神经元得到输入,我们就必须开始这个过程。此外,在处理之后生成输出。此外,我们必须发送神经元,这有助于进一步处理。或者,我们可以把它看作最终的输出。

2. 循环神经元(Recurrent Neuron)

它是深度学习术语中最好的术语之一。基本上,这个输出被发送回神经元以获取t时间戳。从下图可以看出,我们可以说输出作为输入返回了t次。同样,我们必须把不同的神经元连接起来,它们看起来就像一个展开的神经元。尽管如此,重要的是它为我们提供了一个更一般化的输出。
Recurrent Neuron

3. 神经网络(Neural Network)

神经网络是深度学习的基础。它的目标是找到一个未知函数的近似值。它是相互连接的神经元的组合。这些神经元有权重。此外,在网络训练期间需要根据错误更新偏差。激活函数对线性组合进行非线性变换。因此,生成输出。被激活神经元的组合给出了输出。

4. 循环神经网络(Recurrent Neural Network)

我们使用一个递归神经网络,特别是对序列数据。在这里,我们使用前面的输出来预测下一个输出。同样,在本例中,循环内部有一个网络。在一个隐藏的神经元中,循环具有存储信息的能力。因为它存储以前的单词来预测输出。

同样,我们必须为t时间戳发送一个隐藏层的输出。此外,你可以看到展开的神经元是这样的。一旦神经元完成所有的时间戳,它就进入下一层。因此,我们可以说输出更加一般化。虽然,之前获取的信息会在很长一段时间后保留。

此外,为了更新未展开网络的权值,我们必须再次传播误差。因此,称为时间反向传播(BPTT)。

5. 梯度消失问题(Vanishing Gradient Problem)

它是深度学习术语中最好的术语之一。当激活函数非常小时,就会出现这个问题。在反向传播时,我们必须用低梯度乘权。尽管如此,如果它们深入到网络深处,就会变得很小,而且会消失。由于这个原因,神经网络忘记了长期依赖。同时,这也成为了一个神经网络的问题。因此,依赖对网络的记忆非常重要。

我们使用激活函数来解决像ReLu这样没有小梯度的问题。

6. 梯度爆炸性问题(Exploding Gradient Problem)

我们可以说这和消失梯度问题是相反的。不同的是激活函数太大。而且,它使特定节点的权重非常高。不过,我们可以通过剪切梯度来求解。这样它就不会超过某个值。

7. 池化(Pooling)

它是深度学习术语中最好的术语之一。我们可以在卷积层之间引入池化层。基本上,使用这个来减少参数的数量。尽管如此,防止过度学习。虽然,池的大小最常见的类型是过滤层的大小(2,2)使用MAX操作。更进一步,我们可以说它会做的是,它会取原始图像中每个4*4矩阵的最大值。
Pooling

我们也可以使用其他池的应用程序,如平均池等。

8. 填充(Padding)

在这个过程中,我们必须在图像上添加一个额外的0层。因此,输出图像的大小与输入图像的大小相同。因此,称为填充。如果图像的像素是实际的或有效的,我们可以说它是有效的填充。

Padding

9. 数据增强(Data Augmentation)

它是指从给定的数据中添加新的数据,这些数据可能被证明对预测是有益的。

例如: 假设我们有一个数字“9”。我们也可以改变它的认知。但如果它在旋转或倾斜。因此,旋转有助于提高模型的精度。尽管如此,我们通过旋转来提高数据的质量。因此,需要数据扩充。

Data Augmentation

10. 分类器(Softmax)

我们使用输出层中的softmax激活函数来处理分类问题。它就像一个sigmoid函数。另外,不同之处在于输出是标准化的,总和为1。

它类似于sigmoid函数,唯一的区别是输出是标准化的,加起来等于1。如果我们有一个二进制输出,sigmoid函数就会工作。但我们也有一个多类分类的问题。在这个过程中,softmax可以很容易地为每个类分配值。同样,这也可以解释为概率。

这样看很容易——假设你要识别一个6,它看起来也有点像8。函数将为每个数字赋值,如下所示。我们可以很容易地看到,最高的概率被分配到6,其次是最高的分配到8,以此类推……

Softmax

11. 输入/输出/隐藏层(Input layer/ Output layer / Hidden layer

)
它是深度学习术语中最好的术语之一。输入层是接收输入的层。而且,它是网络的第一层。输出层是网络的最后一层。这些层是网络的隐藏层。我们使用这些隐藏层对传入的数据执行任务。因此,将生成的输出传递到下一层。尽管这两个层都是可见的,但是中间层是隐藏的。

Input layer/ Output layer / Hidden layer

12. 多层感知器(Multi-Layer perceptron)

我们不能用一个神经元来完成高度复杂的任务。因此,我们使用神经元堆栈来生成所需的输出。在最简单的网络中,我们有一个输入层、一个隐藏层和一个输出层。在这里,每一层都有多个神经元。此外,在每一层,所有的神经元都连接到下一层的所有神经元。这些网络是完全连接的网络。

MLP

13. 权重(Weights)

一旦输入进入神经元,我们就必须把它乘以权重。

例如: 如果一个神经元有两个输入,那么我们必须给每个输入分配一个相关的权重。此外,我们必须随机初始化权重。此外,在模型训练过程中,这些权重也在不断更新。虽然,在培训之后,我们必须给输入分配更高的权重。

假设输入为a,然后将权重关联到W1。然后通过节点后,输入变为*W1

Weights

14. 偏差(Bias)

除了权值,我们还需要加入另一个线性分量,这是偏差。在输入中,我们要加上权重乘法。基本上,我们必须添加偏差来改变权重乘以输入的范围。只要添加了偏差,结果就像*W1+偏差。因此,它是输入变换的一个线性分量。

15. 激活函数(Activation Function)

Activation Function

只要我们对输入应用线性分量,就会对它应用非线性函数。这是通过将激活函数应用于线性组合来实现的。因此,它将输入信号转换为输出信号。
应用激活函数后的输出将类似于f(a*W1+b),其中f()是激活函数。
在下面的图中,我们有n个输入,从X1到Xn,对应的权重是Wk1到Wkn。我们有一个给定的偏置bk,首先,我们必须将权重乘以它对应的输入。然后把这些和偏置一起加起来。设为u。

u =∑w * x + b

因此,激活函数需要作用于u即f(u)上,我们从神经元接收到的最终输出为yk = f(u)

16. 梯度下降(Gradient Descent)

我们将其作为最小化成本的优化算法。

从数学上讲,要找到一个函数的局部最小值,需要采取与函数梯度负相关的步骤。
Gradient Descent

17. 学习率

Learning Rate

我们可以说它是每次迭代中代价函数的最小值。此外,在选择学习速度时必须谨慎。因为最优解不应该很大。同样,也不应该低到网络永远收敛。

18. 反向传播(Backpropagation)

当我们想要定义一个神经网络时,我们给节点分配随机的权重和偏差值。同样,当我们收到单个迭代的输出时。因此,我们可以计算网络的误差。

在反向传播过程中,网络的运动是反向的,误差随梯度从外层流向隐层,并对权值进行更新。

19. 批次(Batches)

在神经网络训练中,我们将输入随机分成若干大小相等的块。而不是一次性发送全部输入。此外,经过训练的数据批使模型更加一般化。

20. 周期(Epochs)

我们可以将它定义为一个单一的培训迭代。然后在转发和反向传播中使用批来定义。这意味着1周期是整个输入数据的单次向前和向后传递。

21. 丢弃(Dropout)

Dropout是一种正则化技术,可防止网络过度拟合套。顾名思义,在训练期间,隐藏层中的一定数量的神经元被随机地丢弃。这意味着训练发生在神经网络的不同组合的神经网络的几个架构上。你可以将Dropout视为一种综合技术,然后将多个网络的输出用于产生最终输出。
Dropout

22. 批量归一化(Batch Normalization)

作为一个概念,批量归一化可以被认为是我们在河流中设定为特定检查点的水坝。这样做是为了确保数据的分发与希望获得的下一层相同。当我们训练神经网络时,权重在梯度下降的每个步骤之后都会改变,这会改变数据的形状如何发送到下一层。

SGD

但是下一层预期分布类似于之前所看到的分布。 所以我们在将数据发送到下一层之前明确规范化数据。

SGD1

所以,这都是关于深度学习的术语。希望你喜欢我们的解释。

结论

因此,我们看到了深度学习术语。这将有助于理解复杂的神经网络和深度学习术语。我们有深入学习术语的图片,可以让你更好地理解这一点。此外,如果您对深度学习术语有任何疑问,请在评论部分提出。

原文请看此处:
You Must Know 20 Deep Learning Terminologies