《Deep Learnning Tutorial》笔记（一）

Deep Learnning Tutorial 是李宏毅教授的一个ppt，其实可以当做一篇文章，接下来就记录一下读它的笔记。很有意思。

Introduction of Deep Learning

Machine Learning ≈ Looking for a Function。也就是找到一个函数，就能进行深度学习。

比如：
可以把一张小狗狗的照片通过一个函数识别出照片中就是小狗狗。
一个函数就够了？？？no，远远不够。。需要的是A set of function

那么一个完整的深度学习框架是什么？？
Three Steps for Deep Learning are:
1.A set of function.（定义一系列函数）
2.Goodness of function f.（函数的拟合优度）<—— Training Data（训练数据）
3.Pick the “Best” Function f.（选择最优函数）

我们可以把上面识别小狗的过程用这个框架解释一遍：
识别出小狗的函数其实是通过一系列函数进行拟合优度，就是将许许多多照片放进去进行训练，告诉它哪张是小狗，哪张不是小狗，最后不断训练选择出一个最优函数，这样以后就可以通过一张照片能识别出来。

那么接下来就学习一下Deep Learning 的三个步骤：

Neural Network（A set of function）

我呀，可以识别出各种各样的物体，为什么我可以有这样的能力？其实就是一两岁时候，我爸我妈指着一些图片或者物体告诉我这是啥，而我有一个重要的器官就是Brain，里面有很多很多的Neuron（神经元），一般地，一个人脑中约存在140亿~150亿神经元。那么无数的神经元就会组成Neural Network，就是靠它，我才能学习并识别各种各样物体。

Neuron

z=a1w1+...+akwk+...+aKwK+b
这里的w为weights，b为bias（偏差），z就是一个神经元。如果再有一个关于z的activation function(激活函数) σ(z)，就能得到Output。

我们还知道，不同的神经元之间是交错相接才构成一个神经网络的，所以Different connections leads to different networ structure，连接稍有不同就是不同的神经网络。

Each neurons can have different values of weights and biases ， weights and biases are network parameters θ。

每个神经元都有自己的参数，它们相互连接形成一个神经网络，通过一个激活函数，输入一组数据（向量），最后便输出一组数据（向量）。

从图上我们知道神经网络的完整组成是：1.input Layer。2.Hidden Layers。3.Output Layer。每一个Hidden Layers（隐藏层）都有一个个的神经元，而深度学习的“深度”就是意味着它具有许许多多的隐藏层。

而Output Layer通常使用Softmax函数，所以输出层也叫Softmax Layer。

这就是Deep Learning的一个简要介绍。