目前深度學習中的神經網路種類繁多，用途各異。由於這個分支在指數增長，跟蹤神經網路的不同拓撲有助於更深刻的理解。在本文中，我們將展示神經網路中最常用的拓撲結構。

圖2： 感知器： 大腦中資訊儲存和組織的機率模型［3］ | 來源： 康奈爾航空實驗室的弗蘭克 · 羅森布拉特標記的感知器。紐約水牛城，1960

神經網路拓撲

1。 感知器（Perceptron（P）） ：

感知器模型也稱為單層神經網路。這個神經網路只包含兩層：

輸入層

輸出層

這種型別的神經網路沒有隱藏層。它接受輸入並計算每個節點的加權。然後，它使用啟用函式（大多數是Sigmoid函式）進行分類。

應用:

分類

編碼資料庫（多層感知器）

監控訪問資料（多層感知器）

2。 前饋（Feed Forward （FF）） ：

前饋神經網路是一種其中的節點不會形成迴圈的人工神經網路。在這種神經網路中，所有的感知器都被安排在輸入層接收輸入，輸出層產生輸出。隱藏層與外部世界沒有聯絡，這就是為什麼它們被稱為隱藏層。在前饋神經網路中，一層的每個感知器與下一層的每個節點連線。因此，所有節點都是完全連線的。需要注意的是，同一層中的節點之間沒有可見或不可見的連線。在前饋網路中沒有後迴路。因此，為了使預測誤差最小化，我們通常使用反向傳播演算法來更新權值。

應用:

資料壓縮

模式識別

計算機視覺

聲納目標識別

語音識別

手寫字元識別

3。徑向基網路（Radial Basis Network （RBN）） ：

徑向基函式網路通常用於解決函式逼近問題。區別於其它神經網路，它們有更快的學習速度和通用逼近能力。徑向基神經網路和前饋神經網路的主要區別在於，徑向基神經網路使用

徑向基函式

作為

啟用函式

。Logistic（sigmoid）函式的輸出值在0到1之間，用來判斷答案是是或否。問題是，如果我們有連續的值，則用不了前饋神經網路。徑向基神經網路確定生成的輸出和目標輸出距離多大。在連續值的情況下非常有用。總之，徑向基神經網路使用其它的啟用函式表現就和前饋神經網路一樣。

應用:

函式逼近

時間序列預測

分類

系統控制

4。 深度前饋（Deep Feed-forward （DFF）） ：

深層前饋網路是使用多個隱藏層的前饋網路。只用一層隱藏層的主要問題是過擬合，因此透過增加隱藏層，可以減少過擬合，提高泛化能力。

應用:

資料壓縮

模式識別

計算機視覺

心電圖噪聲濾波

金融預測

5。 迴圈神經網路（Recurrent Neural Network （RNN））：

迴圈神經網路是前饋神經網路的一種改進形式。在這種型別中，隱藏層中的每個神經元接收具有特定時間延遲的輸入。使用這種型別的神經網路，我們需要在當前的迭代中訪問之前的資訊。例如，當我們試圖預測一個句子中的下一個單詞時，我們首先需要知道之前使用的單詞。迴圈神經網路可以處理輸入並跨時共享任意長度和權重。模型大小不會隨著輸入的大小而增加，模型中的計算會考慮到歷史資訊。然而，這種神經網路的問題是計算速度慢。此外，它不能考慮當前狀態的任何未來輸入。它也無法記住很久以前的資訊。

應用:

機器翻譯

機器人控制

時間序列預測

語音識別

語音合成

時間序列異常檢測

節奏學習

音樂創作

6。 長/短期記憶（Long / Short Term Memory （LSTM）） ：

LSTM 網路引入了一個記憶單元。他們可以處理間隔記憶的資料。如上可見，我們可以在RNN中考慮時間延遲，但如果我們有大量的相關資料，RNN很容易失敗，而LSTMs 正好適合。另外，與 LSTMs 相比，RNN不能記憶很久以前的資料。

應用:

語音識別

寫作識別

7。 門控迴圈單位（Gated Recurrent Unit （GRU））：

GRU是LSTM的一個變種，因為它們都有相似的設計，絕大多數時候結果一樣好。GRU只有三個門，並且它們不維持內部單元狀態。

a.

更新門（Update Gate）： 決定有多少過去的知識可以傳遞給未來。

b.

重置門（Reset Gate）： 決定過去的知識有多少需要遺忘。

c.

當前記憶門（Current Memory Gate）： 重置命運的子部分。

應用:

復調音樂模型

語音訊號建模

自然語言處理

8。 自動編碼器（Auto Encoder （AE）） ：

自動編碼器神經網路是一個非監督式機器學習演算法。在自動編碼器中，隱藏神經元的數量小於輸入神經元的數量。自動編碼器中輸入神經元的數目等於輸出神經元的數目。在自動編碼器網路中，我們訓練它來顯示輸出，輸出和輸入儘可能接近，這迫使自動編碼器找到共同的模式和歸納資料。我們使用自動編碼器來更小的表示輸入。我們還可以從壓縮的資料中重建原始資料。該演算法相對簡單，因為自動編碼器要求輸出與輸入相同。

編碼器： 轉換輸入資料到低維

解碼器： 重構壓縮資料

應用:

分類

聚類

特徵壓縮

9。 變分自動編碼器（Variational Autoencoder （VAE）） ：

變分自動編碼器（VAE）使用一種機率方法來描述觀測。它顯示了一個特徵集中每個屬性的機率分佈。

應用:

在句子之間插入

影象自動生成

10。 去噪自動編碼器（Denoising Autoencoder （DAE） ：

在這種自動編碼器中，網路不能簡單地將輸入複製到其輸出，因為輸入也包含隨機噪聲。在 DAE 上，我們製造它是為了降低噪聲並在其中產生有意義的資料。在這種情況下，該演算法迫使隱藏層學習更魯棒的特徵，以便輸出是噪聲輸入的更精確版本。

應用:

特徵提取

降維

11。稀疏自動編碼器（Sparse Autoencoder （SAE）） ：

在稀疏自動編碼器網路中，我們透過懲罰隱藏層的啟用來構造我們的損失函式，這樣當我們將一個樣本輸入網路時，只有少數節點被啟用。這種方法背後的直覺是，例如，如果一個人聲稱自己是A、 B、 C 和 D 學科的專家，那麼這個人可能在這些科目上更多的是一個通才。然而，如果這個人只是聲稱自己專注於學科D，那麼大機率預期可以從這個人的學科 D 的知識中得到啟發。

應用:

特徵提取

手寫數字識別

12。 馬爾可夫鏈（Markov Chain （MC）） ：

馬爾可夫鏈是一個基於某些機率規則經歷從一種狀態到另一種狀態轉換的數學系統。過渡到任何特定狀態的機率完全取決於當前狀態和經過的時間。

例如，一些可能的狀態可以是：

信件

數字

天氣情況

棒球比分

股票表現

應用:

語音識別

資訊及通訊系統

排隊論

統計學

13。 霍菲特網路（Hopfield Network （HN））：

在 Hopfield 神經網路中，每個神經元都與其它神經元直接相連。在這個網路中，神經元要麼是開的，要麼是關的。神經元的狀態可以透過接受其它神經元的輸入而改變。我們通常使用 Hopfield 網路來儲存模式和記憶。當我們在一組模式上訓練一個神經網路，它就能夠識別這個模式，即使它有點扭曲或不完整。當我們提供不完整的輸入時，它可以識別完整的模式，這將返回最佳的猜測。

應用:

最佳化問題

影象檢測與識別

醫學影象識別

增強 X 射線影象

14。 波茨曼機（Boltzmann Machine （BM））：

波茨曼機網路包括從一個原始資料集中學習一個機率分佈，並使用它來推斷沒見過的資料。在 BM 中，有輸入節點和隱藏節點，一旦所有隱藏節點的狀態發生改變，輸入節點就會轉換為輸出節點。例如： 假設我們在核電站工作，安全必須是第一位的。我們的工作是確保動力裝置中的所有元件都可以安全使用——每個元件都會有相關的狀態，使用布林值1表示可用，0表示不可用。然而，還有一些組成部分，我們不可能定期測量它們的狀態。

此外，沒有資料可以告訴我們，如果隱藏的部件停止工作，發電廠什麼時候會爆炸。在這種情況下，我們構建了一個模型，當元件更改其狀態時，它會發出通知。這樣，我們將得到通知檢查該元件，並確保動力裝置的安全。

應用：

降維

分類

迴歸

協同過濾

特徵學習

15。 受限玻爾茲曼機（Restricted Boltzmann Machine （RBM））：

RBM 是 BM 的一種變種。在這個模型中，輸入層和隱藏層的神經元之間可能有對稱的連線。需要注意的一點是，每一層內部都沒有內部連線。相比之下，玻爾茲曼機可能有內部連線的隱藏層。這些限制讓模型的訓練更高效。

應用:

過濾

特徵學習

分類

風險檢測

商業及經濟分析

16。深度信念網路（Deep Belief Network （DBN）） ：

深度信念網路包含許多隱藏層。我們可以使用無監督演算法呼叫 DBN，因為它首先學習而不需要任何監督。DBN 中的層起著特徵檢測器的作用。經過無監督訓練後，我們可以用監督方法訓練我們的模型進行分類。我們可以將 DBN 表示為受限玻耳茲曼機（RBM）和自動編碼器（AE）的組合，最後的 DBN 使用機率方法得到結果。

應用:

檢索檔案/影象

非線性降維

17。 深度卷積網路（Deep Convolutional Network （DCN）） ：

卷積神經網路是一種神經網路，主要用於影象分類、影象聚類和目標識別。DNN 允許無監督地構造層次影象表示。DNN 被用來新增更復雜的特徵，以便它能夠更準確地執行任務。

應用:

識別面部，街道標誌，腫瘤

影象識別

影片分析

自然語言處理

異常檢測

藥物發現

跳棋遊戲

時間序列預測

18。 反捲積神經網路（Deconvolutional Neural Networks （DN）） ：

反捲積網路是一種反向過程的卷積神經網路。儘管反捲積網路在執行方式上類似於 CNN，但它在 AI 中的應用是非常不同的。反捲積網路有助於在以前認為有用的網路中找到丟失的特徵或訊號。卷積網路可能由於與其它訊號卷積而丟失訊號。反捲積網路可以接受一個向量輸入並還原成照片。

應用:

影象超解析度

影象的表面深度估計

光流估計

19。 深度卷積逆圖形網路（Deep Convolutional Inverse Graphics Network （DC-IGN）） ：

深度卷積逆圖形網路旨在將圖形表示與影象聯絡起來。它使用元素，如照明，物件的位置，紋理，和其它方面的影象設計來進行非常複雜的影象處理。它使用不同的層來處理輸入和輸出。深度卷積逆圖形網路利用初始層透過各種卷積和最大池化進行編碼，然後利用後續層進行展開解碼。

應用:

人臉處理

20。 生成對抗網路（Generative Adversarial Network （GAN）） ：

給定訓練資料，GANs 學習用與訓練資料相同的統計資料生成新的資料。例如，如果我們對 GAN 模型進行照片訓練，那麼一個經過訓練的模型就能夠生成人眼看起來真實可信的新照片。GAN的目標是區分真實結果和合成結果，以便產生更真實的結果。

應用:

創造新的人體姿勢

照片變Emoji

面部老化

超解析度

服裝變換

影片預測

21。 液態機（Liquid State Machine （LSM））：

液態機是一種特殊的脈衝神經網路。液態機由大量的神經元組成。這裡，每個節點接收來自外部源和其它節點的輸入，這些輸入可能隨時間而變化。請注意，液態機上的節點是隨機連線的。在液態機中，啟用函式替換為閾值級別。只有當液態機達到閾值水平時，一個特定的神經元才會發出輸出。

應用:

語音識別

計算機視覺

22。 極限學習機（Extreme Learning Machine （ELM））：

傳統系統處理大量資料的主要缺點是：

基於梯度演算法學習速度慢

迭代調優所有引數

極限學習機隨機選擇隱藏節點，然後透過分析確定輸出權重。因此，這些演算法比一般的神經網路演算法更快。另外，在極限學習機網路中，隨機分配的權重通常不會更新。它只需一步就能學會輸出權重。

應用:

分類

迴歸

聚類

稀疏逼近

特徵學習

23。 回聲狀態網路（Echo State Network （ESN）） ：

ESN是迴圈神經網路的一個子型別。這裡每個輸入節點接收到一個非線性訊號。在 ESN 中，隱藏的節點是稀疏連線的。隱節點的連通度和權值是隨機分配的。在ESN上，最終的輸出權重是可訓練更新的。

應用:

時間序列預測

資料探勘

24。深度殘差網路（Deep Residual Network （DRN）） ：

具有多層結構的深層神經網路訓練很難，且需要花費大量的時間。它也可能導致結果退化。深度殘差網路即使有很多層也可以防止結果退化。使用殘差網路，其輸入的一些部分會傳遞到下一層。因此，這些網路可以相當深（它可能包含大約300層）。

應用:

影象分類

目標檢測

語義分割

語音識別

語言識別

25。 Kohonen網路（Kohonen Networks （KN） ）：

Kohonen 網路是一種無監督演算法。Kohonen 網路也稱為自組織對映，當我們的資料分散在多個維度，而我們希望它只有一個或兩個維度時，這非常有用。它可以認為是一種降維的方法。我們使用 Kohonen 網路視覺化高維資料。他們使用競爭學習而不是糾錯學習。

各種拓撲結構:

矩形網格拓撲

六邊形網格拓撲

應用：

降維

水質評價與預測

沿岸水資源管理

26。 支援向量機（Support Vector Machines （SVM））：

支援向量機神經網路是支援向量機和神經網路的混合演算法。對於一組新的樣本，它總是試圖分為兩類： 是或否（1或0）。支援向量機通常用於二分類。這些通常不被認為是神經網路。

應用:

人臉檢測

文字分類

分類

生物資訊學

手寫識別

27。 神經圖靈機（Neural Turing Machine （NTM）） ：

神經圖靈機結構包含兩個主要元件：

神經網路控制器

記憶庫

在這個神經網路中，控制器透過輸入和輸出向量與外界進行互動。它還透過與記憶矩陣互動來執行選擇性讀寫操作。圖靈機被認為在計算上等同於現代計算機。因此，NTM透過與外部儲存的互動，擴充套件了標準神經網路的能力。

應用:

機器人

製造人造大腦

TAG: 神經網路網路輸入編碼器節點