AI 摘要

全連接層(Fully Connected Layer)：神經網路的基本構件

本文內容聚焦於全連接層（Fully Connected Layer）作為神經網路的基本構件，展示了連接主義計算的核心思想，全連接層也稱為密集層（Dense Layer），是人工神經網路中最基礎且核心的架構單元，構成了傳統多層感知機的主體，並在包括卷積神經網路在內的許多現代網路架構中扮演關鍵角色，負責進行高階特徵的整合與最終決策。

日常的例子

當你看到狗，你的大腦可能會有一大部分的神經元受到激活，每一個神經元都會依據不同的特徵進行反應。

大腦並非使用單一神經元來代表「狗」這個概念，視覺系統採用分散式表徵，大量神經元被激活，每個神經元對應於不同的視覺特徵。

初級視覺皮層的神經元檢測簡單特徵如邊緣、角落與顏色斑塊；中級皮層的神經元將這些基礎特徵組合成形狀、紋理與物件部位；最終，高級皮層的神經元識別整體概念如「狗」或特定品種。

這種層次化處理反映了全連接神經網路的基本運作原理。

基本結構

全連接層由多個神經元（neuron）組成，每一個神經元都接收前一層的完整特徵向量，並各自計算一個輸出，形成同一層中的多組特徵表示。

在前向計算過程中，全連接層對輸入特徵進行一次線性映射（linear mapping），其結果作為後續非線性轉換的基礎。不同神經元對同一組輸入採用不同的權重配置，使輸入特徵能被投影到多個表示方向。

單一神經元

單一神經元接收一筆 $n$ 維輸入特徵向量，$x \in \mathbb{R}^n$ 表示輸入樣本的特徵表示，並透過特定的權重w與偏置b，計算出一個純量形式的線性輸出

$$z_i = \sum_{j=1}^{n} w_{ij} x_j + b_i$$

神經網路

$$\mathbf{z} = \mathbf{W}\mathbf{x} + \mathbf{b}$$

激活函數（Activation Function）

$f$ 表示一個非線性激活函數（activation function），將線性輸出 $\mathbf{z}$ 送入激活函數，將連續線性回應轉為非線性反應，使模型能表示非線性關係，這決定神經元被激活的狀態

$$\mathbf{y} = f(\mathbf{z})$$ $$\mathbf{y} = f(\mathbf{W}\mathbf{x} + \mathbf{b})$$

常見函數

ReLU

保留正值，抑制負值，行為接近「是否啟動」。

$$\text{ReLU}(z) = \max(0, z)$$

Sigmoid

將輸出壓縮為機率型態。

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$

Tanh

保留正負方向，輸出以 0 為中心。

$$\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$$

參數（Parameters）的意義

在神經網路中，參數（parameters）是模型中唯一可被訓練資料調整的數值，決定模型能表示哪些函數形式。參數數量因此直接對應模型的表達能力（expressive capacity），而非模型結構本身的複雜度描述。

全連接層（Dense Layer）的計算本質為一次仿射映射

$$\mathbf{y} = f(\mathbf{W}\mathbf{x} + \mathbf{b})$$

其中只有權重矩陣 $\mathbf{W}$ 與偏置向量 $\mathbf{b}$ 屬於可訓練參數，非線性函數 $f$ 不引入額外參數。

若輸入維度為 $n$、輸出維度為 $m$，則每一個輸出單元需對全部輸入配置一組權重，並額外配置一個偏置，用以調整線性回應的位置。因此單一輸出單元對應 $(n+1)$ 個參數，整層參數總數自然為

$$m(n+1)$$

大型語言模型所標示的參數數量，也是線性映射參數的總和，它的估算原理與單一 Dense 層概念相似，只是尺度形式上的擴展。

---