潛空間的表徵與幾何特性
摘要
潛空間 (Latent Space) 是機器學習中用於表示資料內在結構的隱變數空間，其核心功能在於將高維觀測資料映射為具語義與統計意義的潛在表徵。此表徵通常建立在流形假設 (Manifold Hypothesis) 的幾何觀點上，使資料在潛空間中呈現局部連續與語義一致性。在具體模型中，變分自動編碼器 (Variational Autoencoder, VAE) [1] 透過機率建模賦予潛空間明確的分佈結構，而生成對抗網路 (Generative Adversarial Networks, GAN) [2] 則以對抗式訓練隱式學得潛空間幾何。不同方法對潛空間的約束方式，直接影響其可解釋性、連續性與生成能力。
背景
在表示學習 (Representation Learning) [3] 的研究脈絡中，潛空間提供一種將原始資料轉換為結構化表示的統一框架。此框架結合潛變數建模 (Latent Variable Modeling) 與特徵提取 (Feature Extraction)，使模型能在壓縮資訊的同時保留任務相關特徵。潛空間的性質並非固定，而是由模型架構、學習目標與資料分佈共同決定。
表徵映射
在機器學習 (Machine Learning) 的語境中，潛空間是由模型學習得到的隱變數空間，用以表示原始數據的內在結構與統計特徵。給定觀測資料 ，模型透過參數化映射函數 將其轉換為潛在表徵 ，其中 表示模型參數。
此轉換過程同時體現潛變數建模 [4] 與特徵提取，並構成表示學習的基本操作形式。其目標在於保留關鍵語義資訊並抑制冗餘與雜訊。潛空間維度 並不必然低於輸入空間維度 ，其大小取決於模型設計與任務需求；降維僅為常見情形，而非必要條件。
幾何結構
潛空間的有效性常依賴流形假設，即高維資料在實際分佈上集中於嵌入於高維空間中的低維流形附近。此假設意味著資料的有效自由度低於觀測維度，從而支持降維與結構化表示。
在此觀點下，潛空間可視為對低維流形的參數化近似，其幾何性質體現在兩個方面：(i) 語義相似性，即距離相近的潛向量對應語義相近的樣本；(ii) 局部連續性，即小幅變動對應於資料空間中的平滑變化。然而，流形假設屬於建模前提，其成立與否依賴具體資料分佈，並不提供普遍性保證。
機率建模
在變分自動編碼器的框架中，潛空間被建模為具機率結構的隱變數系統。模型假設潛變數 服從先驗分佈 （通常為 ），並透過近似後驗分佈 逼近真實後驗。
其優化目標為證據下界：
此分解來自對邊際似然的變分近似。其中 KL 散度項對潛空間施加分佈約束，使其具備連續性與可採樣性，從而支持插值與生成。然而，此約束作用於分佈層級，並不保證單一潛變數維度具有明確語義。
對抗式學習
在生成對抗網路中，潛變數 通常來自簡單分佈，並透過生成器 映射至資料空間。生成器與判別器透過最小最大賽局進行對抗訓練，使生成分佈逼近真實資料分佈。
相較於變分自動編碼器，GAN 未對潛空間施加顯式的機率或幾何約束，其結構主要由訓練過程隱式形成。因此，潛空間中的語義一致性與可操作性依賴生成器的表示能力，而非來自先驗設計。
總結
潛空間提供一種將高維資料轉化為結構化表示的核心機制，其性質由幾何假設與機率建模共同塑造。流形假設賦予其幾何直覺，而不同生成模型則透過顯式或隱式方式對其施加約束。變分自動編碼器強調分佈一致性與可採樣性，生成對抗網路則依賴對抗訓練學得潛在結構。兩者的差異反映於潛空間的可解釋性與控制能力。
參考文獻
[1] D. P. Kingma and M. Welling, ‘Auto-Encoding Variational Bayes’, Dec. 10, 2022, arXiv: arXiv:1312.6114. doi: 10.48550/arXiv.1312.6114.
[2] I. Goodfellow et al., ‘Generative Adversarial Nets’.
[3] Y. Bengio, A. Courville, and P. Vincent, ‘Representation Learning: A Review and New Perspectives’, IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 8, pp. 1798–1828, Aug. 2013, doi: 10.1109/TPAMI.2013.50.
[4] C. M. Bishop, Pattern recognition and machine learning. in Information science and statistics. New York: Springer, 2006.
