資料基礎概念
資料基本概念、品質、特性與表徵的基礎框架，用於建立資料工程與建模的共同知識概念
資料概念
資料的層次，描述資訊與其結構化方式
資料與資訊階層
-
Data：原始測量或觀察值，尚未具備語意
-
Dataset：結構化後的資料集合，具備欄位、格式與對應關係，資料集則基於不同專案或場景而定義
-
Information：經處理或轉換後具有語意、可使用的資訊
-
Knowledge：基於資訊歸納出的規則、模式或推論
Metadata
描述資料本身的資訊，如欄位名稱、型態、單位、來源、更新頻率與產生方式，可協助理解、交換與品質控管
資料品質（Data Quality）
確保資料可用、可靠、適合建模的核心指標。
Accuracy（準確性）
避免標註錯誤、感測器偏差或記錄錯誤，使資料貼近真實。
Completeness（完整性）
資料需具備必要欄位與重要值，避免模型因缺漏產生偏差。
Consistency（一致性）
格式、單位、編碼、時間戳記與標籤方式需統一，避免解析衝突。
Noise 與 Outliers（噪音與異常值）
異常紀錄可能來自輸入錯誤、設備故障或真實極端樣本；需判斷應保留、修正或移除。
資料特性（Data Characteristics）
描述資料來源、結構形式與統計分布。
Data Origin（來源）
-
Real Data（真實資料）：由觀測或事件產生
-
Synthetic Data（合成資料）：使用模型或模擬生成，補足稀少場景
Data Structure（結構類型）
-
Structured：表格型、欄位明確
-
Semi-structured：部分結構，如 JSON、XML
-
Unstructured：影像、文本、聲音等自由形式
Dense Data（稠密資料）
多數維度皆有有效數值，常見於影像、音訊與連續感測資料。
一般矩陣即可表示。
Sparse Data（稀疏資料）
大部分特徵為 0 且這些 0 代表有效訊號（非缺失）。
常見於 One-hot、TF-IDF、推薦系統等高維向量。
常以 CSR / CSC 格式節省記憶體並提升運算效率。
資料表示方式（Data Representation Forms）
將資料轉換成模型可運算的形式。
Vector（向量）
單筆樣本以 表示。
Matrix（矩陣）
資料集以 表示。
為樣本數， 為特徵數。
Tensor（張量）
多維資料，如影像 、影片 。
Graph Representation（圖表示）
以節點、邊與鄰接矩陣描述非歐幾何資料，如社群網路、知識圖譜。
資料類型（Data Types）
資料科學與機器學習中常見的分類方式。
Numerical（數值）
-
Discrete：計數型數值
-
Continuous：可於範圍內取任意實值，如溫度
Categorical（類別）
-
Nominal：無順序，如國家、顏色
-
Ordinal：有順序但間隔不固定，如等級評分
其他常見類型
-
Binary
-
Text
-
Image
-
Audio
-
Video
-
Time-series
-
Graph data
