詞嵌入

機器學習與資料探勘
範式 監督學習 無監督學習 線上機器學習 元學習（英語：Meta-learning (computer science)） 半監督學習 自監督學習 強化學習 基於規則的機器學習（英語：Rule-based machine learning） 量子機器學習
問題 統計分類 生成模型 迴歸分析 聚類分析 降維 密度估計（英語：density estimation） 異常檢測 數據清洗 自動機器學習 關聯規則學習 語意分析 結構預測（英語：Structured prediction） 特徵工程 表徵學習 排序學習（英語：Learning to rank） 語法歸納（英語：Grammar induction） 本體學習（英語：Ontology learning） 多模態學習
監督學習 (分類 · 回歸) 學徒學習（英語：Apprenticeship learning） 決策樹學習 集成學習 Bagging 提升方法 隨機森林 k-NN 線性回歸 樸素貝葉斯 人工神經網絡 邏輯斯諦迴歸 感知器 相關向量機（RVM） 支持向量機（SVM） 遷移學習 微調
聚類分析 BIRCH CURE算法（英語：CURE algorithm） 層次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飄移（英語：Mean shift）
降維 因素分析 CCA ICA LDA NMF（英語：Non-negative matrix factorization） PCA PGD（英語：Proper generalized decomposition） t-SNE（英語：t-distributed stochastic neighbor embedding） SDL
結構預測（英語：Structured prediction） 圖模式 貝氏網路 條件隨機域 隱馬爾可夫模型
異常檢測 RANSAC k-NN 局部異常因子（英語：Local outlier factor） 孤立森林（英語：Isolation forest）
人工神經網絡 自編碼器 認知計算 深度學習 DeepDream（英語：DeepDream） 多層感知器 RNN LSTM GRU（英語：Gated recurrent unit） ESN（英語：Echo state network） 儲備池計算（英語：reservoir computing） 受限玻爾茲曼機 GAN SOM CNN U-Net Transformer Vision transformer（英語：Vision transformer） 脈衝神經網絡（英語：Spiking neural network） Memtransistor（英語：Memtransistor） 電化學RAM（英語：Electrochemical RAM）（ECRAM）
強化學習 Q學習 SARSA 時序差分（TD） 多智能體（英語：Multi-agent reinforcement learning） Self-play（英語：Self-play (reinforcement learning technique)） RLHF
與人類學習 主動學習（英語：Active learning (machine learning)） 眾包 Human-in-the-loop（英語：Human-in-the-loop）
模型診斷 學習曲線（英語：Learning curve (machine learning)）
數學基礎 內核機器（英語：Kernel machines） 偏差–方差困境（英語：Bias–variance tradeoff） 計算學習理論（英語：Computational learning theory） 經驗風險最小化 奧卡姆學習（英語：Occam learning） PAC學習（英語：Probably approximately correct learning） 統計學習 VC理論
大會與出版物 NeurIPS ICML（英語：International Conference on Machine Learning） ICLR ML（英語：Machine Learning (journal)） JMLR（英語：Journal of Machine Learning Research）
相關條目 人工智慧術語（英語：Glossary of artificial intelligence） 機器學習研究數據集列表（英語：List of datasets for machine-learning research） 機器學習概要（英語：Outline of machine learning）
閱 論 編

詞嵌入（英語：Word embedding）是自然語言處理（NLP）中語言模型與表徵學習技術的統稱。概念上而言，它是指把一個維數為所有詞的數量的高維空間嵌入到一個維數低得多的連續向量空間中，每個單詞或詞組被映射為實數域上的向量。

詞嵌入的方法包括人工神經網絡^[1]、對詞語同現矩陣（英語：co-occurrence matrix）降維^[2][3][4]、機率模型^[5]以及單詞所在上下文的顯式表示等。^[6]

在底層輸入中，使用詞嵌入來表示詞組的方法極大提升了NLP中語法分析器^[7]和文本情感分析等的效果。^[8]

詞嵌入技術起源於2000年。約書亞·本希奧等人在一系列論文中使用了神經機率語言模型（Neural probabilistic language models）使機器「習得詞語的分布式表示（learning a distributed representation for words）」，從而達到將詞語空間降維的目的。^[9]羅維斯（Roweis）與索爾（Saul）在《科學》上發表了用局部線性嵌入（LLE）來學習高維資料結構的低維表示方法^[10]。這個領域開始時穩步發展，在2010年後突飛猛進；一定程度上而言，這是因為這段時間裡向量的品質與模型的訓練速度有極大的突破。

詞嵌入領域的分支繁多，有許多學者致力於其研究。2013年，谷歌一個托馬斯·米科洛維（Tomas Mikolov）領導的團隊發明了一套工具word2vec來進行詞嵌入，訓練向量空間模型的速度比以往的方法都快。^[11]許多新興的詞嵌入基於人工神經網絡，而不是過去的n元語法模型和非監督式學習。^[12]

阿斯加里（Asgari）和莫夫拉德（Mofrad）提出了生物信息學中生物序列（DNA、RNA和蛋白質等）基於n元語法的詞嵌入技術。^[13]bio-vectors（BioVec）表示生物序列的統稱，protein-vectors（ProtVec）表示蛋白質（胺基酸序列），gene-vectors（GeneVec）表示基因序列。BioVec在蛋白質組學與基因組學的深度學習中有廣泛應用。他們提出的結果表明，BioVectors可描述生物化學與生物物理學意義下生物序列的基本模式。^[13]

將詞嵌入擴展到對句子或整個文本的嵌入後得到的結果稱為Thought vectors。部分研究者期望用Thought vectors來提升機器翻譯的質量。^[14][15]

使用詞嵌入技術的訓練軟體包括托馬斯·米科洛維的Word2vec、史丹佛大學的GloVe（英語：GloVe (machine learning)）^[16]和Deeplearning4j。主成分分析（PCA）和t-分布鄰域嵌入算法（英語：t-distributed stochastic neighbor embedding）（t-SNE）也可以用來對詞語空間降維，並實現詞嵌入的可視化與詞義感應（英語：Word-sense induction）。^[17]

• 自然語言處理
• 人工神經網絡
• 機率模型
• one-hot