第 3 課：標記化深入研究 — 從 Word 到 BPE、WordPiece、SentencePiece

NLP 從基礎到進階：掌握自然語言處理

第 1 部分：NLP 基礎 — 透過電腦鏡頭理解語言

亞洲開發網

簡介

標記化是每個 NLP 管道中的第一步也是最重要的一步。它決定了模型如何「看待」文本，並直接影響表現。

💡 所有現代法學碩士（GPT-4、Gemini、Claude、LLaMA）都使用子詞標記化 - 本文將解釋原因。

---

1. 為什麼詞級標記化還不夠？

OOV（字彙外）問題

vocab = {"hello", "world", "natural", "language"}

# Gặp từ mới → OOV!
text = "unhappiness"  # Không có trong vocab → [UNK]

# Word-level vocab cần KHỔNG LỒ
# Tiếng Anh: ~170,000 từ
# + Tên riêng, thuật ngữ, viết tắt → 500,000+
# + Đa ngôn ngữ → Hàng triệu từ

3個主要問題

問題	字級	子詞	角色等級
字彙大小	巨大（500K+）	中 (32K–128K)	非常小 (256)
OOV	許多[UNK]	很少	從來沒有
語意	好	好	可憐（每個角色）
序列長度	短	中	很長

---

2. 位元組對編碼（BPE）

2.1 演算法

Bước 1: Bắt đầu với tất cả characters làm vocab
         Vocab: {a, b, c, ..., z, _}

Bước 2: Đếm tần suất các cặp adjacent tokens
         "l o w" → (l,o): 5, (o,w): 5
         "l o w e r" → (l,o): 5, (o,w): 5, (w,e): 2, (e,r): 2
         "n e w e r" → (n,e): 1, (e,w): 1, (w,e): 2, (e,r): 2

Bước 3: Merge cặp có tần suất cao nhất
         (l,o) → "lo"     Vocab: {a, b, ..., z, _, lo}

Bước 4: Lặp lại bước 2-3 cho đến khi đạt vocab size mong muốn
         "lo w" → (lo,w) → "low"
         Vocab: {a, b, ..., z, _, lo, low, ...}

2.2 BPE 實踐

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from tokenizers.pre_tokenizers import Whitespace

# 1. Khởi tạo BPE tokenizer
tokenizer = Tokenizer(BPE(unk_token="[UNK]"))
tokenizer.pre_tokenizer = Whitespace()

# 2. Training
trainer = BpeTrainer(
    vocab_size=30000,
    special_tokens=["[UNK]", "[PAD]", "[CLS]", "[SEP]", "[MASK]"],
    min_frequency=2,
)
tokenizer.train(files=["corpus.txt"], trainer=trainer)

# 3. Tokenize
output = tokenizer.encode("Xử lý ngôn ngữ tự nhiên rất thú vị")
print(output.tokens)
# ['X', 'ử', 'lý', 'ngôn', 'ngữ', 'tự', 'nhiên', 'rất', 'thú', 'vị']

使用者： GPT-2、GPT-3、GPT-4、LLaMA、RoBERTa

---

3.WordPiece

WordPiece 與 BPE 類似，但使用 似然 而非頻率：

BPE:       Merge cặp có tần suất CAO nhất
WordPiece: Merge cặp tối đa hóa LIKELIHOOD của training data

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

text = "unhappiness is unbelievable"
tokens = tokenizer.tokenize(text)
print(tokens)
# ['un', '##happiness', 'is', 'un', '##believable']
# '##' = tiếp nối từ trước (không phải đầu từ)

使用者： BERT、DistilBERT、PhoBERT

---

4. SentencePiece 和 Unigram

句子片段

將文字視為原始位元組 — 不需要空間預標記：

import sentencepiece as spm

# Train
spm.SentencePieceTrainer.Train(
    input='corpus.txt',
    model_prefix='my_model',
    vocab_size=32000,
    model_type='unigram',  # hoặc 'bpe'
)

# Load & use
sp = spm.SentencePieceProcessor()
sp.Load('my_model.model')

text = "Xử lý ngôn ngữ tự nhiên"
tokens = sp.EncodeAsPieces(text)
print(tokens)
# ['▁Xử', '▁lý', '▁ngôn', '▁ngữ', '▁tự', '▁nhiên']
# '▁' = đầu từ mới

使用者： T5、ALBERT、XLNet、LLaMA（組合 BPE）

---

5. 比較總結

方法	如何合併	預標記化？	符號	型號
BPE	最高頻率	需要（空格）	—	GPT、駱駝、羅伯塔
詞片	最高可能性	需要（空格）	## （續）	BERT，PhoBERT
一元字	代幣類型影響不大	不需要	▁ （字開頭）	T5，阿爾伯特
句子	BPE 或 Unigram	不需要	▁ （字開頭）	T5，駱駝

---

6. 擁抱臉部標記器 — 練習

from transformers import AutoTokenizer

# So sánh tokenization giữa các model
models = [
    "bert-base-uncased",
    "gpt2",
    "google/flan-t5-base",
]

text = "Tokenization is surprisingly important for NLP"

for model_name in models:
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    tokens = tokenizer.tokenize(text)
    ids = tokenizer.encode(text)
    print(f"\n{model_name}:")
    print(f"  Tokens ({len(tokens)}): {tokens}")
    print(f"  IDs: {ids}")

---

7. 越南語的標記化

from transformers import AutoTokenizer

# PhoBERT tokenizer (WordPiece, có word segmentation)
phobert_tok = AutoTokenizer.from_pretrained("vinai/phobert-base-v2")
text = "Xử lý ngôn ngữ tự nhiên rất thú vị"
print(phobert_tok.tokenize(text))

# Gemma/LLaMA tokenizer (BPE, byte-level)
gemma_tok = AutoTokenizer.from_pretrained("google/gemma-2b")
print(gemma_tok.tokenize(text))
# Tiếng Việt thường bị tách thành nhiều subword hơn tiếng Anh
# → Sequence dài hơn → Tốn cost inference hơn!

🇻🇳 洞察： GPT-4 / Gemini 的分詞器將越南語分割成 比英語更多的標記（~1.5-2 倍），導致 API 成本更高。

---

總結

重點	詳情
字級	詞彙量太大，OOV很多→不可行
BPE	依頻率合併，最常見（GPT、LLaMA）
詞片	依可能性合併，使用 ## （伯特）
句	無需預先標記化，與語言無關
越南語	English Tokenizer 分裂成更多的 token → 注意成本

---

下一篇文章

第 4 課：詞袋、TF-IDF 和 N-gram — 經典的文本表示方法，但在許多問題上仍然有效。