正規化トークンフィルター

特定の言語の特殊文字を正規化しようとするいくつかのトークンフィルターが利用可能です。

アラビア語 arabic_normalization
ドイツ語 german_normalization
ヒンディー語 hindi_normalization
インド系 indic_normalization
クルド語(ソラニ) sorani_normalization
ペルシャ語 persian_normalization
スカンジナビア語 scandinavian_normalization,
scandinavian_folding
セルビア語 serbian_normalization