辞書分解トークンフィルター

ほとんどの場合、私たちはこのフィルターの代わりにより高速な hyphenation_decompounder トークンフィルターの使用を推奨します。しかし、dictionary_decompounder フィルターを使用して、hyphenation_decompounder フィルターに実装する前に単語リストの品質を確認することができます。

指定された単語リストと強制的なアプローチを使用して、複合語の中のサブワードを見つけます。見つかった場合、これらのサブワードはトークン出力に含まれます。

このフィルターは、ドイツ語系言語のために構築された Lucene の DictionaryCompoundWordTokenFilter を使用しています。

例

以下の analyze API リクエストは、dictionary_decompounder フィルターを使用して Donaudampfschiff のサブワードを見つけます。フィルターは次に、これらのサブワードを指定された単語リスト Donau、dampf、meer、および schiff と照合します。

Python

  1. resp = client.indices.analyze(
  2.    tokenizer="standard",
  3.    filter=[
  4.    {
  5.    "type": "dictionary_decompounder",
  6.    "word_list": [
  7.    "Donau",
  8.    "dampf",
  9.    "meer",
  10.    "schiff"
  11.    ]
  12.    }
  13.    ],
  14.    text="Donaudampfschiff",
  15. )
  16. print(resp)

Ruby

  1. response = client.indices.analyze(
  2.   body: {
  3.    tokenizer: 'standard',
  4.    filter: [
  5.    {
  6.    type: 'dictionary_decompounder',
  7.    word_list: [
  8.    'Donau',
  9.    'dampf',
  10.    'meer',
  11.    'schiff'
  12.    ]
  13.    }
  14.    ],
  15.    text: 'Donaudampfschiff'
  16.   }
  17. )
  18. puts response

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "standard",
  3.   filter: [
  4.    {
  5.    type: "dictionary_decompounder",
  6.    word_list: ["Donau", "dampf", "meer", "schiff"],
  7.    },
  8.   ],
  9.   text: "Donaudampfschiff",
  10. });
  11. console.log(response);

コンソール

  1. GET _analyze
  2. {
  3.   "tokenizer": "standard",
  4.   "filter": [
  5.    {
  6.    "type": "dictionary_decompounder",
  7.    "word_list": ["Donau", "dampf", "meer", "schiff"]
  8.    }
  9.   ],
  10.   "text": "Donaudampfschiff"
  11. }

フィルターは以下のトークンを生成します:

テキスト

  1. [ Donaudampfschiff, Donau, dampf, schiff ]

設定可能なパラメータ

  • word_list
  • (必須*, 文字列の配列) トークンストリーム内で探すサブワードのリスト。見つかった場合、サブワードはトークン出力に含まれます。
    このパラメータまたは word_list_path のいずれかを指定する必要があります。
  • word_list_path
  • (必須*, 文字列) トークンストリーム内で探すサブワードのリストを含むファイルへのパス。見つかった場合、サブワードはトークン出力に含まれます。
    このパスは絶対パスまたは config の場所に対する相対パスでなければならず、ファイルは UTF-8 エンコードされている必要があります。ファイル内の各トークンは改行で区切られている必要があります。
    このパラメータまたは word_list のいずれかを指定する必要があります。
  • max_subword_size
  • (オプション、整数) 最大サブワード文字長。長すぎるサブワードトークンは出力から除外されます。デフォルトは 15 です。
  • min_subword_size
  • (オプション、整数) 最小サブワード文字長。短すぎるサブワードトークンは出力から除外されます。デフォルトは 2 です。
  • min_word_size
  • (オプション、整数) 最小単語文字長。短すぎる単語トークンは出力から除外されます。デフォルトは 5 です。
  • only_longest_match
  • (オプション、ブール値) true の場合、最も長い一致するサブワードのみを含めます。デフォルトは false です。

アナライザーのカスタマイズと追加

dictionary_decompounder フィルターをカスタマイズするには、それを複製して新しいカスタムトークンフィルターの基礎を作成します。設定可能なパラメータを使用してフィルターを変更できます。

たとえば、以下の create index API リクエストは、カスタム dictionary_decompounder フィルターを使用して新しい カスタムアナライザー を構成します。

カスタム dictionary_decompounder フィルターは analysis/example_word_list.txt ファイル内のサブワードを見つけます。22文字を超えるサブワードはトークン出力から除外されます。

Python

  1. resp = client.indices.create(
  2.    index="dictionary_decompound_example",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "standard_dictionary_decompound": {
  7.    "tokenizer": "standard",
  8.    "filter": [
  9.    "22_char_dictionary_decompound"
  10.    ]
  11.    }
  12.    },
  13.    "filter": {
  14.    "22_char_dictionary_decompound": {
  15.    "type": "dictionary_decompounder",
  16.    "word_list_path": "analysis/example_word_list.txt",
  17.    "max_subword_size": 22
  18.    }
  19.    }
  20.    }
  21.    },
  22. )
  23. print(resp)

Js

  1. const response = await client.indices.create({
  2.   index: "dictionary_decompound_example",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    standard_dictionary_decompound: {
  7.    tokenizer: "standard",
  8.    filter: ["22_char_dictionary_decompound"],
  9.    },
  10.    },
  11.    filter: {
  12.    "22_char_dictionary_decompound": {
  13.    type: "dictionary_decompounder",
  14.    word_list_path: "analysis/example_word_list.txt",
  15.    max_subword_size: 22,
  16.    },
  17.    },
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. PUT dictionary_decompound_example
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "standard_dictionary_decompound": {
  7.    "tokenizer": "standard",
  8.    "filter": [ "22_char_dictionary_decompound" ]
  9.    }
  10.    },
  11.    "filter": {
  12.    "22_char_dictionary_decompound": {
  13.    "type": "dictionary_decompounder",
  14.    "word_list_path": "analysis/example_word_list.txt",
  15.    "max_subword_size": 22
  16.    }
  17.    }
  18.    }
  19.   }
  20. }