ワードデリミタグラフトークンフィルタ

非英数字文字でトークンを分割します。word_delimiter_graphフィルタは、ルールのセットに基づいてオプションのトークン正規化も行います。デフォルトでは、フィルタは以下のルールを使用します：

  • 非英数字文字でトークンを分割します。フィルタはこれらの文字をデリミタとして使用します。例えば： Super-Duper → Super、Duper
  • 各トークンの先頭または末尾のデリミタを削除します。例えば： XL---42+'Autocoder' → XL、42、Autocoder
  • 大文字小文字の変遷でトークンを分割します。例えば： PowerShot → Power、Shot
  • 文字と数字の変遷でトークンを分割します。例えば： XL500 → XL、500
  • 各トークンの末尾から英語の所有格（'s）を削除します。例えば： Neil's → Neil
  2. `````word_delimiter_graph`````フィルタは、製品IDや部品番号などの複雑な識別子から句読点を削除するために設計されました。これらの使用ケースには、[`````word_delimiter_graph`````](/read/elasticsearch-8-15/ec2a5f33a39f9570.md)トークナイザと一緒に`````keyword`````フィルタを使用することをお勧めします。  
  4. `````word_delimiter_graph`````フィルタを使用してハイフン付きの単語を分割することは避けてください。例えば`````wi-fi`````。ユーザーはこれらの単語をハイフンありとなしの両方で検索することが多いため、[`````synonym_graph`````](/read/elasticsearch-8-15/3f6bd695a88ef692.md)フィルタを代わりに使用することをお勧めします。
  7. ## 例
  9. 以下の[analyze API](/read/elasticsearch-8-15/1a51b9d359d8a54c.md)リクエストは、`````word_delimiter_graph`````フィルタを使用して`````Neil's-Super-Duper-XL500--42+AutoCoder`````をフィルタのデフォルトルールを使用して正規化されたトークンに分割します：
  12. #### Python
  14. ``````python
  15. resp = client.indices.analyze(
  16.    tokenizer="keyword",
  17.    filter=[
  18.    "word_delimiter_graph"
  19.    ],
  20.    text="Neil's-Super-Duper-XL500--42+AutoCoder",
  21. )
  22. print(resp)
  23. `

Ruby

  1. response = client.indices.analyze(
  2.   body: {
  3.    tokenizer: 'keyword',
  4.    filter: [
  5.    'word_delimiter_graph'
  6.    ],
  7.    text: "Neil's-Super-Duper-XL500--42+AutoCoder"
  8.   }
  9. )
  10. puts response

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "keyword",
  3.   filter: ["word_delimiter_graph"],
  4.   text: "Neil's-Super-Duper-XL500--42+AutoCoder",
  5. });
  6. console.log(response);

コンソール

  1. GET /_analyze
  2. {
  3.   "tokenizer": "keyword",
  4.   "filter": [ "word_delimiter_graph" ],
  5.   "text": "Neil's-Super-Duper-XL500--42+AutoCoder"
  6. }

フィルタは以下のトークンを生成します：

Txt

  1. [ Neil, Super, Duper, XL, 500, 42, Auto, Coder ]

アナライザーに追加

以下のcreate index APIリクエストは、word_delimiter_graphフィルタを使用して新しいカスタムアナライザーを構成します。

Python

  1. resp = client.indices.create(
  2.    index="my-index-000001",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "my_analyzer": {
  7.    "tokenizer": "keyword",
  8.    "filter": [
  9.    "word_delimiter_graph"
  10.    ]
  11.    }
  12.    }
  13.    }
  14.    },
  15. )
  16. print(resp)

Ruby

  1. response = client.indices.create(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    my_analyzer: {
  8.    tokenizer: 'keyword',
  9.    filter: [
  10.    'word_delimiter_graph'
  11.    ]
  12.    }
  13.    }
  14.    }
  15.    }
  16.   }
  17. )
  18. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "my-index-000001",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    my_analyzer: {
  7.    tokenizer: "keyword",
  8.    filter: ["word_delimiter_graph"],
  9.    },
  10.    },
  11.    },
  12.   },
  13. });
  14. console.log(response);

コンソール

  1. PUT /my-index-000001
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "my_analyzer": {
  7.    "tokenizer": "keyword",
  8.    "filter": [ "word_delimiter_graph" ]
  9.    }
  10.    }
  11.    }
  12.   }
  13. }
  3. ## 設定可能なパラメータ
  5. [](#word-delimiter-graph-tokenfilter-adjust-offsets) 
  6. -   `````adjust_offsets

  • (オプション、ブール値) trueの場合、フィルタはトークンストリーム内の実際の位置をよりよく反映するように分割または連結されたトークンのオフセットを調整します。デフォルトはtrueです。
    アナライザーがtrimフィルタのように、オフセットを変更せずにトークンの長さを変更するフィルタを使用する場合は、adjust_offsetsをfalseに設定してください。そうしないと、word_delimiter_graphフィルタが不正なオフセットを持つトークンを生成する可能性があります。

  • catenate_all

  • (オプション、ブール値) trueの場合、フィルタは非アルファベットデリミタで区切られた英数字の文字列の連結トークンを生成します。例えば： super-duper-xl-500 → [ superduperxl500, super, duper, xl, 500 ]。デフォルトはfalseです。
    このパラメータをtrueに設定すると、インデックス作成にサポートされていないマルチポジショントークンが生成されます。
    このパラメータがtrueの場合、インデックスアナライザーでこのフィルタを使用することは避けるか、このフィルタの後にflatten_graphフィルタを使用してトークンストリームをインデックス作成に適したものにしてください。
    検索分析に使用される場合、連結トークンはmatch_phraseクエリやトークン位置に依存する他のクエリに問題を引き起こす可能性があります。これらのクエリを使用する予定がある場合は、このパラメータをtrueに設定しないでください。

  • catenate_numbers

  • (オプション、ブール値) trueの場合、フィルタは非アルファベットデリミタで区切られた数字の文字列の連結トークンを生成します。例えば： 01-02-03 → [ 010203, 01, 02, 03 ]。デフォルトはfalseです。
    このパラメータをtrueに設定すると、インデックス作成にサポートされていないマルチポジショントークンが生成されます。
    このパラメータがtrueの場合、インデックスアナライザーでこのフィルタを使用することは避けるか、このフィルタの後にflatten_graphフィルタを使用してトークンストリームをインデックス作成に適したものにしてください。
    検索分析に使用される場合、連結トークンはmatch_phraseクエリやトークン位置に依存する他のクエリに問題を引き起こす可能性があります。これらのクエリを使用する予定がある場合は、このパラメータをtrueに設定しないでください。

  • catenate_words
  • (オプション、ブール値) trueの場合、フィルタは非アルファベットデリミタで区切られたアルファベットの文字列の連結トークンを生成します。例えば： super-duper-xl → [ superduperxl, super, duper, xl ]。デフォルトはfalseです。
    このパラメータをtrueに設定すると、インデックス作成にサポートされていないマルチポジショントークンが生成されます。
    このパラメータがtrueの場合、インデックスアナライザーでこのフィルタを使用することは避けるか、このフィルタの後にflatten_graphフィルタを使用してトークンストリームをインデックス作成に適したものにしてください。
    検索分析に使用される場合、連結トークンはmatch_phraseクエリやトークン位置に依存する他のクエリに問題を引き起こす可能性があります。これらのクエリを使用する予定がある場合は、このパラメータをtrueに設定しないでください。
  • generate_number_parts
  • (オプション、ブール値) trueの場合、フィルタは出力に数値文字のみで構成されるトークンを含めます。falseの場合、フィルタはこれらのトークンを出力から除外します。デフォルトはtrueです。
  • generate_word_parts
  • (オプション、ブール値) trueの場合、フィルタは出力にアルファベット文字のみで構成されるトークンを含めます。falseの場合、フィルタはこれらのトークンを出力から除外します。デフォルトはtrueです。
  • ignore_keywords

  • (オプション、ブール値) trueの場合、フィルタはkeyword属性がtrueのトークンをスキップします。デフォルトはfalseです。

  • preserve_original
  • (オプション、ブール値) trueの場合、フィルタは出力に分割されたトークンの元のバージョンを含めます。この元のバージョンには非英数字デリミタが含まれます。例えば： super-duper-xl-500 → [ super-duper-xl-500, super, duper, xl, 500 ]。デフォルトはfalseです。
    このパラメータをtrueに設定すると、インデックス作成にサポートされていないマルチポジショントークンが生成されます。
    このパラメータがtrueの場合、インデックスアナライザーでこのフィルタを使用することは避けるか、このフィルタの後にflatten_graphフィルタを使用してトークンストリームをインデックス作成に適したものにしてください。
  • protected_words
  • (オプション、文字列の配列) フィルタが分割しないトークンの配列。
  • protected_words_path
  • (オプション、文字列) フィルタが分割しないトークンのリストを含むファイルへのパス。
    このパスは絶対パスまたはconfigの場所に対する相対パスでなければならず、ファイルはUTF-8エンコードされている必要があります。ファイル内の各トークンは改行で区切られている必要があります。
  • split_on_case_change
  • (オプション、ブール値) trueの場合、フィルタは大文字小文字の変遷でトークンを分割します。例えば： camelCase → [ camel, Case ]。デフォルトはtrueです。
  • split_on_numerics
  • (オプション、ブール値) trueの場合、フィルタは文字と数字の変遷でトークンを分割します。例えば： j2se → [ j, 2, se ]。デフォルトはtrueです。
  • stem_english_possessive
  • (オプション、ブール値) trueの場合、フィルタは各トークンの末尾から英語の所有格（'s）を削除します。例えば： O'Neil's → [ O, Neil ]。デフォルトはtrueです。
  • type_table
  • (オプション、文字列の配列) 文字のカスタムタイプマッピングの配列。これにより、非英数字文字を数値または英数字としてマッピングして、それらの文字で分割されないようにすることができます。
    例えば、以下の配列はプラス（+）とハイフン（-）文字を英数字としてマッピングし、デリミタとして扱われないことを意味します：
    [ "+ => ALPHA", "- => ALPHA" ]
    サポートされているタイプには次のものが含まれます：
    • ALPHA (アルファベット)
    • ALPHANUM (英数字)
    • DIGIT (数値)
    • LOWER (小文字アルファベット)
    • SUBWORD_DELIM (非英数字デリミタ)
    • UPPER (大文字アルファベット)
  • type_table_path
  • (オプション、文字列) 文字のカスタムタイプマッピングを含むファイルへのパス。これにより、非英数字文字を数値または英数字としてマッピングして、それらの文字で分割されないようにすることができます。
    例えば、このファイルの内容には次のようなものが含まれる場合があります：

Txt

  3. # $、%、。および、文字をDIGITにマッピング
  5. # これは財務データに役立つかもしれません。
  7. $ =
  8. % =
  9. . =
  10. \\u002C =
  14. # 場合によってはZWJで分割したくないことがあります
  16. # これは、より大きなbyte[]が必要なケースもテストします。
  18. # https://en.wikipedia.org/wiki/Zero-width_joinerを参照してください
  20. \\u200D =
  21. ALPHANUM

サポートされているタイプには次のものが含まれます：

  • ALPHA (アルファベット)
  • ALPHANUM (英数字)
  • DIGIT (数値)
  • LOWER (小文字アルファベット)
  • SUBWORD_DELIM (非英数字デリミタ)
  • UPPER (大文字アルファベット)
    このファイルパスはconfigの場所に対する絶対パスまたは相対パスでなければならず、ファイルはUTF-8エンコードされている必要があります。ファイル内の各マッピングは改行で区切られている必要があります。

カスタマイズ

  2. 例えば、以下のリクエストは、次のルールを使用する`````word_delimiter_graph`````フィルタを作成します：  
  4. -  ハイフン（`````-`````）文字を除く非英数字文字でトークンを分割します。  
  5. -  各トークンの先頭または末尾のデリミタを削除します。  
  6. -  大文字小文字の変遷でトークンを分割しません。  
  7. -  文字と数字の変遷でトークンを分割しません。  
  8. -  各トークンの末尾から英語の所有格（`````'s`````）を削除します。
  11. #### Python
  13. ``````python
  14. resp = client.indices.create(
  15.    index="my-index-000001",
  16.    settings={
  17.    "analysis": {
  18.    "analyzer": {
  19.    "my_analyzer": {
  20.    "tokenizer": "keyword",
  21.    "filter": [
  22.    "my_custom_word_delimiter_graph_filter"
  23.    ]
  24.    }
  25.    },
  26.    "filter": {
  27.    "my_custom_word_delimiter_graph_filter": {
  28.    "type": "word_delimiter_graph",
  29.    "type_table": [
  30.    "- => ALPHA"
  31.    ],
  32.    "split_on_case_change": False,
  33.    "split_on_numerics": False,
  34.    "stem_english_possessive": True
  35.    }
  36.    }
  37.    }
  38.    },
  39. )
  40. print(resp)
  41. `

Ruby

  1. response = client.indices.create(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    my_analyzer: {
  8.    tokenizer: 'keyword',
  9.    filter: [
  10.    'my_custom_word_delimiter_graph_filter'
  11.    ]
  12.    }
  13.    },
  14.    filter: {
  15.    my_custom_word_delimiter_graph_filter: {
  16.    type: 'word_delimiter_graph',
  17.    type_table: [
  18.    '- => ALPHA'
  19.    ],
  20.    split_on_case_change: false,
  21.    split_on_numerics: false,
  22.    stem_english_possessive: true
  23.    }
  24.    }
  25.    }
  26.    }
  27.   }
  28. )
  29. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "my-index-000001",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    my_analyzer: {
  7.    tokenizer: "keyword",
  8.    filter: ["my_custom_word_delimiter_graph_filter"],
  9.    },
  10.    },
  11.    filter: {
  12.    my_custom_word_delimiter_graph_filter: {
  13.    type: "word_delimiter_graph",
  14.    type_table: ["- => ALPHA"],
  15.    split_on_case_change: false,
  16.    split_on_numerics: false,
  17.    stem_english_possessive: true,
  18.    },
  19.    },
  20.    },
  21.   },
  22. });
  23. console.log(response);

コンソール

  1. PUT /my-index-000001
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "my_analyzer": {
  7.    "tokenizer": "keyword",
  8.    "filter": [ "my_custom_word_delimiter_graph_filter" ]
  9.    }
  10.    },
  11.    "filter": {
  12.    "my_custom_word_delimiter_graph_filter": {
  13.    "type": "word_delimiter_graph",
  14.    "type_table": [ "- => ALPHA" ],
  15.    "split_on_case_change": false,
  16.    "split_on_numerics": false,
  17.    "stem_english_possessive": true
  18.    }
  19.    }
  20.    }
  21.   }
  22. }

word_delimiter_graphとword_delimiterの違い

word_delimiter_graphとword_delimiterフィルタは、以下のいずれかのパラメータがtrueの場合、複数の位置にまたがるトークンを生成します：

しかし、word_delimiter_graphフィルタのみがマルチポジショントークンにpositionLength属性を割り当て、トークンが跨る位置の数を示します。これにより、word_delimiter_graphフィルタは常に有効なtoken graphsを生成します。

word_delimiterフィルタはマルチポジショントークンにpositionLength属性を割り当てません。これは、これらのトークンを含むストリームに対して無効なグラフを生成することを意味します。

インデックス作成はマルチポジショントークンを含むトークングラフをサポートしていませんが、match_phraseクエリのようなクエリは、これらのグラフを使用して単一のクエリ文字列から複数のサブクエリを生成できます。

word_delimiterとword_delimiter_graphフィルタによって生成されたトークングラフの違いを確認するには、以下の例を確認してください。

例

基本トークングラフ

word_delimiterとword_delimiter_graphは、以下のパラメータがfalseの場合、PowerShot2000のために次のトークングラフを生成します：

このグラフにはマルチポジショントークンは含まれていません。すべてのトークンは1つの位置にのみまたがります。

トークングラフ基本

word_delimiter_graphグラフとマルチポジショントークン

word_delimiter_graphフィルタは、PowerShot2000のためにcatenate_wordsがtrueの場合、次のトークングラフを生成します。

このグラフは、連結されたPowerShotトークンが2つの位置にまたがることを正しく示しています。

トークングラフwdg

word_delimiterグラフとマルチポジショントークン

catenate_wordsがtrueの場合、word_delimiterフィルタはPowerShot2000のために次のトークングラフを生成します。

連結されたPowerShotトークンは2つの位置にまたがるべきですが、トークングラフでは1つの位置にしかまたがっておらず、無効になっています。

トークングラフwd