N-gram token filter

指定された長さのn-gramsをトークンから形成します。

例えば、ngramトークンフィルターを使用してfoxを[ f, fo, o, ox, x ]に変更できます。

このフィルターはLuceneのNGramTokenFilterを使用します。 

  3. ## Example
  5. 以下の[analyze API](/read/elasticsearch-8-15/1a51b9d359d8a54c.md)リクエストは、`````ngram`````フィルターを使用して`````Quick fox`````を1文字および2文字のn-gramsに変換します:
  8. #### Python
  10. ``````python
  11. resp = client.indices.analyze(
  12.    tokenizer="standard",
  13.    filter=[
  14.    "ngram"
  15.    ],
  16.    text="Quick fox",
  17. )
  18. print(resp)
  19. `

Ruby

  1. response = client.indices.analyze(
  2.   body: {
  3.    tokenizer: 'standard',
  4.    filter: [
  5.    'ngram'
  6.    ],
  7.    text: 'Quick fox'
  8.   }
  9. )
  10. puts response

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "standard",
  3.   filter: ["ngram"],
  4.   text: "Quick fox",
  5. });
  6. console.log(response);

Console

  1. GET _analyze
  2. {
  3.   "tokenizer": "standard",
  4.   "filter": [ "ngram" ],
  5.   "text": "Quick fox"
  6. }

フィルターは以下のトークンを生成します:

Text

  1. [ Q, Qu, u, ui, i, ic, c, ck, k, f, fo, o, ox, x ]

Add to an analyzer

以下のcreate index APIリクエストは、ngramフィルターを使用して新しいcustom analyzerを構成します。

Python

  1. resp = client.indices.create(
  2.    index="ngram_example",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "standard_ngram": {
  7.    "tokenizer": "standard",
  8.    "filter": [
  9.    "ngram"
  10.    ]
  11.    }
  12.    }
  13.    }
  14.    },
  15. )
  16. print(resp)

Ruby

  1. response = client.indices.create(
  2.   index: 'ngram_example',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    standard_ngram: {
  8.    tokenizer: 'standard',
  9.    filter: [
  10.    'ngram'
  11.    ]
  12.    }
  13.    }
  14.    }
  15.    }
  16.   }
  17. )
  18. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "ngram_example",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    standard_ngram: {
  7.    tokenizer: "standard",
  8.    filter: ["ngram"],
  9.    },
  10.    },
  11.    },
  12.   },
  13. });
  14. console.log(response);

Console

  1. PUT ngram_example
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "standard_ngram": {
  7.    "tokenizer": "standard",
  8.    "filter": [ "ngram" ]
  9.    }
  10.    }
  11.    }
  12.   }
  13. }

Configurable parameters

  • max_gram
  • （オプション、整数）グラム内の文字の最大長。デフォルトは2です。
  • min_gram
  • （オプション、整数）グラム内の文字の最小長。デフォルトは1です。
  • preserve_original
  • （オプション、ブール値）trueに設定すると元のトークンを出力します。デフォルトはfalseです。

index.max_ngram_diffインデックスレベル設定を使用して、max_gramとmin_gramの値の間の最大許可差を制御できます。

Customize

  2. 例えば、以下のリクエストは、3〜5文字のn-gramsを形成するカスタム`````ngram`````フィルターを作成します。このリクエストは`````index.max_ngram_diff`````設定を`````2`````に増加させます。
  5. #### Python
  7. ``````python
  8. resp = client.indices.create(
  9.    index="ngram_custom_example",
  10.    settings={
  11.    "index": {
  12.    "max_ngram_diff": 2
  13.    },
  14.    "analysis": {
  15.    "analyzer": {
  16.    "default": {
  17.    "tokenizer": "whitespace",
  18.    "filter": [
  19.    "3_5_grams"
  20.    ]
  21.    }
  22.    },
  23.    "filter": {
  24.    "3_5_grams": {
  25.    "type": "ngram",
  26.    "min_gram": 3,
  27.    "max_gram": 5
  28.    }
  29.    }
  30.    }
  31.    },
  32. )
  33. print(resp)
  34. `

Ruby

  1. response = client.indices.create(
  2.   index: 'ngram_custom_example',
  3.   body: {
  4.    settings: {
  5.    index: {
  6.    max_ngram_diff: 2
  7.    },
  8.    analysis: {
  9.    analyzer: {
  10.    default: {
  11.    tokenizer: 'whitespace',
  12.    filter: [
  13.    '3_5_grams'
  14.    ]
  15.    }
  16.    },
  17.    filter: {
  18.    "3_5_grams": {
  19.    type: 'ngram',
  20.    min_gram: 3,
  21.    max_gram: 5
  22.    }
  23.    }
  24.    }
  25.    }
  26.   }
  27. )
  28. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "ngram_custom_example",
  3.   settings: {
  4.    index: {
  5.    max_ngram_diff: 2,
  6.    },
  7.    analysis: {
  8.    analyzer: {
  9.    default: {
  10.    tokenizer: "whitespace",
  11.    filter: ["3_5_grams"],
  12.    },
  13.    },
  14.    filter: {
  15.    "3_5_grams": {
  16.    type: "ngram",
  17.    min_gram: 3,
  18.    max_gram: 5,
  19.    },
  20.    },
  21.    },
  22.   },
  23. });
  24. console.log(response);

Console

  1. PUT ngram_custom_example
  2. {
  3.   "settings": {
  4.    "index": {
  5.    "max_ngram_diff": 2
  6.    },
  7.    "analysis": {
  8.    "analyzer": {
  9.    "default": {
  10.    "tokenizer": "whitespace",
  11.    "filter": [ "3_5_grams" ]
  12.    }
  13.    },
  14.    "filter": {
  15.    "3_5_grams": {
  16.    "type": "ngram",
  17.    "min_gram": 3,
  18.    "max_gram": 5
  19.    }
  20.    }
  21.    }
  22.   }
  23. }