トランケートトークンフィルター

指定された文字数制限を超えるトークンを切り捨てます。この制限はデフォルトで 10 ですが、length パラメータを使用してカスタマイズできます。

たとえば、truncate フィルターを使用して、すべてのトークンを 3 文字以下に短縮し、jumping fox を jum fox に変更できます。

このフィルターは、Lucene の TruncateTokenFilter を使用します。

例

次の analyze API リクエストは、truncate フィルターを使用して、the quinquennial extravaganza carried on で 10 文字を超えるトークンを短縮します:

Python

  1. resp = client.indices.analyze(
  2.    tokenizer="whitespace",
  3.    filter=[
  4.    "truncate"
  5.    ],
  6.    text="the quinquennial extravaganza carried on",
  7. )
  8. print(resp)

Ruby

  1. response = client.indices.analyze(
  2.   body: {
  3.    tokenizer: 'whitespace',
  4.    filter: [
  5.    'truncate'
  6.    ],
  7.    text: 'the quinquennial extravaganza carried on'
  8.   }
  9. )
  10. puts response

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "whitespace",
  3.   filter: ["truncate"],
  4.   text: "the quinquennial extravaganza carried on",
  5. });
  6. console.log(response);

コンソール

  1. GET _analyze
  2. {
  3.   "tokenizer" : "whitespace",
  4.   "filter" : ["truncate"],
  5.   "text" : "the quinquennial extravaganza carried on"
  6. }

フィルターは次のトークンを生成します:

テキスト

  1. [ the, quinquenni, extravagan, carried, on ]

アナライザーに追加

次の create index API リクエストは、truncate フィルターを使用して新しい カスタムアナライザー を構成します。

Python

  1. resp = client.indices.create(
  2.    index="custom_truncate_example",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "standard_truncate": {
  7.    "tokenizer": "standard",
  8.    "filter": [
  9.    "truncate"
  10.    ]
  11.    }
  12.    }
  13.    }
  14.    },
  15. )
  16. print(resp)

Ruby

  1. response = client.indices.create(
  2.   index: 'custom_truncate_example',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    standard_truncate: {
  8.    tokenizer: 'standard',
  9.    filter: [
  10.    'truncate'
  11.    ]
  12.    }
  13.    }
  14.    }
  15.    }
  16.   }
  17. )
  18. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "custom_truncate_example",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    standard_truncate: {
  7.    tokenizer: "standard",
  8.    filter: ["truncate"],
  9.    },
  10.    },
  11.    },
  12.   },
  13. });
  14. console.log(response);

コンソール

  1. PUT custom_truncate_example
  2. {
  3.   "settings" : {
  4.    "analysis" : {
  5.    "analyzer" : {
  6.    "standard_truncate" : {
  7.    "tokenizer" : "standard",
  8.    "filter" : ["truncate"]
  9.    }
  10.    }
  11.    }
  12.   }
  13. }

設定可能なパラメータ

  • length
  • （オプション、整数）各トークンの文字数制限。この制限を超えるトークンは切り捨てられます。デフォルトは 10 です。

カスタマイズ

truncate フィルターをカスタマイズするには、それを複製して新しいカスタムトークンフィルターの基礎を作成します。設定可能なパラメータを使用してフィルターを変更できます。

たとえば、次のリクエストは、truncate フィルター 5_char_trunc を作成し、トークンを length の 5 文字以下に短縮します:

Python

  1. resp = client.indices.create(
  2.    index="5_char_words_example",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "lowercase_5_char": {
  7.    "tokenizer": "lowercase",
  8.    "filter": [
  9.    "5_char_trunc"
  10.    ]
  11.    }
  12.    },
  13.    "filter": {
  14.    "5_char_trunc": {
  15.    "type": "truncate",
  16.    "length": 5
  17.    }
  18.    }
  19.    }
  20.    },
  21. )
  22. print(resp)

Ruby

  1. response = client.indices.create(
  2.   index: '5_char_words_example',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    "lowercase_5_char": {
  8.    tokenizer: 'lowercase',
  9.    filter: [
  10.    '5_char_trunc'
  11.    ]
  12.    }
  13.    },
  14.    filter: {
  15.    "5_char_trunc": {
  16.    type: 'truncate',
  17.    length: 5
  18.    }
  19.    }
  20.    }
  21.    }
  22.   }
  23. )
  24. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "5_char_words_example",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    lowercase_5_char: {
  7.    tokenizer: "lowercase",
  8.    filter: ["5_char_trunc"],
  9.    },
  10.    },
  11.    filter: {
  12.    "5_char_trunc": {
  13.    type: "truncate",
  14.    length: 5,
  15.    },
  16.    },
  17.    },
  18.   },
  19. });
  20. console.log(response);

コンソール

  1. PUT 5_char_words_example
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "lowercase_5_char": {
  7.    "tokenizer": "lowercase",
  8.    "filter": [ "5_char_trunc" ]
  9.    }
  10.    },
  11.    "filter": {
  12.    "5_char_trunc": {
  13.    "type": "truncate",
  14.    "length": 5
  15.    }
  16.    }
  17.    }
  18.   }
  19. }