長さトークンフィルター

指定された文字数より短いまたは長いトークンを削除します。たとえば、lengthフィルターを使用して、2文字未満のトークンと5文字を超えるトークンを除外できます。

このフィルターはLuceneのLengthFilterを使用します。

  1. ## 例
  2. 次の[analyze API](/read/elasticsearch-8-15/1a51b9d359d8a54c.md)リクエストは、`````length`````フィルターを使用して4文字を超えるトークンを削除します:
  3. #### Python
  4. ``````python
  5. resp = client.indices.analyze(
  6. tokenizer="whitespace",
  7. filter=[
  8. {
  9. "type": "length",
  10. "min": 0,
  11. "max": 4
  12. }
  13. ],
  14. text="the quick brown fox jumps over the lazy dog",
  15. )
  16. print(resp)
  17. `

Ruby

  1. response = client.indices.analyze(
  2. body: {
  3. tokenizer: 'whitespace',
  4. filter: [
  5. {
  6. type: 'length',
  7. min: 0,
  8. max: 4
  9. }
  10. ],
  11. text: 'the quick brown fox jumps over the lazy dog'
  12. }
  13. )
  14. puts response

Js

  1. const response = await client.indices.analyze({
  2. tokenizer: "whitespace",
  3. filter: [
  4. {
  5. type: "length",
  6. min: 0,
  7. max: 4,
  8. },
  9. ],
  10. text: "the quick brown fox jumps over the lazy dog",
  11. });
  12. console.log(response);

コンソール

  1. GET _analyze
  2. {
  3. "tokenizer": "whitespace",
  4. "filter": [
  5. {
  6. "type": "length",
  7. "min": 0,
  8. "max": 4
  9. }
  10. ],
  11. "text": "the quick brown fox jumps over the lazy dog"
  12. }

フィルターは次のトークンを生成します:

テキスト

  1. [ the, fox, over, the, lazy, dog ]

アナライザーに追加

次のcreate index APIリクエストは、lengthフィルターを使用して新しいカスタムアナライザーを構成します。

Python

  1. resp = client.indices.create(
  2. index="length_example",
  3. settings={
  4. "analysis": {
  5. "analyzer": {
  6. "standard_length": {
  7. "tokenizer": "standard",
  8. "filter": [
  9. "length"
  10. ]
  11. }
  12. }
  13. }
  14. },
  15. )
  16. print(resp)

Ruby

  1. response = client.indices.create(
  2. index: 'length_example',
  3. body: {
  4. settings: {
  5. analysis: {
  6. analyzer: {
  7. standard_length: {
  8. tokenizer: 'standard',
  9. filter: [
  10. 'length'
  11. ]
  12. }
  13. }
  14. }
  15. }
  16. }
  17. )
  18. puts response

Js

  1. const response = await client.indices.create({
  2. index: "length_example",
  3. settings: {
  4. analysis: {
  5. analyzer: {
  6. standard_length: {
  7. tokenizer: "standard",
  8. filter: ["length"],
  9. },
  10. },
  11. },
  12. },
  13. });
  14. console.log(response);

コンソール

  1. PUT length_example
  2. {
  3. "settings": {
  4. "analysis": {
  5. "analyzer": {
  6. "standard_length": {
  7. "tokenizer": "standard",
  8. "filter": [ "length" ]
  9. }
  10. }
  11. }
  12. }
  13. }

設定可能なパラメータ

  • min
  • (オプション、整数) トークンの最小文字数。短いトークンは出力から除外されます。デフォルトは0です。
  • max
  • (オプション、整数) トークンの最大文字数。長いトークンは出力から除外されます。デフォルトはInteger.MAX_VALUEで、2^31-1または2147483647です。

カスタマイズ

  1. たとえば、次のリクエストは、2文字未満のトークンと10文字を超えるトークンを削除するカスタム`````length`````フィルターを作成します:
  2. #### Python
  3. ``````python
  4. resp = client.indices.create(
  5. index="length_custom_example",
  6. settings={
  7. "analysis": {
  8. "analyzer": {
  9. "whitespace_length_2_to_10_char": {
  10. "tokenizer": "whitespace",
  11. "filter": [
  12. "length_2_to_10_char"
  13. ]
  14. }
  15. },
  16. "filter": {
  17. "length_2_to_10_char": {
  18. "type": "length",
  19. "min": 2,
  20. "max": 10
  21. }
  22. }
  23. }
  24. },
  25. )
  26. print(resp)
  27. `

Ruby

  1. response = client.indices.create(
  2. index: 'length_custom_example',
  3. body: {
  4. settings: {
  5. analysis: {
  6. analyzer: {
  7. "whitespace_length_2_to_10_char": {
  8. tokenizer: 'whitespace',
  9. filter: [
  10. 'length_2_to_10_char'
  11. ]
  12. }
  13. },
  14. filter: {
  15. "length_2_to_10_char": {
  16. type: 'length',
  17. min: 2,
  18. max: 10
  19. }
  20. }
  21. }
  22. }
  23. }
  24. )
  25. puts response

Js

  1. const response = await client.indices.create({
  2. index: "length_custom_example",
  3. settings: {
  4. analysis: {
  5. analyzer: {
  6. whitespace_length_2_to_10_char: {
  7. tokenizer: "whitespace",
  8. filter: ["length_2_to_10_char"],
  9. },
  10. },
  11. filter: {
  12. length_2_to_10_char: {
  13. type: "length",
  14. min: 2,
  15. max: 10,
  16. },
  17. },
  18. },
  19. },
  20. });
  21. console.log(response);

コンソール

  1. PUT length_custom_example
  2. {
  3. "settings": {
  4. "analysis": {
  5. "analyzer": {
  6. "whitespace_length_2_to_10_char": {
  7. "tokenizer": "whitespace",
  8. "filter": [ "length_2_to_10_char" ]
  9. }
  10. },
  11. "filter": {
  12. "length_2_to_10_char": {
  13. "type": "length",
  14. "min": 2,
  15. "max": 10
  16. }
  17. }
  18. }
  19. }
  20. }