述語スクリプトトークンフィルター

提供された述語スクリプトに一致しないトークンを削除します。このフィルターはインラインのPainlessスクリプトのみをサポートします。スクリプトは分析述語コンテキストで評価されます。

以下の分析APIリクエストは、predicate_token_filterフィルターを使用してthe fox jumps the lazy dogから3文字以上のトークンのみを出力します。

Python

  1. resp = client.indices.analyze(
  2. tokenizer="whitespace",
  3. filter=[
  4. {
  5. "type": "predicate_token_filter",
  6. "script": {
  7. "source": "\n token.term.length() > 3\n "
  8. }
  9. }
  10. ],
  11. text="the fox jumps the lazy dog",
  12. )
  13. print(resp)

Ruby

  1. response = client.indices.analyze(
  2. body: {
  3. tokenizer: 'whitespace',
  4. filter: [
  5. {
  6. type: 'predicate_token_filter',
  7. script: {
  8. source: "\n token.term.length() > 3\n "
  9. }
  10. }
  11. ],
  12. text: 'the fox jumps the lazy dog'
  13. }
  14. )
  15. puts response

Js

  1. const response = await client.indices.analyze({
  2. tokenizer: "whitespace",
  3. filter: [
  4. {
  5. type: "predicate_token_filter",
  6. script: {
  7. source: "\n token.term.length() > 3\n ",
  8. },
  9. },
  10. ],
  11. text: "the fox jumps the lazy dog",
  12. });
  13. console.log(response);

コンソール

  1. GET /_analyze
  2. {
  3. "tokenizer": "whitespace",
  4. "filter": [
  5. {
  6. "type": "predicate_token_filter",
  7. "script": {
  8. "source": """
  9. token.term.length() > 3
  10. """
  11. }
  12. }
  13. ],
  14. "text": "the fox jumps the lazy dog"
  15. }

フィルターは以下のトークンを生成します。

テキスト

  1. [ jumps, lazy ]

APIの応答には、各出力トークンの位置とオフセットが含まれています。predicate_token_filterフィルターはトークンの元の位置やオフセットを変更しないことに注意してください。

応答

コンソール-結果

  1. {
  2. "tokens" : [
  3. {
  4. "token" : "jumps",
  5. "start_offset" : 8,
  6. "end_offset" : 13,
  7. "type" : "word",
  8. "position" : 2
  9. },
  10. {
  11. "token" : "lazy",
  12. "start_offset" : 18,
  13. "end_offset" : 22,
  14. "type" : "word",
  15. "position" : 4
  16. }
  17. ]
  18. }

設定可能なパラメータ

  • script
  • (必須、スクリプトオブジェクト) 入力トークンをフィルタリングするために使用される条件を含むスクリプト。このスクリプトに一致するトークンのみが出力に含まれます。
    このパラメータはインラインのPainlessスクリプトのみをサポートします。スクリプトは分析述語コンテキストで評価されます。

アナライザーのカスタマイズと追加

  1. 以下の[インデックス作成API](/read/elasticsearch-8-15/b5c127aabf881d48.md)リクエストは、カスタム`````predicate_token_filter`````フィルター、`````my_script_filter`````を使用して新しい[カスタムアナライザー](/read/elasticsearch-8-15/f8c7123dddb484d0.md)を構成します。
  2. `````my_script_filter`````フィルターは、`````ALPHANUM`````以外のすべてのタイプのトークンを削除します。
  3. #### Python
  4. ``````python
  5. resp = client.indices.create(
  6. index="my-index-000001",
  7. settings={
  8. "analysis": {
  9. "analyzer": {
  10. "my_analyzer": {
  11. "tokenizer": "standard",
  12. "filter": [
  13. "my_script_filter"
  14. ]
  15. }
  16. },
  17. "filter": {
  18. "my_script_filter": {
  19. "type": "predicate_token_filter",
  20. "script": {
  21. "source": "\n token.type.contains(\"ALPHANUM\")\n "
  22. }
  23. }
  24. }
  25. }
  26. },
  27. )
  28. print(resp)
  29. `

Ruby

  1. response = client.indices.create(
  2. index: 'my-index-000001',
  3. body: {
  4. settings: {
  5. analysis: {
  6. analyzer: {
  7. my_analyzer: {
  8. tokenizer: 'standard',
  9. filter: [
  10. 'my_script_filter'
  11. ]
  12. }
  13. },
  14. filter: {
  15. my_script_filter: {
  16. type: 'predicate_token_filter',
  17. script: {
  18. source: "\n token.type.contains(\"ALPHANUM\")\n "
  19. }
  20. }
  21. }
  22. }
  23. }
  24. }
  25. )
  26. puts response

Js

  1. const response = await client.indices.create({
  2. index: "my-index-000001",
  3. settings: {
  4. analysis: {
  5. analyzer: {
  6. my_analyzer: {
  7. tokenizer: "standard",
  8. filter: ["my_script_filter"],
  9. },
  10. },
  11. filter: {
  12. my_script_filter: {
  13. type: "predicate_token_filter",
  14. script: {
  15. source:
  16. '\n token.type.contains("ALPHANUM")\n ',
  17. },
  18. },
  19. },
  20. },
  21. },
  22. });
  23. console.log(response);

コンソール

  1. PUT /my-index-000001
  2. {
  3. "settings": {
  4. "analysis": {
  5. "analyzer": {
  6. "my_analyzer": {
  7. "tokenizer": "standard",
  8. "filter": [
  9. "my_script_filter"
  10. ]
  11. }
  12. },
  13. "filter": {
  14. "my_script_filter": {
  15. "type": "predicate_token_filter",
  16. "script": {
  17. "source": """
  18. token.type.contains("ALPHANUM")
  19. """
  20. }
  21. }
  22. }
  23. }
  24. }
  25. }