フィンガープリントトークンフィルター

トークンストリームから重複トークンをソートして削除し、ストリームを単一の出力トークンに連結します。

例えば、このフィルターは[ the, fox, was, very, very, quick ]トークンストリームを次のように変更します:

  • 1. トークンをアルファベット順にソートして[ fox, quick, the, very, very, was ]
  • 2. veryトークンの重複インスタンスを削除します。
  • 3. トークンストリームを出力単一トークンに連結します: [fox quick the very was ]

このフィルターによって生成される出力トークンは、OpenRefineプロジェクトで説明されているように、テキストのフィンガープリンティングやクラスタリングに役立ちます。

このフィルターはLuceneのFingerprintFilterを使用します。

例

次の分析APIリクエストは、fingerprintフィルターを使用してテキストzebra jumps over resting resting dogの単一出力トークンを作成します:

Python

  1. resp = client.indices.analyze(
  2.    tokenizer="whitespace",
  3.    filter=[
  4.    "fingerprint"
  5.    ],
  6.    text="zebra jumps over resting resting dog",
  7. )
  8. print(resp)

Ruby

  1. response = client.indices.analyze(
  2.   body: {
  3.    tokenizer: 'whitespace',
  4.    filter: [
  5.    'fingerprint'
  6.    ],
  7.    text: 'zebra jumps over resting resting dog'
  8.   }
  9. )
  10. puts response

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "whitespace",
  3.   filter: ["fingerprint"],
  4.   text: "zebra jumps over resting resting dog",
  5. });
  6. console.log(response);

コンソール

  1. GET _analyze
  2. {
  3.   "tokenizer" : "whitespace",
  4.   "filter" : ["fingerprint"],
  5.   "text" : "zebra jumps over resting resting dog"
  6. }

フィルターは次のトークンを生成します:

テキスト

  1. [ dog jumps over resting zebra ]

アナライザーに追加

次のインデックス作成APIリクエストは、fingerprintフィルターを使用して新しいカスタムアナライザーを構成します。

Python

  1. resp = client.indices.create(
  2.    index="fingerprint_example",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "whitespace_fingerprint": {
  7.    "tokenizer": "whitespace",
  8.    "filter": [
  9.    "fingerprint"
  10.    ]
  11.    }
  12.    }
  13.    }
  14.    },
  15. )
  16. print(resp)

Ruby

  1. response = client.indices.create(
  2.   index: 'fingerprint_example',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    whitespace_fingerprint: {
  8.    tokenizer: 'whitespace',
  9.    filter: [
  10.    'fingerprint'
  11.    ]
  12.    }
  13.    }
  14.    }
  15.    }
  16.   }
  17. )
  18. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "fingerprint_example",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    whitespace_fingerprint: {
  7.    tokenizer: "whitespace",
  8.    filter: ["fingerprint"],
  9.    },
  10.    },
  11.    },
  12.   },
  13. });
  14. console.log(response);

コンソール

  1. PUT fingerprint_example
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "whitespace_fingerprint": {
  7.    "tokenizer": "whitespace",
  8.    "filter": [ "fingerprint" ]
  9.    }
  10.    }
  11.    }
  12.   }
  13. }

設定可能なパラメータ

  • max_output_size
  • (オプション、整数) 出力トークンの最大文字数（空白を含む）。デフォルトは255です。この長さを超える連結トークンは出力されません。
  • separator
  • (オプション、文字列) トークンストリーム入力を連結するために使用する文字。デフォルトはスペースです。

カスタマイズ

  2. 例えば、次のリクエストは、`````+`````を使用してトークンストリームを連結するカスタム`````fingerprint`````フィルターを作成します。このフィルターは、出力トークンを`````100`````文字以下に制限します。
  5. #### Python
  7. ``````python
  8. resp = client.indices.create(
  9.    index="custom_fingerprint_example",
  10.    settings={
  11.    "analysis": {
  12.    "analyzer": {
  13.    "whitespace_": {
  14.    "tokenizer": "whitespace",
  15.    "filter": [
  16.    "fingerprint_plus_concat"
  17.    ]
  18.    }
  19.    },
  20.    "filter": {
  21.    "fingerprint_plus_concat": {
  22.    "type": "fingerprint",
  23.    "max_output_size": 100,
  24.    "separator": "+"
  25.    }
  26.    }
  27.    }
  28.    },
  29. )
  30. print(resp)
  31. `

Ruby

  1. response = client.indices.create(
  2.   index: 'custom_fingerprint_example',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    whitespace_: {
  8.    tokenizer: 'whitespace',
  9.    filter: [
  10.    'fingerprint_plus_concat'
  11.    ]
  12.    }
  13.    },
  14.    filter: {
  15.    fingerprint_plus_concat: {
  16.    type: 'fingerprint',
  17.    max_output_size: 100,
  18.    separator: '+'
  19.    }
  20.    }
  21.    }
  22.    }
  23.   }
  24. )
  25. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "custom_fingerprint_example",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    whitespace_: {
  7.    tokenizer: "whitespace",
  8.    filter: ["fingerprint_plus_concat"],
  9.    },
  10.    },
  11.    filter: {
  12.    fingerprint_plus_concat: {
  13.    type: "fingerprint",
  14.    max_output_size: 100,
  15.    separator: "+",
  16.    },
  17.    },
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. PUT custom_fingerprint_example
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "whitespace_": {
  7.    "tokenizer": "whitespace",
  8.    "filter": [ "fingerprint_plus_concat" ]
  9.    }
  10.    },
  11.    "filter": {
  12.    "fingerprint_plus_concat": {
  13.    "type": "fingerprint",
  14.    "max_output_size": 100,
  15.    "separator": "+"
  16.    }
  17.    }
  18.    }
  19.   }
  20. }