Hunspell トークンフィルター

提供された Hunspell 辞書 に基づいて 辞書ステミング を行います。 hunspell フィルターは、1つ以上の言語特有の Hunspell 辞書の 設定 を必要とします。

このフィルターは Lucene の HunspellStemFilter を使用します。

利用可能な場合は、hunspell トークンフィルターを使用する前に、言語に対してアルゴリズムステマーを試すことをお勧めします。実際には、アルゴリズムステマーは通常、辞書ステマーよりも優れた性能を発揮します。辞書ステマーを参照してください。

Hunspell 辞書の設定

Hunspell 辞書は、ファイルシステム上の専用 hunspell ディレクトリに保存され、検出されます: <$ES_PATH_CONF>/hunspell。各辞書は、関連する言語とロケールにちなんで名付けられた独自のディレクトリを持つことが期待されます（例: pt_BR, en_GB）。この辞書ディレクトリには、単一の .aff と1つ以上の .dic ファイルが含まれていることが期待されており、すべて自動的に取得されます。たとえば、次のディレクトリ構成は en_US 辞書を定義します:

Txt

  1. - config
  2.    |-- hunspell
  3.    |    |-- en_US
  4.    |    |    |-- en_US.dic
  5.    |    |    |-- en_US.aff

各辞書は1つの設定で構成できます:

  • ignore_case
  • (静的、ブール値) true の場合、辞書の一致は大文字と小文字を区別しません。デフォルトは false です。
    この設定は elasticsearch.yml で indices.analysis.hunspell.dictionary.ignore_case を使用してグローバルに設定できます。
    特定のロケールの設定を構成するには、indices.analysis.hunspell.dictionary.<locale>.ignore_case 設定を使用します（例: en_US (アメリカ英語) ロケールの場合、設定は indices.analysis.hunspell.dictionary.en_US.ignore_case です）。
    辞書ディレクトリの下にこれらの設定を保持する settings.yml ファイルを追加することもできます。これにより、elasticsearch.yml で定義された他の ignore_case 設定が上書きされます。

例

次の分析 API リクエストは、hunspell フィルターを使用して the foxes jumping quickly を the fox jump quick にステムします。

リクエストは en_US ロケールを指定しており、.aff および .dic ファイルが <$ES_PATH_CONF>/hunspell/en_US ディレクトリで Hunspell 辞書に使用されます。

Python

  1. resp = client.indices.analyze(
  2.    tokenizer="standard",
  3.    filter=[
  4.    {
  5.    "type": "hunspell",
  6.    "locale": "en_US"
  7.    }
  8.    ],
  9.    text="the foxes jumping quickly",
  10. )
  11. print(resp)

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "standard",
  3.   filter: [
  4.    {
  5.    type: "hunspell",
  6.    locale: "en_US",
  7.    },
  8.   ],
  9.   text: "the foxes jumping quickly",
  10. });
  11. console.log(response);

コンソール

  1. GET /_analyze
  2. {
  3.   "tokenizer": "standard",
  4.   "filter": [
  5.    {
  6.    "type": "hunspell",
  7.    "locale": "en_US"
  8.    }
  9.   ],
  10.   "text": "the foxes jumping quickly"
  11. }

フィルターは次のトークンを生成します:

テキスト

  1. [ the, fox, jump, quick ]

設定可能なパラメータ

  • dictionary
  • (オプション、文字列または文字列の配列) Hunspell 辞書に使用する1つ以上の .dic ファイル（例: en_US.dic, my_custom.dic）。
    デフォルトでは、hunspell フィルターは <$ES_PATH_CONF>/hunspell/<locale> ディレクトリ内のすべての .dic ファイルを使用します。lang、language、または locale パラメータを使用して指定します。
  • dedup
  • (オプション、ブール値) true の場合、重複トークンはフィルターの出力から削除されます。デフォルトは true です。
  • lang
  • (必須*、文字列) locale パラメータ のエイリアス。
    このパラメータが指定されていない場合、language または locale パラメータが必要です。
  • language

  • (必須*、文字列) locale パラメータ のエイリアス。
    このパラメータが指定されていない場合、lang または locale パラメータが必要です。

  • locale
  • (必須*、文字列) Hunspell 辞書の .aff および .dic ファイルを指定するために使用されるロケールディレクトリ。 Hunspell 辞書の設定 を参照してください。
    このパラメータが指定されていない場合、lang または language パラメータが必要です。
  • longest_only
  • (オプション、ブール値) true の場合、各トークンの最も長いステムバージョンのみが出力に含まれます。 false の場合、トークンのすべてのステムバージョンが含まれます。デフォルトは false です。

アナライザーのカスタマイズと追加

hunspell フィルターをカスタマイズするには、それを複製して新しいカスタムトークンフィルターの基礎を作成します。設定可能なパラメータを使用してフィルターを変更できます。

たとえば、次の インデックス作成 API リクエストは、カスタム hunspell フィルター my_en_US_dict_stemmer を使用して新しい カスタムアナライザー を構成します。

my_en_US_dict_stemmer フィルターは locale の en_US を使用し、.aff および .dic ファイルが <$ES_PATH_CONF>/hunspell/en_US ディレクトリで使用されます。フィルターには dedup 引数 false も含まれており、辞書から追加された重複トークンはフィルターの出力から削除されません。

Python

  1. resp = client.indices.create(
  2.    index="my-index-000001",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "en": {
  7.    "tokenizer": "standard",
  8.    "filter": [
  9.    "my_en_US_dict_stemmer"
  10.    ]
  11.    }
  12.    },
  13.    "filter": {
  14.    "my_en_US_dict_stemmer": {
  15.    "type": "hunspell",
  16.    "locale": "en_US",
  17.    "dedup": False
  18.    }
  19.    }
  20.    }
  21.    },
  22. )
  23. print(resp)

Ruby

  1. response = client.indices.create(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    en: {
  8.    tokenizer: 'standard',
  9.    filter: [
  10.    'my_en_US_dict_stemmer'
  11.    ]
  12.    }
  13.    },
  14.    filter: {
  15.    "my_en_US_dict_stemmer": {
  16.    type: 'hunspell',
  17.    locale: 'en_US',
  18.    dedup: false
  19.    }
  20.    }
  21.    }
  22.    }
  23.   }
  24. )
  25. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "my-index-000001",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    en: {
  7.    tokenizer: "standard",
  8.    filter: ["my_en_US_dict_stemmer"],
  9.    },
  10.    },
  11.    filter: {
  12.    my_en_US_dict_stemmer: {
  13.    type: "hunspell",
  14.    locale: "en_US",
  15.    dedup: false,
  16.    },
  17.    },
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. PUT /my-index-000001
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "en": {
  7.    "tokenizer": "standard",
  8.    "filter": [ "my_en_US_dict_stemmer" ]
  9.    }
  10.    },
  11.    "filter": {
  12.    "my_en_US_dict_stemmer": {
  13.    "type": "hunspell",
  14.    "locale": "en_US",
  15.    "dedup": false
  16.    }
  17.    }
  18.    }
  19.   }
  20. }

設定

ignore_case 設定 に加えて、hunspell フィルターのために elasticsearch.yml を使用して次のグローバル設定を構成できます:

  • indices.analysis.hunspell.dictionary.lazy
  • (静的、ブール値) true の場合、Hunspell 辞書の読み込みは辞書が使用されるまで遅延されます。 false の場合、ノードが起動するときに辞書ディレクトリが辞書のためにチェックされ、辞書が自動的に読み込まれます。デフォルトは false です。