テキスト分析の設定 - カスタムアナライザーの作成（Create a custom analyzer）

カスタムアナライザーの作成
設定
例の設定

カスタムアナライザーの作成

組み込みのアナライザーがニーズを満たさない場合、適切な組み合わせを使用する custom アナライザーを作成できます：

設定

custom アナライザーは次のパラメーターを受け入れます：


`type`	アナライザーのタイプ。組み込みアナライザータイプを受け入れます。カスタムアナライザーの場合は、`custom`を使用するか、このパラメーターを省略します。
`tokenizer`	組み込みまたはカスタマイズされたトークナイザー. (必須)
`char_filter`	組み込みまたはカスタマイズされた文字フィルターのオプションの配列。
`filter`	組み込みまたはカスタマイズされたトークンフィルターのオプションの配列。
`position_increment_gap`	テキスト値の配列をインデックスする際、Elasticsearchは1つの値の最後の用語と次の値の最初の用語の間に偽の「ギャップ」を挿入し、フレーズクエリが異なる配列要素からの2つの用語に一致しないようにします。デフォルトは `100` です。詳細は `position_increment_gap` を参照してください。

例の設定

以下を組み合わせた例を示します：

Python

resp = client.indices.create(
   index="my-index-000001",
   settings={
   "analysis": {
   "analyzer": {
   "my_custom_analyzer": {
   "type": "custom",
   "tokenizer": "standard",
   "char_filter": [
   "html_strip"
   ],
   "filter": [
   "lowercase",
   "asciifolding"
   ]
   }
   }
   }
   },
)
print(resp)
resp1 = client.indices.analyze(
   index="my-index-000001",
   analyzer="my_custom_analyzer",
   text="Is this déjà vu</b>?",
)
print(resp1)

Ruby

response = client.indices.create(
  index: 'my-index-000001',
  body: {
   settings: {
   analysis: {
   analyzer: {
   my_custom_analyzer: {
   type: 'custom',
   tokenizer: 'standard',
   char_filter: [
   'html_strip'
   ],
   filter: [
   'lowercase',
   'asciifolding'
   ]
   }
   }
   }
   }
  }
)
puts response
response = client.indices.analyze(
  index: 'my-index-000001',
  body: {
   analyzer: 'my_custom_analyzer',
   text: 'Is this déjà vu</b>?'
  }
)
puts response

Js

const response = await client.indices.create({
  index: "my-index-000001",
  settings: {
   analysis: {
   analyzer: {
   my_custom_analyzer: {
   type: "custom",
   tokenizer: "standard",
   char_filter: ["html_strip"],
   filter: ["lowercase", "asciifolding"],
   },
   },
   },
  },
});
console.log(response);
const response1 = await client.indices.analyze({
  index: "my-index-000001",
  analyzer: "my_custom_analyzer",
  text: "Is this déjà vu</b>?",
});
console.log(response1);

コンソール

PUT my-index-000001
{
  "settings": {
   "analysis": {
   "analyzer": {
   "my_custom_analyzer": {
   "type": "custom",
   "tokenizer": "standard",
   "char_filter": [
   "html_strip"
   ],
   "filter": [
   "lowercase",
   "asciifolding"
   ]
   }
   }
   }
  }
}
POST my-index-000001/_analyze
{
  "analyzer": "my_custom_analyzer",
  "text": "Is this <b>déjà vu</b>?"
}

| | custom アナライザーの場合、type を custom に設定するか、type パラメーターを省略します。

上記の例は次の用語を生成します：

テキスト

[ is, this, deja, vu ]

前の例では、トークナイザー、トークンフィルター、および文字フィルターがデフォルト設定で使用されましたが、それぞれの設定されたバージョンを作成し、カスタムアナライザーで使用することが可能です。

以下を組み合わせたより複雑な例を示します：

文字フィルター
- マッピング文字フィルター、:) を _happy_ に、:( を _sad_ に置き換えるように設定されています。
トークナイザー
- パターントークナイザー、句読点文字で分割するように設定されています。
トークンフィルター
- 小文字トークンフィルター
- ストップトークンフィルター、事前定義された英語のストップワードリストを使用するように設定されています。

以下は例です：

Python

resp = client.indices.create(
   index="my-index-000001",
   settings={
   "analysis": {
   "analyzer": {
   "my_custom_analyzer": {
   "char_filter": [
   "emoticons"
   ],
   "tokenizer": "punctuation",
   "filter": [
   "lowercase",
   "english_stop"
   ]
   }
   },
   "tokenizer": {
   "punctuation": {
   "type": "pattern",
   "pattern": "[ .,!?]"
   }
   },
   "char_filter": {
   "emoticons": {
   "type": "mapping",
   "mappings": [
   ":) => _happy_",
   ":( => _sad_"
   ]
   }
   },
   "filter": {
   "english_stop": {
   "type": "stop",
   "stopwords": "_english_"
   }
   }
   }
   },
)
print(resp)
resp1 = client.indices.analyze(
   index="my-index-000001",
   analyzer="my_custom_analyzer",
   text="I'm a :) person, and you?",
)
print(resp1)

Ruby

response = client.indices.create(
  index: 'my-index-000001',
  body: {
   settings: {
   analysis: {
   analyzer: {
   my_custom_analyzer: {
   char_filter: [
   'emoticons'
   ],
   tokenizer: 'punctuation',
   filter: [
   'lowercase',
   'english_stop'
   ]
   }
   },
   tokenizer: {
   punctuation: {
   type: 'pattern',
   pattern: '[ .,!?]'
   }
   },
   char_filter: {
   emoticons: {
   type: 'mapping',
   mappings: [
   ':) => _happy_',
   ':( => _sad_'
   ]
   }
   },
   filter: {
   english_stop: {
   type: 'stop',
   stopwords: '_english_'
   }
   }
   }
   }
  }
)
puts response
response = client.indices.analyze(
  index: 'my-index-000001',
  body: {
   analyzer: 'my_custom_analyzer',
   text: "I'm a :) person, and you?"
  }
)
puts response

Js

const response = await client.indices.create({
  index: "my-index-000001",
  settings: {
   analysis: {
   analyzer: {
   my_custom_analyzer: {
   char_filter: ["emoticons"],
   tokenizer: "punctuation",
   filter: ["lowercase", "english_stop"],
   },
   },
   tokenizer: {
   punctuation: {
   type: "pattern",
   pattern: "[ .,!?]",
   },
   },
   char_filter: {
   emoticons: {
   type: "mapping",
   mappings: [":) => _happy_", ":( => _sad_"],
   },
   },
   filter: {
   english_stop: {
   type: "stop",
   stopwords: "_english_",
   },
   },
   },
  },
});
console.log(response);
const response1 = await client.indices.analyze({
  index: "my-index-000001",
  analyzer: "my_custom_analyzer",
  text: "I'm a :) person, and you?",
});
console.log(response1);

コンソール

PUT my-index-000001
{
  "settings": {
   "analysis": {
   "analyzer": {
   "my_custom_analyzer": {
   "char_filter": [
   "emoticons"
   ],
   "tokenizer": "punctuation",
   "filter": [
   "lowercase",
   "english_stop"
   ]
   }
   },
   "tokenizer": {
   "punctuation": {
   "type": "pattern",
   "pattern": "[ .,!?]"
   }
   },
   "char_filter": {
   "emoticons": {
   "type": "mapping",
   "mappings": [
   ":) => _happy_",
   ":( => _sad_"
   ]
   }
   },
   "filter": {
   "english_stop": {
   "type": "stop",
   "stopwords": "_english_"
   }
   }
   }
  }
}
POST my-index-000001/_analyze
{
  "analyzer": "my_custom_analyzer",
  "text": "I'm a :) person, and you?"
}


	インデックスにデフォルトのカスタムアナライザー `my_custom_analyzer` を割り当てます。このアナライザーは、リクエストの後で定義されるカスタムトークナイザー、文字フィルター、およびトークンフィルターを使用します。このアナライザーは `type` パラメーターも省略します。
	カスタム `punctuation` トークナイザーを定義します。
	カスタム `emoticons` 文字フィルターを定義します。
	カスタム `english_stop` トークンフィルターを定義します。

上記の例は次の用語を生成します：

テキスト

[ i'm, _happy_, person, you ]