シンプルパターンスプリット（Simple pattern split）

シンプルパターンスプリットトークナイザー

simple_pattern_split トークナイザーは、正規表現を使用して入力をパターンマッチで用語に分割します。サポートされている正規表現機能のセットは、pattern トークナイザーよりも制限されていますが、トークン化は一般的に速くなります。

このトークナイザーは、マッチ自体から用語を生成しません。同じ制限された正規表現サブセットのパターンを使用してマッチから用語を生成するには、simple_pattern トークナイザーを参照してください。

このトークナイザーは、Lucene正規表現を使用します。サポートされている機能と構文の説明については、正規表現構文を参照してください。

デフォルトのパターンは空の文字列で、フル入力を含む1つの用語を生成します。このトークナイザーは、常に非デフォルトのパターンで構成する必要があります。

設定

simple_pattern_split トークナイザーは、次のパラメータを受け入れます:

例の設定

この例では、simple_pattern_split トークナイザーを使用して、入力テキストをアンダースコアで分割します。

Python

resp = client.indices.create(
   index="my-index-000001",
   settings={
   "analysis": {
   "analyzer": {
   "my_analyzer": {
   "tokenizer": "my_tokenizer"
   }
   },
   "tokenizer": {
   "my_tokenizer": {
   "type": "simple_pattern_split",
   "pattern": "_"
   }
   }
   }
   },
)
print(resp)
resp1 = client.indices.analyze(
   index="my-index-000001",
   analyzer="my_analyzer",
   text="an_underscored_phrase",
)
print(resp1)

Ruby

response = client.indices.create(
  index: 'my-index-000001',
  body: {
   settings: {
   analysis: {
   analyzer: {
   my_analyzer: {
   tokenizer: 'my_tokenizer'
   }
   },
   tokenizer: {
   my_tokenizer: {
   type: 'simple_pattern_split',
   pattern: '_'
   }
   }
   }
   }
  }
)
puts response
response = client.indices.analyze(
  index: 'my-index-000001',
  body: {
   analyzer: 'my_analyzer',
   text: 'an_underscored_phrase'
  }
)
puts response

Js

const response = await client.indices.create({
  index: "my-index-000001",
  settings: {
   analysis: {
   analyzer: {
   my_analyzer: {
   tokenizer: "my_tokenizer",
   },
   },
   tokenizer: {
   my_tokenizer: {
   type: "simple_pattern_split",
   pattern: "_",
   },
   },
   },
  },
});
console.log(response);
const response1 = await client.indices.analyze({
  index: "my-index-000001",
  analyzer: "my_analyzer",
  text: "an_underscored_phrase",
});
console.log(response1);

コンソール

PUT my-index-000001
{
  "settings": {
   "analysis": {
   "analyzer": {
   "my_analyzer": {
   "tokenizer": "my_tokenizer"
   }
   },
   "tokenizer": {
   "my_tokenizer": {
   "type": "simple_pattern_split",
   "pattern": "_"
   }
   }
   }
  }
}
POST my-index-000001/_analyze
{
  "analyzer": "my_analyzer",
  "text": "an_underscored_phrase"
}

上記の例は、これらの用語を生成します:

テキスト

[ an, underscored, phrase ]