小文字トークナイザー

lowercase トークナイザーは、letter トークナイザー のように、文字でない文字に出会うたびにテキストを用語に分割しますが、すべての用語を小文字に変換します。これは、letter トークナイザー と lowercase トークンフィルター を組み合わせたものと機能的に同等ですが、両方のステップを1回のパスで実行するため、より効率的です。

例の出力

Python

  1. resp = client.indices.analyze(
  2.    tokenizer="lowercase",
  3.    text="The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
  4. )
  5. print(resp)

Ruby

  1. response = client.indices.analyze(
  2.   body: {
  3.    tokenizer: 'lowercase',
  4.    text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  5.   }
  6. )
  7. puts response

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "lowercase",
  3.   text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
  4. });
  5. console.log(response);

コンソール

  1. POST _analyze
  2. {
  3.   "tokenizer": "lowercase",
  4.   "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  5. }

上記の文は次の用語を生成します:

テキスト

  1. [ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

設定

lowercase トークナイザーは設定可能ではありません。