クラシックトークナイザー

classic トークナイザーは、英語文書に適した文法ベースのトークナイザーです。このトークナイザーは、略語、会社名、メールアドレス、インターネットホスト名の特別な処理のためのヒューリスティックを持っています。しかし、これらのルールは常に機能するわけではなく、このトークナイザーは英語以外のほとんどの言語ではうまく機能しません：

  • それはほとんどの句読点で単語を分割し、句読点を削除します。ただし、空白の後に続かないドットはトークンの一部と見なされます。
  • ハイフンで単語を分割しますが、トークンに数字が含まれている場合は、トークン全体が製品番号として解釈され、分割されません。
  • メールアドレスとインターネットホスト名を1つのトークンとして認識します。

例の出力

Python

  1. resp = client.indices.analyze(
  2.    tokenizer="classic",
  3.    text="The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
  4. )
  5. print(resp)

Ruby

  1. response = client.indices.analyze(
  2.   body: {
  3.    tokenizer: 'classic',
  4.    text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  5.   }
  6. )
  7. puts response

Js

  1. const response = await client.indices.analyze({
  2.   tokenizer: "classic",
  3.   text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
  4. });
  5. console.log(response);

コンソール

  1. POST _analyze
  2. {
  3.   "tokenizer": "classic",
  4.   "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  5. }

上記の文は次の用語を生成します:

テキスト

  1. [ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone ]

設定

classic トークナイザーは、次のパラメータを受け入れます：

max_token_length 最大トークン長。 この長さを超えるトークンが見られた場合、max_token_length の間隔で分割されます。 デフォルトは 255 です。

例の設定

この例では、classic トークナイザーを max_token_length を5に設定します（デモ目的のため）：

Python

  1. resp = client.indices.create(
  2.    index="my-index-000001",
  3.    settings={
  4.    "analysis": {
  5.    "analyzer": {
  6.    "my_analyzer": {
  7.    "tokenizer": "my_tokenizer"
  8.    }
  9.    },
  10.    "tokenizer": {
  11.    "my_tokenizer": {
  12.    "type": "classic",
  13.    "max_token_length": 5
  14.    }
  15.    }
  16.    }
  17.    },
  18. )
  19. print(resp)
  21. resp1 = client.indices.analyze(
  22.    index="my-index-000001",
  23.    analyzer="my_analyzer",
  24.    text="The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
  25. )
  26. print(resp1)

Ruby

  1. response = client.indices.create(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    settings: {
  5.    analysis: {
  6.    analyzer: {
  7.    my_analyzer: {
  8.    tokenizer: 'my_tokenizer'
  9.    }
  10.    },
  11.    tokenizer: {
  12.    my_tokenizer: {
  13.    type: 'classic',
  14.    max_token_length: 5
  15.    }
  16.    }
  17.    }
  18.    }
  19.   }
  20. )
  21. puts response
  23. response = client.indices.analyze(
  24.   index: 'my-index-000001',
  25.   body: {
  26.    analyzer: 'my_analyzer',
  27.    text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  28.   }
  29. )
  30. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "my-index-000001",
  3.   settings: {
  4.    analysis: {
  5.    analyzer: {
  6.    my_analyzer: {
  7.    tokenizer: "my_tokenizer",
  8.    },
  9.    },
  10.    tokenizer: {
  11.    my_tokenizer: {
  12.    type: "classic",
  13.    max_token_length: 5,
  14.    },
  15.    },
  16.    },
  17.   },
  18. });
  19. console.log(response);
  21. const response1 = await client.indices.analyze({
  22.   index: "my-index-000001",
  23.   analyzer: "my_analyzer",
  24.   text: "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.",
  25. });
  26. console.log(response1);

コンソール

  1. PUT my-index-000001
  2. {
  3.   "settings": {
  4.    "analysis": {
  5.    "analyzer": {
  6.    "my_analyzer": {
  7.    "tokenizer": "my_tokenizer"
  8.    }
  9.    },
  10.    "tokenizer": {
  11.    "my_tokenizer": {
  12.    "type": "classic",
  13.    "max_token_length": 5
  14.    }
  15.    }
  16.    }
  17.   }
  18. }
  20. POST my-index-000001/_analyze
  21. {
  22.   "analyzer": "my_analyzer",
  23.   "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
  24. }

上記の例は次の用語を生成します:

テキスト

  1. [ The, 2, QUICK, Brown, Foxes, jumpe, d, over, the, lazy, dog's, bone ]