トリムトークンフィルター

ストリーム内の各トークンから先頭と末尾の空白を削除します。これによりトークンの長さが変わる可能性がありますが、trimフィルターはトークンのオフセットを変更しません

  1. [トークン化器](/read/elasticsearch-8-15/d096dc2d4f06be16.md)や[`````whitespace`````](/read/elasticsearch-8-15/37c528a22eb78d57.md)トークン化器など、多くの一般的に使用されるトークン化器は、デフォルトで空白を削除します。これらのトークン化器を使用する場合、別の`````trim`````フィルターを追加する必要はありません。
  2. ## 例
  3. `````trim`````フィルターがどのように機能するかを見るには、まず空白を含むトークンを生成する必要があります。
  4. 次の[分析API](/read/elasticsearch-8-15/1a51b9d359d8a54c.md)リクエストは、[`````keyword`````](/read/elasticsearch-8-15/ec2a5f33a39f9570.md)トークン化器を使用して`````" fox "`````のトークンを生成します。
  5. #### Python
  6. ``````python
  7. resp = client.indices.analyze(
  8. tokenizer="keyword",
  9. text=" fox ",
  10. )
  11. print(resp)
  12. `

Ruby

  1. response = client.indices.analyze(
  2. body: {
  3. tokenizer: 'keyword',
  4. text: ' fox '
  5. }
  6. )
  7. puts response

Js

  1. const response = await client.indices.analyze({
  2. tokenizer: "keyword",
  3. text: " fox ",
  4. });
  5. console.log(response);

コンソール

  1. GET _analyze
  2. {
  3. "tokenizer" : "keyword",
  4. "text" : " fox "
  5. }

APIは次のレスポンスを返します。" fox "トークンには元のテキストの空白が含まれています。トークンの長さが変わっても、start_offsetend_offsetは同じままです。

コンソール-結果

  1. {
  2. "tokens": [
  3. {
  4. "token": " fox ",
  5. "start_offset": 0,
  6. "end_offset": 5,
  7. "type": "word",
  8. "position": 0
  9. }
  10. ]
  11. }

空白を削除するには、前の分析APIリクエストにtrimフィルターを追加します。

Python

  1. resp = client.indices.analyze(
  2. tokenizer="keyword",
  3. filter=[
  4. "trim"
  5. ],
  6. text=" fox ",
  7. )
  8. print(resp)

Ruby

  1. response = client.indices.analyze(
  2. body: {
  3. tokenizer: 'keyword',
  4. filter: [
  5. 'trim'
  6. ],
  7. text: ' fox '
  8. }
  9. )
  10. puts response

Js

  1. const response = await client.indices.analyze({
  2. tokenizer: "keyword",
  3. filter: ["trim"],
  4. text: " fox ",
  5. });
  6. console.log(response);

コンソール

  1. GET _analyze
  2. {
  3. "tokenizer" : "keyword",
  4. "filter" : ["trim"],
  5. "text" : " fox "
  6. }

APIは次のレスポンスを返します。返されたfoxトークンには先頭や末尾の空白が含まれていません。

コンソール-結果

  1. {
  2. "tokens": [
  3. {
  4. "token": "fox",
  5. "start_offset": 0,
  6. "end_offset": 5,
  7. "type": "word",
  8. "position": 0
  9. }
  10. ]
  11. }

アナライザーに追加

次のインデックス作成APIリクエストは、trimフィルターを使用して新しいカスタムアナライザーを構成します。

Python

  1. resp = client.indices.create(
  2. index="trim_example",
  3. settings={
  4. "analysis": {
  5. "analyzer": {
  6. "keyword_trim": {
  7. "tokenizer": "keyword",
  8. "filter": [
  9. "trim"
  10. ]
  11. }
  12. }
  13. }
  14. },
  15. )
  16. print(resp)

Ruby

  1. response = client.indices.create(
  2. index: 'trim_example',
  3. body: {
  4. settings: {
  5. analysis: {
  6. analyzer: {
  7. keyword_trim: {
  8. tokenizer: 'keyword',
  9. filter: [
  10. 'trim'
  11. ]
  12. }
  13. }
  14. }
  15. }
  16. }
  17. )
  18. puts response

Js

  1. const response = await client.indices.create({
  2. index: "trim_example",
  3. settings: {
  4. analysis: {
  5. analyzer: {
  6. keyword_trim: {
  7. tokenizer: "keyword",
  8. filter: ["trim"],
  9. },
  10. },
  11. },
  12. },
  13. });
  14. console.log(response);

コンソール

  1. PUT trim_example
  2. {
  3. "settings": {
  4. "analysis": {
  5. "analyzer": {
  6. "keyword_trim": {
  7. "tokenizer": "keyword",
  8. "filter": [ "trim" ]
  9. }
  10. }
  11. }
  12. }
  13. }