CJK幅（CJK width）

CJK幅トークンフィルター

CJK（中国語、日本語、韓国語）文字の幅の違いを次のように正規化します：

• 全角ASCII文字のバリアントを対応する基本的なラテン文字に折りたたむ
• 半角カタカナ文字のバリアントを対応するかな文字に折りたたむ

このフィルターは、Elasticsearchの組み込みCJK言語アナライザーに含まれています。LuceneのCJKWidthFilterを使用します。

このトークンフィルターは、NFKC/NFKD Unicode正規化のサブセットとして見ることができます。完全な正規化サポートについては、analysis-icuプラグインを参照してください。

例

Python

resp = client.indices.analyze(
   tokenizer="standard",
   filter=[
   "cjk_width"
   ],
   text="ｼｰｻｲﾄﾞﾗｲﾅｰ",
)
print(resp)

Ruby

response = client.indices.analyze(
  body: {
   tokenizer: 'standard',
   filter: [
   'cjk_width'
   ],
   text: 'ｼｰｻｲﾄﾞﾗｲﾅｰ'
  }
)
puts response

Js

const response = await client.indices.analyze({
  tokenizer: "standard",
  filter: ["cjk_width"],
  text: "ｼｰｻｲﾄﾞﾗｲﾅｰ",
});
console.log(response);

コンソール

GET /_analyze
{
  "tokenizer" : "standard",
  "filter" : ["cjk_width"],
  "text" : "ｼｰｻｲﾄﾞﾗｲﾅｰ"
}

フィルターは次のトークンを生成します:

テキスト

シーサイドライナー

アナライザーに追加

次のインデックス作成APIリクエストは、CJK幅トークンフィルターを使用して新しいカスタムアナライザーを構成します。

Python

resp = client.indices.create(
   index="cjk_width_example",
   settings={
   "analysis": {
   "analyzer": {
   "standard_cjk_width": {
   "tokenizer": "standard",
   "filter": [
   "cjk_width"
   ]
   }
   }
   }
   },
)
print(resp)

Ruby

response = client.indices.create(
  index: 'cjk_width_example',
  body: {
   settings: {
   analysis: {
   analyzer: {
   standard_cjk_width: {
   tokenizer: 'standard',
   filter: [
   'cjk_width'
   ]
   }
   }
   }
   }
  }
)
puts response

Js

const response = await client.indices.create({
  index: "cjk_width_example",
  settings: {
   analysis: {
   analyzer: {
   standard_cjk_width: {
   tokenizer: "standard",
   filter: ["cjk_width"],
   },
   },
   },
  },
});
console.log(response);

コンソール

PUT /cjk_width_example
{
  "settings": {
   "analysis": {
   "analyzer": {
   "standard_cjk_width": {
   "tokenizer": "standard",
   "filter": [ "cjk_width" ]
   }
   }
   }
  }
}