UAX URL email tokenizer
uax_url_email
トークナイザーは、standard
トークナイザー のようなもので、URL とメールアドレスを単一のトークンとして認識します。
Example output
Python
resp = client.indices.analyze(
tokenizer="uax_url_email",
text="Email me at [email protected]",
)
print(resp)
Ruby
response = client.indices.analyze(
body: {
tokenizer: 'uax_url_email',
text: 'Email me at [email protected]'
}
)
puts response
Js
const response = await client.indices.analyze({
tokenizer: "uax_url_email",
text: "Email me at [email protected]",
});
console.log(response);
Console
POST _analyze
{
"tokenizer": "uax_url_email",
"text": "Email me at [email protected]"
}
上記の文は次の用語を生成します:
Text
[ Email, me, at, john.smith@global-international.com ]
一方、standard
トークナイザーは次のように生成します:
Text
[ Email, me, at, john.smith, global, international.com ]
Configuration
uax_url_email
トークナイザーは次のパラメータを受け入れます:
max_token_length |
最大トークン長。 この長さを超えるトークンが見られた場合、 それは max_token_length の間隔で分割されます。 デフォルトは 255 です。 |
Example configuration
この例では、uax_url_email
トークナイザーを 5 の max_token_length
に設定します(デモ目的のため):
Python
resp = client.indices.create(
index="my-index-000001",
settings={
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "uax_url_email",
"max_token_length": 5
}
}
}
},
)
print(resp)
resp1 = client.indices.analyze(
index="my-index-000001",
analyzer="my_analyzer",
text="[email protected]",
)
print(resp1)
Ruby
response = client.indices.create(
index: 'my-index-000001',
body: {
settings: {
analysis: {
analyzer: {
my_analyzer: {
tokenizer: 'my_tokenizer'
}
},
tokenizer: {
my_tokenizer: {
type: 'uax_url_email',
max_token_length: 5
}
}
}
}
}
)
puts response
response = client.indices.analyze(
index: 'my-index-000001',
body: {
analyzer: 'my_analyzer',
text: '[email protected]'
}
)
puts response
Js
const response = await client.indices.create({
index: "my-index-000001",
settings: {
analysis: {
analyzer: {
my_analyzer: {
tokenizer: "my_tokenizer",
},
},
tokenizer: {
my_tokenizer: {
type: "uax_url_email",
max_token_length: 5,
},
},
},
},
});
console.log(response);
const response1 = await client.indices.analyze({
index: "my-index-000001",
analyzer: "my_analyzer",
text: "[email protected]",
});
console.log(response1);
Console
PUT my-index-000001
{
"settings": {
"analysis": {
"analyzer": {
"my_analyzer": {
"tokenizer": "my_tokenizer"
}
},
"tokenizer": {
"my_tokenizer": {
"type": "uax_url_email",
"max_token_length": 5
}
}
}
}
}
POST my-index-000001/_analyze
{
"analyzer": "my_analyzer",
"text": "[email protected]"
}
上記の例は次の用語を生成します:
Text
[ john, smith, globa, l, inter, natio, nal.c, om ]