セマンティック検索 - デプロイされたモデルを使用したセマンティック検索（Semantic search with deployed model）

チュートリアル: デプロイされたモデルによるセマンティック検索
NLPモデルの選択
モデルのデプロイ
テキスト埋め込みのためのフィールドのマッピング
テキスト埋め込みの生成
データの検索
ハイブリッド検索によるセマンティック検索の超越

チュートリアル: デプロイされたモデルによるセマンティック検索

Elastic Stackでセマンティック検索を行う最も簡単な方法については、semantic_textのエンドツーエンドチュートリアルを参照してください。
このチュートリアルは、推論エンドポイントおよびsemantic_textフィールドタイプが導入される前に書かれました。今日では、セマンティック検索を行うためのより簡単なオプションがあります。

このガイドでは、Elasticsearchにデプロイされたモデルを使用してセマンティック検索を実装する方法を示します: NLPモデルの選択からクエリの作成まで。

NLPモデルの選択

Elasticsearchは、幅広いNLPモデルの使用を提供しており、密なベクトルモデルと疎なベクトルモデルの両方が含まれています。言語モデルの選択は、セマンティック検索を成功させるために重要です。

独自のテキスト埋め込みモデルを持ち込むことも可能ですが、モデルの調整を通じて良好な検索結果を得ることは難しいです。サードパーティモデルリストから適切なモデルを選択することが最初のステップです。独自のデータでモデルをトレーニングすることは、BM25のみを使用するよりも良い検索結果を保証するために不可欠です。しかし、モデルのトレーニングプロセスにはデータサイエンティストやML専門家のチームが必要であり、高価で時間がかかります。

この問題に対処するために、ElasticはElastic Learned Sparse EncodeR (ELSER)という事前トレーニングされた表現モデルを提供しています。ELSERは現在英語のみで利用可能で、ファインチューニングを必要としないドメイン外の疎なベクトルモデルです。この適応性により、さまざまなNLPユースケースにすぐに適用できます。ML専門家のチームがない限り、ELSERモデルの使用を強く推奨します。

疎なベクトル表現の場合、ベクトルは主にゼロ値で構成されており、非ゼロ値を含む小さなサブセットのみがあります。この表現はテキストデータに一般的に使用されます。ELSERの場合、インデックス内の各ドキュメントとクエリテキスト自体は高次元の疎なベクトルで表現されます。ベクトルの各非ゼロ要素は、モデルの語彙内の用語に対応します。ELSERの語彙には約30000の用語が含まれているため、ELSERによって作成された疎なベクトルには約30000の値が含まれ、その大部分はゼロです。実際、ELSERモデルは元のクエリ内の用語を、トレーニングデータセット内の元の検索用語と最も一致するドキュメントに存在することが学習された他の用語に置き換え、各用語の重要性を制御する重みを持っています。

モデルのデプロイ

セマンティック検索を実装するために使用するモデルを決定したら、そのモデルをElasticsearchにデプロイする必要があります。

ELSERをデプロイするには、ELSERのダウンロードとデプロイを参照してください。

サードパーティのテキスト埋め込みモデルをデプロイするには、テキスト埋め込みモデルのデプロイを参照してください。

テキスト埋め込みのためのフィールドのマッピング

デプロイされたモデルを使用して入力テキストに基づいて埋め込みを生成する前に、まずインデックスマッピングを準備する必要があります。インデックスのマッピングはモデルのタイプによって異なります。

ELSERは、入力テキストとクエリからトークン-重みペアを出力します。Elasticsearchのsparse_vectorフィールドタイプは、これらのトークン-重みペアを数値特徴ベクトルとして保存できます。インデックスには、ELSERが生成するトークンをインデックスするためにsparse_vectorフィールドタイプのフィールドが必要です。

ELSERインデックスのマッピングを作成するには、チュートリアルのインデックスマッピングの作成セクションを参照してください。この例では、my-indexのインデックスマッピングを作成する方法が示されており、my_embeddings.tokensフィールド - ELSERの出力を含む - をsparse_vectorフィールドとして定義します。

Python

resp = client.indices.create(
   index="my-index",
   mappings={
   "properties": {
   "my_tokens": {
   "type": "sparse_vector"
   },
   "my_text_field": {
   "type": "text"
   }
   }
   },
)
print(resp)

Ruby

response = client.indices.create(
  index: 'my-index',
  body: {
   mappings: {
   properties: {
   my_tokens: {
   type: 'sparse_vector'
   },
   my_text_field: {
   type: 'text'
   }
   }
   }
  }
)
puts response

Js

const response = await client.indices.create({
  index: "my-index",
  mappings: {
   properties: {
   my_tokens: {
   type: "sparse_vector",
   },
   my_text_field: {
   type: "text",
   },
   },
  },
});
console.log(response);

コンソール

PUT my-index
{
  "mappings": {
   "properties": {
   "my_tokens": {
   "type": "sparse_vector"
   },
   "my_text_field": {
   "type": "text"
   }
   }
  }
}


	ELSERによって生成されるトークンを含むフィールドの名前。
	トークンを含むフィールドは`sparse_vector`フィールドでなければなりません。
	疎なベクトル表現を作成するためのフィールドの名前。この例では、フィールドの名前は`my_text_field`です。
	この例ではフィールドタイプは`text`です。

Elasticsearch NLPと互換性のあるモデルは、出力として密なベクトルを生成します。dense_vectorフィールドタイプは、数値値の密なベクトルを保存するのに適しています。インデックスには、選択したサードパーティモデルが生成する埋め込みをインデックスするためにdense_vectorフィールドタイプのフィールドが必要です。モデルは特定の次元数の埋め込みを生成することを考慮してください。dense_vectorフィールドは、dimsオプションを使用して同じ次元数に設定する必要があります。埋め込みの次元数に関する情報は、各モデルのドキュメントを参照してください。

NLPモデルのインデックスのマッピングを確認するには、チュートリアルのテキスト埋め込みモデルをインジェスト推論パイプラインに追加するセクションのマッピングコードスニペットを参照してください。この例では、my_embeddings.predicted_valueフィールド - モデル出力を含む - をdense_vectorフィールドとして定義するインデックスマッピングを作成する方法が示されています。

Python

resp = client.indices.create(
   index="my-index",
   mappings={
   "properties": {
   "my_embeddings.predicted_value": {
   "type": "dense_vector",
   "dims": 384
   },
   "my_text_field": {
   "type": "text"
   }
   }
   },
)
print(resp)

Ruby

response = client.indices.create(
  index: 'my-index',
  body: {
   mappings: {
   properties: {
   'my_embeddings.predicted_value' => {
   type: 'dense_vector',
   dims: 384
   },
   my_text_field: {
   type: 'text'
   }
   }
   }
  }
)
puts response

Js

const response = await client.indices.create({
  index: "my-index",
  mappings: {
   properties: {
   "my_embeddings.predicted_value": {
   type: "dense_vector",
   dims: 384,
   },
   my_text_field: {
   type: "text",
   },
   },
  },
});
console.log(response);

コンソール

PUT my-index
{
  "mappings": {
   "properties": {
   "my_embeddings.predicted_value": {
   "type": "dense_vector",
   "dims": 384
   },
   "my_text_field": {
   "type": "text"
   }
   }
  }
}


	モデルによって生成される埋め込みを含むフィールドの名前。
	埋め込みを含むフィールドは`dense_vector`フィールドでなければなりません。
	モデルは特定の次元数の埋め込みを生成します。`dense_vector`フィールドは、`dims`オプションによって同じ次元数に設定する必要があります。埋め込みの次元数に関する情報は、各モデルのドキュメントを参照してください。
	密なベクトル表現を作成するためのフィールドの名前。この例では、フィールドの名前は`my_text_field`です。
	この例ではフィールドタイプは`text`です。

テキスト埋め込みの生成

インデックスのマッピングを作成したら、入力テキストからテキスト埋め込みを生成できます。これは、インジェストパイプラインを使用して推論プロセッサを使用することで行えます。インジェストパイプラインは、入力データを処理し、目的のインデックスにインデックスします。インデックス時に、推論インジェストプロセッサは、パイプラインを通じて取り込まれたデータに対してトレーニングされたモデルを使用して推論を行います。推論プロセッサを使用してインジェストパイプラインを作成した後、データを通じて取り込んでモデル出力を生成できます。

これは、ELSERモデルを使用するインジェストパイプラインの作成方法です:

Python

resp = client.ingest.put_pipeline(
   id="my-text-embeddings-pipeline",
   description="Text embedding pipeline",
   processors=[
   {
   "inference": {
   "model_id": ".elser_model_2",
   "input_output": [
   {
   "input_field": "my_text_field",
   "output_field": "my_tokens"
   }
   ]
   }
   }
   ],
)
print(resp)

Ruby

response = client.ingest.put_pipeline(
  id: 'my-text-embeddings-pipeline',
  body: {
   description: 'Text embedding pipeline',
   processors: [
   {
   inference: {
   model_id: '.elser_model_2',
   input_output: [
   {
   input_field: 'my_text_field',
   output_field: 'my_tokens'
   }
   ]
   }
   }
   ]
  }
)
puts response

Js

const response = await client.ingest.putPipeline({
  id: "my-text-embeddings-pipeline",
  description: "Text embedding pipeline",
  processors: [
   {
   inference: {
   model_id: ".elser_model_2",
   input_output: [
   {
   input_field: "my_text_field",
   output_field: "my_tokens",
   },
   ],
   },
   },
  ],
});
console.log(response);

コンソール

PUT _ingest/pipeline/my-text-embeddings-pipeline
{
  "description": "Text embedding pipeline",
  "processors": [
   {
   "inference": {
   "model_id": ".elser_model_2",
   "input_output": [
   {
   "input_field": "my_text_field",
   "output_field": "my_tokens"
   }
   ]
   }
   }
  ]
}


	推論プロセスのための`input_field`を定義し、推論結果を含む`output_field`を定義する構成オブジェクト。

ELSERを使用してトークンを生成するためにデータをパイプラインを通じて取り込むには、チュートリアルの推論インジェストパイプラインを通じてデータを取り込むセクションを参照してください。パイプラインを使用してドキュメントを正常に取り込んだ後、インデックスにはELSERによって生成されたトークンが含まれます。トークンは関連性を捉える学習された関連付けであり、同義語ではありません。トークンについての詳細はこのページを参照してください。

これは、テキスト埋め込みモデルを使用するインジェストパイプラインの作成方法です:

Python

resp = client.ingest.put_pipeline(
   id="my-text-embeddings-pipeline",
   description="Text embedding pipeline",
   processors=[
   {
   "inference": {
   "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
   "target_field": "my_embeddings",
   "field_map": {
   "my_text_field": "text_field"
   }
   }
   }
   ],
)
print(resp)

Ruby

response = client.ingest.put_pipeline(
  id: 'my-text-embeddings-pipeline',
  body: {
   description: 'Text embedding pipeline',
   processors: [
   {
   inference: {
   model_id: 'sentence-transformers__msmarco-minilm-l-12-v3',
   target_field: 'my_embeddings',
   field_map: {
   my_text_field: 'text_field'
   }
   }
   }
   ]
  }
)
puts response

Js

const response = await client.ingest.putPipeline({
  id: "my-text-embeddings-pipeline",
  description: "Text embedding pipeline",
  processors: [
   {
   inference: {
   model_id: "sentence-transformers__msmarco-minilm-l-12-v3",
   target_field: "my_embeddings",
   field_map: {
   my_text_field: "text_field",
   },
   },
   },
  ],
});
console.log(response);

コンソール

PUT _ingest/pipeline/my-text-embeddings-pipeline
{
  "description": "Text embedding pipeline",
  "processors": [
   {
   "inference": {
   "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
   "target_field": "my_embeddings",
   "field_map": {
   "my_text_field": "text_field"
   }
   }
   }
  ]
}


	使用したいテキスト埋め込みモデルのモデルID。
	`field_map`オブジェクトは、入力ドキュメントフィールド名（この例では`my_text_field`）をモデルが期待するフィールドの名前（常に`text_field`）にマッピングします。

選択したモデルでテキスト埋め込みを生成するためにデータをパイプラインを通じて取り込むには、推論インジェストパイプラインにテキスト埋め込みモデルを追加するセクションを参照してください。この例では、推論プロセッサを使用してパイプラインを作成し、パイプラインを通じてデータを再インデックスする方法が示されています。パイプラインを使用してドキュメントを正常に取り込んだ後、インデックスにはモデルによって生成されたテキスト埋め込みが含まれます。

さあ、セマンティック検索を行う時です！

データの検索

デプロイしたモデルのタイプに応じて、疎なベクトルクエリで特徴をランク付けするか、kNN検索で密なベクトルを使用できます。

ELSERテキスト埋め込みは、疎なベクトルクエリを使用してクエリできます。疎なベクトルクエリを使用すると、使用したいNLPモデルに関連付けられた推論IDとクエリテキストを提供することで、疎なベクトルフィールドをクエリできます:

Python

resp = client.search(
   index="my-index",
   query={
   "sparse_vector": {
   "field": "my_tokens",
   "inference_id": "my-elser-endpoint",
   "query": "the query string"
   }
   },
)
print(resp)

Js

const response = await client.search({
  index: "my-index",
  query: {
   sparse_vector: {
   field: "my_tokens",
   inference_id: "my-elser-endpoint",
   query: "the query string",
   },
  },
});
console.log(response);

コンソール

GET my-index/_search
{
   "query":{
   "sparse_vector": {
   "field": "my_tokens",
   "inference_id": "my-elser-endpoint",
   "query": "the query string"
   }
   }
}

テキスト埋め込みは、密なベクトルモデルによって生成され、kNN検索を使用してクエリできます。knn句では、密なベクトルフィールドの名前を提供し、query_vector_builder句ではモデルIDとクエリテキストを提供します。

Python

resp = client.search(
   index="my-index",
   knn={
   "field": "my_embeddings.predicted_value",
   "k": 10,
   "num_candidates": 100,
   "query_vector_builder": {
   "text_embedding": {
   "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
   "model_text": "the query string"
   }
   }
   },
)
print(resp)

Ruby

response = client.search(
  index: 'my-index',
  body: {
   knn: {
   field: 'my_embeddings.predicted_value',
   k: 10,
   num_candidates: 100,
   query_vector_builder: {
   text_embedding: {
   model_id: 'sentence-transformers__msmarco-minilm-l-12-v3',
   model_text: 'the query string'
   }
   }
   }
  }
)
puts response

Js

const response = await client.search({
  index: "my-index",
  knn: {
   field: "my_embeddings.predicted_value",
   k: 10,
   num_candidates: 100,
   query_vector_builder: {
   text_embedding: {
   model_id: "sentence-transformers__msmarco-minilm-l-12-v3",
   model_text: "the query string",
   },
   },
  },
});
console.log(response);

コンソール

GET my-index/_search
{
  "knn": {
   "field": "my_embeddings.predicted_value",
   "k": 10,
   "num_candidates": 100,
   "query_vector_builder": {
   "text_embedding": {
   "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
   "model_text": "the query string"
   }
   }
  }
}

ハイブリッド検索によるセマンティック検索の超越

いくつかの状況では、レキシカル検索がセマンティック検索よりも優れたパフォーマンスを発揮することがあります。たとえば、製品番号のような単語やIDを検索する場合です。

セマンティック検索とレキシカル検索を逆順位融合を使用して1つのハイブリッド検索リクエストに組み合わせることで、両方の利点を得ることができます。それだけでなく、逆順位融合を使用したハイブリッド検索は一般的により良いパフォーマンスを示すことが分かっています。

セマンティッククエリとレキシカルクエリの間のハイブリッド検索は、検索リクエストの一部としてrrfリトリーバーを使用することで実現できます。sparse_vectorクエリと、standardリトリーバーとしての全文検索クエリを提供します。rrfリトリーバーは、逆順位融合を使用して上位のドキュメントをランク付けします。

Python

resp = client.search(
   index="my-index",
   retriever={
   "rrf": {
   "retrievers": [
   {
   "standard": {
   "query": {
   "match": {
   "my_text_field": "the query string"
   }
   }
   }
   },
   {
   "standard": {
   "query": {
   "sparse_vector": {
   "field": "my_tokens",
   "inference_id": "my-elser-endpoint",
   "query": "the query string"
   }
   }
   }
   }
   ]
   }
   },
)
print(resp)

Js

const response = await client.search({
  index: "my-index",
  retriever: {
   rrf: {
   retrievers: [
   {
   standard: {
   query: {
   match: {
   my_text_field: "the query string",
   },
   },
   },
   },
   {
   standard: {
   query: {
   sparse_vector: {
   field: "my_tokens",
   inference_id: "my-elser-endpoint",
   query: "the query string",
   },
   },
   },
   },
   ],
   },
  },
});
console.log(response);

コンソール

GET my-index/_search
{
  "retriever": {
   "rrf": {
   "retrievers": [
   {
   "standard": {
   "query": {
   "match": {
   "my_text_field": "the query string"
   }
   }
   }
   },
   {
   "standard": {
   "query": {
   "sparse_vector": {
   "field": "my_tokens",
   "inference_id": "my-elser-endpoint",
   "query": "the query string"
   }
   }
   }
   }
   ]
   }
  }
}

セマンティッククエリとレキシカルクエリの間のハイブリッド検索は、次のように提供することで実現できます:

逆順位融合を使用して上位のドキュメントをランク付けするためのrrfリトリーバー
standardリトリーバーを子リトリーバーとしてquery句を使用して全文検索クエリ
knnリトリーバーを子リトリーバーとして、密なベクトルフィールドをクエリするkNN検索

Python

resp = client.search(
   index="my-index",
   retriever={
   "rrf": {
   "retrievers": [
   {
   "standard": {
   "query": {
   "match": {
   "my_text_field": "the query string"
   }
   }
   }
   },
   {
   "knn": {
   "field": "text_embedding.predicted_value",
   "k": 10,
   "num_candidates": 100,
   "query_vector_builder": {
   "text_embedding": {
   "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
   "model_text": "the query string"
   }
   }
   }
   }
   ]
   }
   },
)
print(resp)

Js

const response = await client.search({
  index: "my-index",
  retriever: {
   rrf: {
   retrievers: [
   {
   standard: {
   query: {
   match: {
   my_text_field: "the query string",
   },
   },
   },
   },
   {
   knn: {
   field: "text_embedding.predicted_value",
   k: 10,
   num_candidates: 100,
   query_vector_builder: {
   text_embedding: {
   model_id: "sentence-transformers__msmarco-minilm-l-12-v3",
   model_text: "the query string",
   },
   },
   },
   },
   ],
   },
  },
});
console.log(response);

コンソール

GET my-index/_search
{
  "retriever": {
   "rrf": {
   "retrievers": [
   {
   "standard": {
   "query": {
   "match": {
   "my_text_field": "the query string"
   }
   }
   }
   },
   {
   "knn": {
   "field": "text_embedding.predicted_value",
   "k": 10,
   "num_candidates": 100,
   "query_vector_builder": {
   "text_embedding": {
   "model_id": "sentence-transformers__msmarco-minilm-l-12-v3",
   "model_text": "the query string"
   }
   }
   }
   }
   ]
   }
  }
}