推論APIの取得

この機能は技術プレビュー中であり、将来のリリースで変更または削除される可能性があります。Elasticは問題を修正するために取り組みますが、技術プレビューの機能は公式GA機能のサポートSLAの対象ではありません。

推論エンドポイント情報を取得します。

推論APIは、組み込みの機械学習モデル(ELSER、E5)、Eland、Cohere、OpenAI、Azure、Google AI Studio、Google Vertex AI、またはHugging Faceを通じてアップロードされたモデルなど、特定のサービスを使用することを可能にします。組み込みモデルおよびElandを通じてアップロードされたモデルについては、推論APIは訓練されたモデルを使用および管理するための代替手段を提供します。ただし、これらのモデルを使用するために推論APIを使用する予定がない場合や、非NLPモデルを使用したい場合は、機械学習訓練モデルAPIを使用してください。

リクエスト

GET /_inference

GET /_inference/_all

GET /_inference/<inference_id>

GET /_inference/<task_type>/_all

GET /_inference/<task_type>/<inference_id>

前提条件

  • monitor_inference クラスター特権が必要です(組み込みのinference_adminおよびinference_userロールはこの特権を付与します)

説明

次の情報を単一のAPIリクエストで取得できます:

  • タスクタイプと推論IDを提供することで、単一の推論エンドポイント、
  • タスクタイプとワイルドカード式を提供することで、特定のタスクタイプのすべての推論エンドポイント、
  • ワイルドカード式を使用することで、すべての推論エンドポイント。

パスパラメータ

  • <inference_id>
  • (オプション、文字列)推論エンドポイントの一意の識別子。
  • <task_type>
  • (オプション、文字列)モデルが実行する推論タスクのタイプ。

次のAPI呼び出しは、my-elser-model推論モデルに関する情報を取得します。このモデルはsparse_embeddingタスクを実行できます。

Python

  1. resp = client.inference.get(
  2. task_type="sparse_embedding",
  3. inference_id="my-elser-model",
  4. )
  5. print(resp)

Ruby

  1. response = client.inference.get_model(
  2. task_type: 'sparse_embedding',
  3. inference_id: 'my-elser-model'
  4. )
  5. puts response

Js

  1. const response = await client.inference.get({
  2. task_type: "sparse_embedding",
  3. inference_id: "my-elser-model",
  4. });
  5. console.log(response);

コンソール

  1. GET _inference/sparse_embedding/my-elser-model

APIは次のレスポンスを返します:

コンソール-結果

  1. {
  2. "inference_id": "my-elser-model",
  3. "task_type": "sparse_embedding",
  4. "service": "elser",
  5. "service_settings": {
  6. "num_allocations": 1,
  7. "num_threads": 1
  8. },
  9. "task_settings": {}
  10. }