ランキング評価API

一連の典型的な検索クエリに対するランク付けされた検索結果の品質を評価することを可能にします。

リクエスト

GET /<target>/_rank_eval

POST /<target>/_rank_eval

前提条件

  • Elasticsearchのセキュリティ機能が有効になっている場合、ターゲットデータストリーム、インデックス、またはエイリアスに対してread インデックス権限を持っている必要があります。

説明

ランキング評価APIは、一連の典型的な検索クエリに対するランク付けされた検索結果の品質を評価することを可能にします。このクエリのセットと手動で評価されたドキュメントのリストを考慮して、_rank_evalエンドポイントは、平均逆順位、精度、または割引累積ゲインなどの典型的な情報検索メトリックを計算して返します。

検索品質評価は、検索アプリケーションのユーザーと、彼らが検索しているものを見て始まります。ユーザーには特定の情報ニーズがあります。たとえば、彼らはウェブショップでギフトを探しているか、次の休暇のためにフライトを予約したいと考えています。彼らは通常、検索ボックスや他のウェブフォームにいくつかの検索用語を入力します。このすべての情報は、ユーザーに関するメタ情報（たとえば、ブラウザ、位置、以前の好みなど）とともに、基盤となる検索システムへのクエリに変換されます。

検索エンジニアの課題は、ユーザーの入力から具体的なクエリへのこの翻訳プロセスを調整し、検索結果がユーザーの情報ニーズに関して最も関連性の高い情報を含むようにすることです。これは、特定のクエリのランキングの改善が他のタイプのクエリのランキングに悪影響を及ぼさないように、典型的なユーザークエリの代表的なテストスイート全体で検索結果の品質が常に評価される場合にのみ実現できます。

検索品質評価を開始するには、次の3つの基本的なものが必要です：

  • 1. クエリパフォーマンスを評価するために使用するドキュメントのコレクション。通常は1つ以上のデータストリームまたはインデックスです。
  • 2. ユーザーがシステムに入力する典型的な検索リクエストのコレクション。
  • 3. 検索リクエストに対するドキュメントの関連性を表すドキュメント評価のセット。

テストクエリごとに1セットのドキュメント評価が必要であり、関連性の判断はクエリを入力したユーザーの情報ニーズに基づいていることに注意することが重要です。

ランキング評価APIは、ランキング評価リクエストでこの情報を使用してさまざまな検索評価メトリックを計算する便利な方法を提供します。これにより、全体的な検索品質の最初の推定値と、アプリケーションのクエリ生成のさまざまな側面を微調整する際の最適化のための測定値が得られます。

パスパラメータ

  • <target>
  • （オプション、文字列）リクエストを制限するために使用されるデータストリーム、インデックス、およびエイリアスのカンマ区切りリスト。ワイルドカード（*）をサポートします。すべてのデータストリームとインデックスをターゲットにするには、このパラメータを省略するか、*または_allを使用します。

クエリパラメータ

  • allow_no_indices
  • （オプション、ブール値）falseの場合、リクエストは、ワイルドカード式、インデックスエイリアス、または_all値が欠落または閉じたインデックスのみをターゲットにする場合にエラーを返します。この動作は、リクエストが他のオープンインデックスをターゲットにしている場合でも適用されます。たとえば、foo*,bar*をターゲットにするリクエストは、fooで始まるインデックスがあるが、barで始まるインデックスがない場合にエラーを返します。
    デフォルトはtrueです。
  • expand_wildcards
  • （オプション、文字列）ワイルドカードパターンが一致できるインデックスのタイプ。リクエストがデータストリームをターゲットにできる場合、この引数はワイルドカード式が隠しデータストリームに一致するかどうかを決定します。カンマ区切りの値（open,hiddenなど）をサポートします。有効な値は：
    • all
    • すべてのデータストリームまたはインデックスに一致します。隠しデータストリームも含まれます。隠しもの。
    • open
    • オープンで非隠しのインデックスに一致します。非隠しデータストリームにも一致します。
    • closed
    • 閉じた非隠しインデックスに一致します。非隠しデータストリームにも一致します。データストリームは閉じることができません。
    • hidden
    • 隠しデータストリームと隠しインデックスに一致します。open、closed、またはその両方と組み合わせる必要があります。
    • none
    • ワイルドカードパターンは受け入れられません。
      デフォルトはopenです。
  • ignore_unavailable
  • （オプション、ブール値）falseの場合、リクエストは欠落または閉じたインデックスをターゲットにする場合にエラーを返します。デフォルトはfalseです。

例

最も基本的な形では、_rank_evalエンドポイントへのリクエストには2つのセクションがあります：

Js

  1. GET /my-index-000001/_rank_eval
  2. {
  3.   "requests": [ ... ],
  4.   "metric": {
  5.    "mean_reciprocal_rank": { ... }
  6.   }
  7. }
提供された評価とともに典型的な検索リクエストのセット
計算する評価メトリックの定義
特定のメトリックとそのパラメータ

リクエストセクションには、アプリケーションに特有のいくつかの検索リクエストと、各特定の検索リクエストのドキュメント評価が含まれています。

Js

  1. GET /my-index-000001/_rank_eval
  2. {
  3.   "requests": [
  4.    {
  5.    "id": "amsterdam_query",
  6.    "request": {
  7.    "query": { "match": { "text": "amsterdam" } }
  8.    },
  9.    "ratings": [
  10.    { "_index": "my-index-000001", "_id": "doc1", "rating": 0 },
  11.    { "_index": "my-index-000001", "_id": "doc2", "rating": 3 },
  12.    { "_index": "my-index-000001", "_id": "doc3", "rating": 1 }
  13.    ]
  14.    },
  15.    {
  16.    "id": "berlin_query",
  17.    "request": {
  18.    "query": { "match": { "text": "berlin" } }
  19.    },
  20.    "ratings": [
  21.    { "_index": "my-index-000001", "_id": "doc1", "rating": 1 }
  22.    ]
  23.    }
  24.   ]
  25. }
検索リクエストのID。後で結果の詳細をグループ化するために使用されます。
評価されるクエリ。
ドキュメント評価のリスト。各エントリには次の引数が含まれます：
- _index: ドキュメントのインデックス。データストリームの場合、これはドキュメントのバックインデックスである必要があります。
- _id: ドキュメントID。
- rating: この検索リクエストに関するドキュメントの関連性。

ドキュメントratingは、ユーザー定義のスケールでドキュメントの関連性を表す任意の整数値である可能性があります。一部のメトリックでは、バイナリ評価（たとえば、0は無関係、1は関連）を提供するだけで十分ですが、他のメトリックではより詳細なスケールを使用できます。

テンプレートベースのランキング評価

テストリクエストごとに単一のクエリを提供する必要がある代わりに、評価リクエストでクエリテンプレートを指定し、後でそれらを参照することが可能です。この方法では、パラメータのみが異なる同様の構造のクエリをrequestsセクションで繰り返す必要がなくなります。ユーザー入力が通常、小さなセットのクエリテンプレートに埋め込まれる典型的な検索システムでは、評価リクエストをより簡潔にするのに役立ちます。

Js

  1. GET /my-index-000001/_rank_eval
  2. {
  3.    [...]
  4.   "templates": [
  5.    {
  6.    "id": "match_one_field_query",
  7.    "template": {
  8.    "inline": {
  9.    "query": {
  10.    "match": { "{{field}}": { "query": "{{query_string}}" }}
  11.    }
  12.    }
  13.    }
  14.    }
  15.   ],
  16.   "requests": [
  17.    {
  18.    "id": "amsterdam_query",
  19.    "ratings": [ ... ],
  20.    "template_id": "match_one_field_query",
  21.    "params": {
  22.    "query_string": "amsterdam",
  23.    "field": "text"
  24.    }
  25.    },
  26.    [...]
  27. }
テンプレートID
使用するテンプレート定義
以前に定義されたテンプレートへの参照
テンプレートを埋めるために使用するパラメータ

保存された検索テンプレートを使用することもできます。

Js

  1. GET /my_index/_rank_eval
  2. {
  3.    [...]
  4.   "templates": [
  5.    {
  6.    "id": "match_one_field_query",
  7.    "template": {
  8.    "id": "match_one_field_query"
  9.    }
  10.    }
  11.   ],
  12.   "requests": [...]
  13. }
リクエストに使用されるテンプレートID
クラスタ状態に保存されたテンプレートID

利用可能な評価メトリック

  3. #### Kにおける精度 (P@k)
  5. このメトリックは、上位kの検索結果における関連結果の割合を測定します。これは、上位kのドキュメントのみを考慮する有名な[精度](https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval)#Precision)メトリックの一形態です。P@10の値が0.6である場合、これは上位10件のヒットのうち6件がユーザーの情報ニーズに関連していることを意味します。  
  7. P@kは、理解しやすく説明しやすいという利点があるシンプルな評価メトリックとしてうまく機能します。コレクション内のドキュメントは、現在のクエリに関連するか無関係であるかのいずれかとして評価される必要があります。P@kは集合ベースのメトリックであり、上位kの結果内での関連ドキュメントの位置を考慮しないため、位置10に関連結果が1件含まれる10件の結果のランキングは、位置1に関連結果が1件含まれる10件の結果のランキングと同じくらい良いです。
  10. #### Python
  12. ``````python
  13. resp = client.rank_eval(
  14.    index="my-index-000001",
  15.    requests=[
  16.    {
  17.    "id": "JFK query",
  18.    "request": {
  19.    "query": {
  20.    "match_all": {}
  21.    }
  22.    },
  23.    "ratings": []
  24.    }
  25.    ],
  26.    metric={
  27.    "precision": {
  28.    "k": 20,
  29.    "relevant_rating_threshold": 1,
  30.    "ignore_unlabeled": False
  31.    }
  32.    },
  33. )
  34. print(resp)
  35. `

Ruby

  1. response = client.rank_eval(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    requests: [
  5.    {
  6.    id: 'JFK query',
  7.    request: {
  8.    query: {
  9.    match_all: {}
  10.    }
  11.    },
  12.    ratings: []
  13.    }
  14.    ],
  15.    metric: {
  16.    precision: {
  17.    k: 20,
  18.    relevant_rating_threshold: 1,
  19.    ignore_unlabeled: false
  20.    }
  21.    }
  22.   }
  23. )
  24. puts response

Js

  1. const response = await client.rankEval({
  2.   index: "my-index-000001",
  3.   requests: [
  4.    {
  5.    id: "JFK query",
  6.    request: {
  7.    query: {
  8.    match_all: {},
  9.    },
  10.    },
  11.    ratings: [],
  12.    },
  13.   ],
  14.   metric: {
  15.    precision: {
  16.    k: 20,
  17.    relevant_rating_threshold: 1,
  18.    ignore_unlabeled: false,
  19.    },
  20.   },
  21. });
  22. console.log(response);

コンソール

  1. GET /my-index-000001/_rank_eval
  2. {
  3.   "requests": [
  4.    {
  5.    "id": "JFK query",
  6.    "request": { "query": { "match_all": {} } },
  7.    "ratings": []
  8.    } ],
  9.   "metric": {
  10.    "precision": {
  11.    "k": 20,
  12.    "relevant_rating_threshold": 1,
  13.    "ignore_unlabeled": false
  14.    }
  15.   }
  16. }
  3. | パラメータ | 説明 |
  4. | :-- | :-- |
  5. | `````k````` | クエリごとに取得される最大ドキュメント数を設定します。この値は、通常の`````size`````パラメータの代わりにクエリ内で機能します。デフォルトは10です。 |
  6. | `````relevant_rating_threshold````` | ドキュメントが「関連」と見なされるための評価閾値を設定します。デフォルトは`````1`````です。 |
  7. | `````ignore_unlabeled````` | 検索結果内のラベルのないドキュメントのカウント方法を制御します。_true_に設定すると、ラベルのないドキュメントは無視され、関連性も無関係としてカウントされません。_false_（デフォルト）に設定すると、無関係として扱われます。
  10. #### Kにおける再現率 (R@k)
  12. このメトリックは、上位kの検索結果における関連結果の総数を測定します。これは、有名な[再現率](https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval)#Recall)メトリックの一形態です。R@10の値が0.5である場合、これはユーザーの情報ニーズに関連する8件の関連ドキュメントのうち4件が上位10件のヒットで取得されたことを意味します。  
  14. R@kは、理解しやすく説明しやすいという利点があるシンプルな評価メトリックとしてうまく機能します。コレクション内のドキュメントは、現在のクエリに関連するか無関係であるかのいずれかとして評価される必要があります。R@kは集合ベースのメトリックであり、上位kの結果内での関連ドキュメントの位置を考慮しないため、位置10に関連結果が1件含まれる10件の結果のランキングは、位置1に関連結果が1件含まれる10件の結果のランキングと同じくらい良いです。
  17. #### Python
  19. ``````python
  20. resp = client.rank_eval(
  21.    index="my-index-000001",
  22.    requests=[
  23.    {
  24.    "id": "JFK query",
  25.    "request": {
  26.    "query": {
  27.    "match_all": {}
  28.    }
  29.    },
  30.    "ratings": []
  31.    }
  32.    ],
  33.    metric={
  34.    "recall": {
  35.    "k": 20,
  36.    "relevant_rating_threshold": 1
  37.    }
  38.    },
  39. )
  40. print(resp)
  41. `

Ruby

  1. response = client.rank_eval(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    requests: [
  5.    {
  6.    id: 'JFK query',
  7.    request: {
  8.    query: {
  9.    match_all: {}
  10.    }
  11.    },
  12.    ratings: []
  13.    }
  14.    ],
  15.    metric: {
  16.    recall: {
  17.    k: 20,
  18.    relevant_rating_threshold: 1
  19.    }
  20.    }
  21.   }
  22. )
  23. puts response

Js

  1. const response = await client.rankEval({
  2.   index: "my-index-000001",
  3.   requests: [
  4.    {
  5.    id: "JFK query",
  6.    request: {
  7.    query: {
  8.    match_all: {},
  9.    },
  10.    },
  11.    ratings: [],
  12.    },
  13.   ],
  14.   metric: {
  15.    recall: {
  16.    k: 20,
  17.    relevant_rating_threshold: 1,
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. GET /my-index-000001/_rank_eval
  2. {
  3.   "requests": [
  4.    {
  5.    "id": "JFK query",
  6.    "request": { "query": { "match_all": {} } },
  7.    "ratings": []
  8.    } ],
  9.   "metric": {
  10.    "recall": {
  11.    "k": 20,
  12.    "relevant_rating_threshold": 1
  13.    }
  14.   }
  15. }
  3. | パラメータ | 説明 |
  4. | :-- | :-- |
  5. | `````k````` | クエリごとに取得される最大ドキュメント数を設定します。この値は、通常の`````size`````パラメータの代わりにクエリ内で機能します。デフォルトは10です。 |
  6. | `````relevant_rating_threshold````` | ドキュメントが「関連」と見なされるための評価閾値を設定します。デフォルトは`````1`````です。 |
  9. #### 平均逆順位
  11. テストスイート内の各クエリに対して、このメトリックは最初の関連ドキュメントの順位の逆数を計算します。たとえば、位置3で最初の関連結果を見つけると、逆順位は1/3になります。各クエリの逆順位は、テストスイート内のすべてのクエリにわたって平均化され、[平均逆順位](https://en.wikipedia.org/wiki/Mean_reciprocal_rank)が得られます。
  14. #### Python
  16. ``````python
  17. resp = client.rank_eval(
  18.    index="my-index-000001",
  19.    requests=[
  20.    {
  21.    "id": "JFK query",
  22.    "request": {
  23.    "query": {
  24.    "match_all": {}
  25.    }
  26.    },
  27.    "ratings": []
  28.    }
  29.    ],
  30.    metric={
  31.    "mean_reciprocal_rank": {
  32.    "k": 20,
  33.    "relevant_rating_threshold": 1
  34.    }
  35.    },
  36. )
  37. print(resp)
  38. `

Ruby

  1. response = client.rank_eval(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    requests: [
  5.    {
  6.    id: 'JFK query',
  7.    request: {
  8.    query: {
  9.    match_all: {}
  10.    }
  11.    },
  12.    ratings: []
  13.    }
  14.    ],
  15.    metric: {
  16.    mean_reciprocal_rank: {
  17.    k: 20,
  18.    relevant_rating_threshold: 1
  19.    }
  20.    }
  21.   }
  22. )
  23. puts response

Js

  1. const response = await client.rankEval({
  2.   index: "my-index-000001",
  3.   requests: [
  4.    {
  5.    id: "JFK query",
  6.    request: {
  7.    query: {
  8.    match_all: {},
  9.    },
  10.    },
  11.    ratings: [],
  12.    },
  13.   ],
  14.   metric: {
  15.    mean_reciprocal_rank: {
  16.    k: 20,
  17.    relevant_rating_threshold: 1,
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. GET /my-index-000001/_rank_eval
  2. {
  3.   "requests": [
  4.    {
  5.    "id": "JFK query",
  6.    "request": { "query": { "match_all": {} } },
  7.    "ratings": []
  8.    } ],
  9.   "metric": {
  10.    "mean_reciprocal_rank": {
  11.    "k": 20,
  12.    "relevant_rating_threshold": 1
  13.    }
  14.   }
  15. }
  3. | パラメータ | 説明 |
  4. | :-- | :-- |
  5. | `````k````` | クエリごとに取得される最大ドキュメント数を設定します。この値は、通常の`````size`````パラメータの代わりにクエリ内で機能します。デフォルトは10です。 |
  6. | `````relevant_rating_threshold````` | ドキュメントが「関連」と見なされるための評価閾値を設定します。デフォルトは`````1`````です。 |
  9. #### 割引累積ゲイン (DCG)
  11. 上記の2つのメトリックとは対照的に、[割引累積ゲイン](https://en.wikipedia.org/wiki/Discounted_cumulative_gain)は、検索結果の順位と評価の両方を考慮に入れます。  
  13. 関連性の高いドキュメントは、結果リストの上部に表示されるとユーザーにとってより有用であるという仮定に基づいています。したがって、DCGの公式は、低い検索順位のドキュメントに対する高い評価の寄与を全体のDCGメトリックに対して減少させます。
  16. #### Python
  18. ``````python
  19. resp = client.rank_eval(
  20.    index="my-index-000001",
  21.    requests=[
  22.    {
  23.    "id": "JFK query",
  24.    "request": {
  25.    "query": {
  26.    "match_all": {}
  27.    }
  28.    },
  29.    "ratings": []
  30.    }
  31.    ],
  32.    metric={
  33.    "dcg": {
  34.    "k": 20,
  35.    "normalize": False
  36.    }
  37.    },
  38. )
  39. print(resp)
  40. `

Ruby

  1. response = client.rank_eval(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    requests: [
  5.    {
  6.    id: 'JFK query',
  7.    request: {
  8.    query: {
  9.    match_all: {}
  10.    }
  11.    },
  12.    ratings: []
  13.    }
  14.    ],
  15.    metric: {
  16.    dcg: {
  17.    k: 20,
  18.    normalize: false
  19.    }
  20.    }
  21.   }
  22. )
  23. puts response

Js

  1. const response = await client.rankEval({
  2.   index: "my-index-000001",
  3.   requests: [
  4.    {
  5.    id: "JFK query",
  6.    request: {
  7.    query: {
  8.    match_all: {},
  9.    },
  10.    },
  11.    ratings: [],
  12.    },
  13.   ],
  14.   metric: {
  15.    dcg: {
  16.    k: 20,
  17.    normalize: false,
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. GET /my-index-000001/_rank_eval
  2. {
  3.   "requests": [
  4.    {
  5.    "id": "JFK query",
  6.    "request": { "query": { "match_all": {} } },
  7.    "ratings": []
  8.    } ],
  9.   "metric": {
  10.    "dcg": {
  11.    "k": 20,
  12.    "normalize": false
  13.    }
  14.   }
  15. }
  3. | パラメータ | 説明 |
  4. | :-- | :-- |
  5. | `````k````` | クエリごとに取得される最大ドキュメント数を設定します。この値は、通常の`````size`````パラメータの代わりにクエリ内で機能します。デフォルトは10です。 |
  6. | `````normalize````` | `````true`````に設定すると、このメトリックは[正規化DCG](https://en.wikipedia.org/wiki/Discounted_cumulative_gain#Normalized_DCG)を計算します。 |
  9. #### 期待される逆順位 (ERR)
  11. 期待される逆順位 (ERR) は、グレード付き関連性の場合の古典的な逆順位の拡張です（Olivier Chapelle、Donald Metzler、Ya Zhang、Pierre Grinspan。2009年1月。[グレード付き関連性のための期待される逆順位](https://www.researchgate.net/publication/220269787_Expected_reciprocal_rank_for_graded_relevance)。）  
  13. これは、ユーザーが順位付けされた検索結果を順番にスキャンし、情報ニーズを満たす最初のドキュメントで停止するというカスケードモデルの仮定に基づいています。このため、質問応答やナビゲーションクエリに対しては良いメトリックですが、ユーザーが上位kの結果で多くの関連ドキュメントを見つけることに興味がある調査指向の情報ニーズにはあまり適していません。  
  15. このメトリックは、ユーザーが結果リストを読み進めるのを停止する位置の逆数の期待値をモデル化します。これは、上位のランキング位置にある関連ドキュメントが全体のスコアに大きな寄与を持つことを意味します。しかし、同じドキュメントが低い順位に表示される場合、そのスコアへの寄与ははるかに少なくなります。さらに、前にいくつかの関連（しかしおそらく関連性の低い）ドキュメントがある場合は、さらに少なくなります。このようにして、ERRメトリックは非常に関連性の高いドキュメントの後に表示されるドキュメントを割引します。これは、PrecisionやDCGが考慮しない関連ドキュメントの順序における依存関係の概念を導入します。
  18. #### Python
  20. ``````python
  21. resp = client.rank_eval(
  22.    index="my-index-000001",
  23.    requests=[
  24.    {
  25.    "id": "JFK query",
  26.    "request": {
  27.    "query": {
  28.    "match_all": {}
  29.    }
  30.    },
  31.    "ratings": []
  32.    }
  33.    ],
  34.    metric={
  35.    "expected_reciprocal_rank": {
  36.    "maximum_relevance": 3,
  37.    "k": 20
  38.    }
  39.    },
  40. )
  41. print(resp)
  42. `

Ruby

  1. response = client.rank_eval(
  2.   index: 'my-index-000001',
  3.   body: {
  4.    requests: [
  5.    {
  6.    id: 'JFK query',
  7.    request: {
  8.    query: {
  9.    match_all: {}
  10.    }
  11.    },
  12.    ratings: []
  13.    }
  14.    ],
  15.    metric: {
  16.    expected_reciprocal_rank: {
  17.    maximum_relevance: 3,
  18.    k: 20
  19.    }
  20.    }
  21.   }
  22. )
  23. puts response

Js

  1. const response = await client.rankEval({
  2.   index: "my-index-000001",
  3.   requests: [
  4.    {
  5.    id: "JFK query",
  6.    request: {
  7.    query: {
  8.    match_all: {},
  9.    },
  10.    },
  11.    ratings: [],
  12.    },
  13.   ],
  14.   metric: {
  15.    expected_reciprocal_rank: {
  16.    maximum_relevance: 3,
  17.    k: 20,
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. GET /my-index-000001/_rank_eval
  2. {
  3.   "requests": [
  4.    {
  5.    "id": "JFK query",
  6.    "request": { "query": { "match_all": {} } },
  7.    "ratings": []
  8.    } ],
  9.   "metric": {
  10.    "expected_reciprocal_rank": {
  11.    "maximum_relevance": 3,
  12.    "k": 20
  13.    }
  14.   }
  15. }
  3. | パラメータ | 説明 |
  4. | :-- | :-- |
  5. | `````maximum_relevance````` | 必須パラメータ。ユーザーが提供した関連性判断で使用される最高の関連性グレード。 |
  6. | `````k````` | クエリごとに取得される最大ドキュメント数を設定します。この値は、通常の`````size`````パラメータの代わりにクエリ内で機能します。デフォルトは10です。 |
  9. ### レスポンス形式
  11. `````_rank_eval`````エンドポイントのレスポンスには、定義された品質メトリックの全体的な計算結果、テストスイート内の各クエリの結果の内訳を含む`````details`````セクション、および個々のクエリの潜在的なエラーを示すオプションの`````failures`````セクションが含まれます。レスポンスは次の形式を持ちます：
  14. #### Js
  16. ``````js
  17. {
  18.   "rank_eval": {
  19.    "metric_score": 0.4,
  20.    "details": {
  21.    "my_query_id1": {
  22.    "metric_score": 0.6,
  23.    "unrated_docs": [
  24.    {
  25.    "_index": "my-index-000001",
  26.    "_id": "1960795"
  27.    }, ...
  28.    ],
  29.    "hits": [
  30.    {
  31.    "hit": {
  32.    "_index": "my-index-000001",
  33.    "_type": "page",
  34.    "_id": "1528558",
  35.    "_score": 7.0556192
  36.    },
  37.    "rating": 1
  38.    }, ...
  39.    ],
  40.    "metric_details": {
  41.    "precision": {
  42.    "relevant_docs_retrieved": 6,
  43.    "docs_retrieved": 10
  44.    }
  45.    }
  46.    },
  47.    "my_query_id2": { [... ] }
  48.    },
  49.    "failures": { [... ] }
  50.   }
  51. }
  52. `
定義されたメトリックによって計算された全体的な評価品質
detailsセクションには、元のrequestsセクション内の各クエリに対して1つのエントリが含まれ、検索リクエストIDでキー付けされています
metric_scoreはdetailsセクション内で、このクエリがグローバル品質メトリックスコアに寄与することを示します
unrated_docsセクションには、このクエリの検索結果内の各ドキュメントに対して_indexおよび_idエントリが含まれ、評価値がないものが含まれます。これは、ユーザーにこれらのドキュメントの評価を提供するように求めるために使用できます
hitsセクションは、提供された評価とともに検索結果のグループ化を示します
metric_detailsは、計算された品質メトリックに関する追加情報を提供します（例：取得されたドキュメントのうち、どれだけが関連していたか）。内容はメトリックごとに異なりますが、結果の解釈を改善することができます