可変幅ヒストグラム集約

これは、ヒストグラムに似たマルチバケット集約です。しかし、各バケットの幅は指定されていません。代わりに、目標となるバケット数が提供され、バケットの間隔はドキュメントの分布に基づいて動的に決定されます。これは、バケットの重心間の距離を低く保つことを目的としたシンプルな一回通過のドキュメントクラスタリングアルゴリズムを使用して行われます。他のマルチバケット集約とは異なり、間隔は必ずしも均一な幅を持つわけではありません。

返されるバケットの数は、常に目標数以下になります。

2つのバケットを目標としてリクエストします。

Python

  1. resp = client.search(
  2.    index="sales",
  3.    size="0",
  4.    aggs={
  5.    "prices": {
  6.    "variable_width_histogram": {
  7.    "field": "price",
  8.    "buckets": 2
  9.    }
  10.    }
  11.    },
  12. )
  13. print(resp)

Ruby

  1. response = client.search(
  2.   index: 'sales',
  3.   size: 0,
  4.   body: {
  5.    aggregations: {
  6.    prices: {
  7.    variable_width_histogram: {
  8.    field: 'price',
  9.    buckets: 2
  10.    }
  11.    }
  12.    }
  13.   }
  14. )
  15. puts response

Js

  1. const response = await client.search({
  2.   index: "sales",
  3.   size: 0,
  4.   aggs: {
  5.    prices: {
  6.    variable_width_histogram: {
  7.    field: "price",
  8.    buckets: 2,
  9.    },
  10.    },
  11.   },
  12. });
  13. console.log(response);

コンソール

  1. POST /sales/_search?size=0
  2. {
  3.   "aggs": {
  4.    "prices": {
  5.    "variable_width_histogram": {
  6.    "field": "price",
  7.    "buckets": 2
  8.    }
  9.    }
  10.   }
  11. }

レスポンス:

コンソール結果

  1. {
  2.   ...
  3.   "aggregations": {
  4.    "prices": {
  5.    "buckets": [
  6.    {
  7.    "min": 10.0,
  8.    "key": 30.0,
  9.    "max": 50.0,
  10.    "doc_count": 2
  11.    },
  12.    {
  13.    "min": 150.0,
  14.    "key": 185.0,
  15.    "max": 200.0,
  16.    "doc_count": 5
  17.    }
  18.    ]
  19.    }
  20.   }
  21. }

この集約は、現在、単一のバケットから収集する以外の集約の下にネストすることはできません。

クラスタリングアルゴリズム

各シャードは最初のinitial_bufferドキュメントを取得し、それらをメモリに保存します。バッファが満杯になると、これらのドキュメントはソートされ、3/4 * shard_size bucketsに線形に分離されます。次に、残りの各ドキュメントは、最も近いバケットに収集されるか、既存のすべてのバケットから遠い場合は新しいバケットに配置されます。最大でshard_sizeの合計バケットが作成されます。

リデュースステップでは、コーディネーティングノードがすべてのシャードからバケットをその重心によってソートします。次に、最も近い重心を持つ2つのバケットが、目標のバケット数が達成されるまで繰り返しマージされます。このマージ手順は、凝集階層クラスタリングの一形態です。

シャードはshard_sizeバケットより少ない数を返すことができますが、それ以上を返すことはできません。

シャードサイズ

shard_sizeパラメータは、コーディネーティングノードが各シャードからリクエストするバケットの数を指定します。shard_sizeが高いと、各シャードはより小さなバケットを生成します。これにより、リデュースステップ後にバケットが重なる可能性が減ります。shard_sizeを増やすと、ヒストグラムの精度が向上しますが、最終結果を計算するのがより高価になります。なぜなら、シャードレベルでより大きな優先度キューを管理しなければならず、ノード間およびクライアント間のデータ転送が大きくなるからです。

パラメータbuckets、shard_size、およびinitial_bufferはオプションです。デフォルトでは、buckets = 10、shard_size = buckets * 50、およびinitial_buffer = min(10 * shard_size, 50000)です。

初期バッファ

initial_bufferパラメータは、初期バケットアルゴリズムが実行される前に、シャード上のメモリに保存される個々のドキュメントの数を指定するために使用できます。バケットの分布は、initial_bufferドキュメントのこのサンプルを使用して決定されます。したがって、initial_bufferが高いと、より多くのメモリを使用しますが、より代表的なクラスターをもたらします。

バケットの境界は近似値です

リデュースステップ中、マスターノードは常に最も近い重心を持つ2つのバケットをマージします。2つのバケットが重なる境界を持っているが、重心が遠い場合、それらがマージされない可能性があります。このため、リデュース後にある間隔（max）の最大値が、次のバケット（min）の最小値より大きくなることがあります。このエラーの影響を減らすために、そのような重複が発生した場合、これらの間隔の境界は(max + min) / 2に調整されます。

バケットの境界は外れ値に非常に敏感です。