Elasticsearch version 8.6.0

8.6の破壊的変更も参照してください。

Known issues

  • Elasticsearchを構成するためにsettings.jsonファイルを使用するオーケストレーターは、マスター選挙中にデッドロックに遭遇する可能性があります(問題: #92812)
    デッドロックを解決するには、settings.jsonファイルを削除し、影響を受けたノードを再起動してください。
  • 配列の最後の要素がフィルタリングされている場合(例えば、_source_includesを使用して)、リクエストの解析が失敗します。これはJacksonパーサーのバグによるものです。Elasticsearch 8.6.1で修正されました(#91456)
  • ingest attachment processorを使用する場合、Tikaとlog4j 2.18.0以降(Elasticsearch 8.4.0で導入)の相互作用により、過剰なログが生成されます。このログは非常に過剰で、クラスターの不安定性を引き起こし、クラスターが使用不可能になるまでに至り、ノードを再起動する必要があります(問題: #91964)。この問題はElasticsearch 8.7.0で修正されました(#93878)。問題を解決するには、8.7.0以上にアップグレードしてください。

  • シャードの再バランスにより、一時的にクラスターが不均衡になる可能性があります
    8.6.0以降、デフォルトのシャード再バランスアルゴリズムは、最終的な望ましいバランスを計算し、現在のクラスターの状態を望ましい状態と調整するためにシャードの移動を行います。ただし、シャードの移動が行われる順序は特定のノードに偏る可能性があり、調整が進行中の間、クラスターが一時的に不均衡になる原因となります。常に、ノードがディスクのウォーターマークに達すると、追加のシャードを受け入れなくなりますが、この偏りにより、ノードが通常の操作よりも頻繁にディスクのウォーターマークに達する可能性があります。調整プロセスが完了すると、クラスターは再びバランスが取れます。
    この問題を回避するには、8.8.0以降にアップグレードしてください。

Bug fixes

  • 集約
    • GeoBoundsAggregationsはサブ集約を拒否します#91073(問題: #91072
  • 割り当て
    • desired balanceに存在するノードに対してdisassociateDeadNodesが実行されるときにNPEを回避します#91659
    • 再起動を仮定する前にNodesShutdownMetadataタイプを確認します#90807
  • 認証
    • JWKのリロードの接続リクエストタイムアウトの時間単位を修正します#92080
    • DNを使用したロールマッピングのパフォーマンスを改善します#92074
    • JwkSetのリロードの堅牢性を向上させます#92081
    • バージョン6.7以前の保存された認証ヘッダーをサポートします#92221
  • 認可
    • RESTレスポンスに認証情報を追加する際の堅牢性を向上させます#92168
    • セキュリティのデートマス特別処理を削除します#91047
  • クラスター調整
    • 不必要にCS参照を保持するTransportMasterNodeActionを修正します#90724(問題: #89220
    • 公開に最後にコミットされたデータを含めます#92259(問題: #90158
    • 安全でないブートストラップメモリ最適化#92493
  • EQL
    • EQLシーケンス: マルチバリューでの結合をサポートします#89965
  • グラフ
    • グラフAPIのタイムアウトフィールドに関する潜在的な問題を修正します#91006
  • 健康
    • NO_VALID_SHARD_COPYを診断する際に未割り当て理由を考慮しません#92416
    • 非データノードのディスクヘルスを評価する際にNPEを修正します#92643
    • shards_availabilityインジケーターの短いURLでhttpsを使用します#92310
  • インデックスAPI
    • コンポーネントテンプレートを更新する際にインデックス設定プロバイダーをトリガーします#91615(問題: #91592
  • インフラ/コア
    • Metadata.isGlobalStateEqualsで予約された状態を確認します#92124
    • データストリーム利用不可例外メタデータ#91461
    • 空のBytesRefを追加する際のBytesRefArrayを修正します#91364
    • 単一の名前またはパターンを持つリクエストのインデックス式オプションを修正します#91231
    • log4jでUnboxの初期化を強制します#92377(問題: #91964
    • ファイルベースの設定では、ロールマッピングのためにセキュリティインデックスが準備できるまで待機します#92173(問題: #91939
    • インデックス式の除外は「見つかりません」とは決してトリガーされません#90902
    • メインステートエグゼキュータ内からエラーステートを更新します#90346(問題: #90337
  • インフラ/スクリプト
    • d/fで終わる16進リテラルでのコンパイルを修正します#91501(問題: #88614
  • インジェストノード
    • キューにアイテムがスタックしたままになるEnrichCoordinatorProxyActionの競合状態を修正します#90688(問題: #90598
  • 機械学習
    • DF分析の宛先インデックスを作成する際に、より多くの設定をコピーします#91546(問題: #89795
    • 統計がないエラーメッセージの修正#2410
    • 利用可能なカウントがないエラーメッセージの修正#2414
    • 質問応答モデルに対して長すぎる入力シーケンスを防ぎます#91924
    • スポーニング前にファイルを閉じるパフォーマンスを改善します#2424
    • データフィードのための事前特権検証を行う際にリモートクラスターをスキップします#91895(問題: #87832
    • データフレーム分析analyzed_fieldsでカンマを含むフィールドをサポートします#91710(問題: #72541
    • 開いている異常検出APIにルールフィルターが存在することを検証します#92207
  • マッピング
    • マッピングとドキュメントを解析する際のフィールド名検証を統合します#91328
    • terms集約における空のキーケースの処理を修正します#90822
  • モニタリング
    • logstash loadavg (xpackケース)を修正します#90494
    • [Stack Monitoring] ESモジュールマッピングを更新します#90649
  • ネットワーク
    • XContentをチャンク化する際の例外時にクリーンアップします#92024
    • HEADリクエストに対して不正なレスポンスを送信するChunked APIを修正します#92042(問題: #92032
    • クローズ中に接続試行を拒否します#92465
  • SQL
    • 総ヒットを追跡していない場合のロギングでNPEを修正します#92425
  • 検索
    • スコア関数に応じて異なる減衰値を許可します#91195(問題: #78887
    • DFSプロファイリングのタイミングバグを修正します#92421
  • スナップショット/復元
    • 非キャッシングリポジトリインスタンスのためのRepositoryDataの重複排除を簡素化し最適化します#91851(問題: #89952
  • ストア
    • ByteSizeCachingDirectoryのnumOpenOutputsとmodCountを修正します#92440(問題: #92434
  • トランスフォーム
    • 事前特権検証を行う際にリモートクラスターをスキップします#91788
  • ベクトル検索
    • knn検索リクエストを完全にキャンセル可能にします#90612

Deprecations

  • 割り当て
    • /_cluster/rerouteレスポンスのstateフィールドを非推奨にします#90399
    • バランスの閾値が少なくとも1であることを確認します#92100
  • インジェストノード
    • ingest attachment processorのremove_binaryのデフォルトをfalseにすることを非推奨にします#90460
  • マッピング
    • メタデータフィールド定義においてtype、fields、copy_to、boostを静かに無視することを非推奨にします#90989(問題: #35389

Enhancements

  • 割り当て
    • ロールオーバー中に前の書き込みインデックスから予測された書き込み負荷とシャードサイズをクリアします#91590
    • ロールオーバー中に平均シャードサイズを予測します#91561
    • ロールオーバー中に書き込み負荷を予測します#91425
    • シャードのバランスを改善します#91603
    • 望ましいバランスアロケーターを導入します#91343
    • シャードの再配置のリトライを制限します#90296
    • ノード削除APIを事前検証します#88952
    • デフォルトのcluster.routing.allocation.balance.disk_usageを設定します#91951
    • データストリームのロールオーバー中にIndexMetadataに書き込み負荷を保存します#91019
    • デフォルトのcluster.routing.allocation.balance.disk_usageを更新します#92065
    • DesiredBalance:を_internal/desired_balance経由で公開します#91038(問題: #90583
  • 認可
    • [Fleet] kibana_systemにlogs-elastic_agent*の読み取り権限を追加しました#91701
  • CRUD
    • 平均シャード書き込み負荷を追跡します#90768(問題: #90102
  • 地理
    • カルテジアンポイントと形状のための重心集約#89216(問題: [#90156](https://github.com/elastic/elasticsearch/issues/90156))
    • H3#hexRingロジックを改善し、H3#areNeighborCellsメソッドを追加します#91140
    • SpatialUtilsをgeoライブラリに移動します#88088(問題: #86607
    • H3#geoToH3でのオブジェクト割り当ての数を減らし、計算を高速化します#91492
    • ポイントと形状に対するcartesian_bounds集約をサポートします#91298(問題: #90157
  • ILM+SLM
    • ILM: ポリシーサポートのワイルドカード名を取得します#89238
  • インフラ/コア
    • APMグローバルラベルを接頭辞設定として処理します#91438(問題: #91278
    • 表現における日付数学の除外を改善します#90298
    • 定数文字列に対してString.equalsを使用するフェーズを導入し、defの等価性ではなくします#91362(問題: #91235
    • 古いインデックスに対するより実行可能なエラー#91243
    • オペレーター/インデックステンプレート#90143
    • オペレーター/インジェスト#89735
    • トランスポートスレッドと_hot_threads#90482(問題: #90334
    • XContentをJackson 2.14.0にアップグレードし、Fast Double Parserを有効にします#90553
  • インフラ/プラグイン
    • 安定したプラグインを読み込む際にプレースホルダプラグインを作成します#90870
    • 安定したプラグインの例#90805
    • プラグイン記述子でextendedPlugins,HasNativeControllermoduleNameをオプションにします#90835
    • NamedComponentの名前パラメータを値にリネームします#91306
  • インフラ/スクリプト
    • painlessでnullレシーバーに対して明示的なnullチェックを使用し、NPEではなくします#91347(問題: #91236
  • 機械学習
    • 頻出アイテムにフィルターパラメータを追加します#91137
    • categorize_text集約の出力に正規表現を追加します#90723
    • バケットをchange_point数値でフィルタリングおよびソートする機能を追加します#91299
    • トレーニング済みモデルデプロイメントを更新するAPIを追加しますnumber_of_allocations#90728
    • 異常検出結果インデックスで@timestampにタイムスタンプをエイリアスします#90812
    • Pytorchトレーニングモデルでmodel_aliasesを使用できるようにします#91296
    • ファイル構造ファインダーでタイムスタンプフィールドをnullにオーバーライドできるようにします#90764
    • データフィードがデータを見ていない毎日メッセージを監査します#91774
    • 低優先度のトレーニングモデルデプロイメント#91234(問題: #91024
    • 異常スコア要因に関する追加情報を提供します#90675
  • マッピング
    • マッピングされていないフィールドを記録する際にIndexCapsオブジェクトを作成しません#90806(問題: #90796
    • aggregate metric doubleに最大最小の検証を追加します#90381
  • 回復
    • シャードが開始された後にインデックス設定をリサイズするのを削除します#90391(問題: #90127
  • ロールアップ
    • ダウンサンプルランタイムフィールドとセキュリティをテストします#90593
  • 検索
    • LimitedOffsetsEnumをLimited offsetトークンに追加します#86110(問題: #86109
    • dfsフェーズのプロファイリングとドキュメントを追加します#90536(問題: #89713
    • mapping hashを使用してfield-capsレスポンスをバルクマージします#86323
    • クエリを解析する際のネストされた深さの追跡を強化します#90425
    • 検索使用に関するテレメトリを公開します#91528
    • アーカイブインデックスでネストされたマッピングを使用する際にドキュメントを返します#90585(問題: #90523
    • IP範囲クエリのためにIndexOrDocValuesクエリを使用します#90303(問題: #83658
  • スナップショット/復元
    • スナップショットプールの最大サイズを10に増やします#90282(問題: #89608
    • スナップショットの速度をノードの帯域幅設定に結びつけます#91021(問題: #57023
  • ストア
    • IndexModuleによって作成されたLuceneディレクトリをラップするためにプラグインを許可します#91556
  • TLS
    • SSL診断メッセージに証明書の開始/有効期限を追加します#89461
  • TSDB
    • 動的マッピングテンプレートからindex.routing_pathを生成します#90552(問題: #90528
    • 合成_sourceで不正な数をサポートします#90428
    • _doc_countフィールドのための合成_sourceをサポートします#91465
    • 合成_source: 多くのケースでfieldをサポートします#89950
    • 合成_source: ignore_malformedのためのip#90038
    • 合成_source: wildcardフィールドをサポートします#90196
  • トランスフォーム
    • トランスフォーム統計に健康セクションを追加します#90760
    • トランスフォーム集約でaggregate_metric_doubleフィールドタイプをサポートします#91045
  • ベクトル検索
    • knnベクトルクエリのプロファイリング情報を追加します#90200

New features

  • 分散
    • 機能フラグと設定を持つ「index」と「search」ノードロールを追加します#90993
  • EQL
  • 健康
    • RestGetHealthActionのためにチャンク化エンコーディングを使用します#91515(問題: #90223
    • [HealthAPI] RestCancellableNodeClientインフラストラクチャを使用します#91587
  • 機械学習
    • categorize_text集約をGAにします#88600
  • ベクトル検索
    • バイトサイズのベクトルに対するフィールドデータとスクリプトのサポートを追加します#91184
    • バイトサイズのknnベクトルのインデックス作成をサポートします#90774

Regressions

  • インフラ/コア
    • ImmutableOpenMapをスナップショットサービスから削除」を元に戻します#90287

Upgrades

  • インフラ/ロギング
    • log4j 2.19.0にアップグレードします#90589(問題: #90584
  • ネットワーク
    • Netty 4.1.82.Finalにアップグレードします#90604
    • Netty 4.1.84にアップグレードします#91271
  • スナップショット/復元
    • GCS SDKを2.13.1にアップグレードします#92327