8.15の新機能

8.15での新機能。

Elasticsearch 8.15の新機能と改善点のハイライトを以下に示します。このリリースに関する詳細情報は、リリースノートおよび移行ガイドを参照してください。

他のバージョン:

8.14 | 8.13 | 8.12 | 8.11 | 8.10 | 8.9 | 8.8 | 8.7 | 8.6 | 8.5 | 8.4 | 8.3 | 8.2 | 8.1 | 8.0

マルチリポジトリのスナップショット取得リクエスト処理における厳格な失敗処理

マルチリポジトリのスナップショット取得リクエストがターゲットリポジトリの1つで失敗した場合、以前のバージョンのElasticsearchは、故障したリポジトリが存在しないかのように処理を続けていましたが、レスポンスボディの別セクションにリポジトリごとの失敗レポートが表示されます。これにより、失敗がある場合に結果を適切にページネートすることが不可能になります。バージョン8.15.0以降では、このAPIの失敗処理の動作が厳格化され、ターゲットリポジトリの内容がリストできない場合は全体の失敗が報告されます。

#107191

Tech Previewとしてのlogsdbインデックスモードの導入

この変更により、logsdbという新しいインデックスモードが導入されます。この新しいインデックスモードが有効になると、以下のストレージ節約機能が自動的に有効になります:

  • 合成ソース、_sourceフィールドの保存を省略します。_sourceまたはその一部が要求されると、実行時に動的に合成されます。
  • インデックスソート。デフォルトでは、インデックスはインデックス時にhost.nameおよび@timestampフィールドでソートされます。他のソートフィールドがより良い圧縮率をもたらす場合は、これを上書きできます。
  • ドキュメント値が有効なフィールドに対して、よりスペース効率の良い圧縮を有効にします。これらは、time_seriesインデックスモードが有効なときに使用されるのと同じコーデックです。

index.modeインデックス設定はlogsdbに設定され、インデックステンプレートで構成するか、プレーンインデックスを作成する際に定義する必要があります。ベンチマークおよびその他のテストでは、logsデータセットは新しいインデックスモードが有効な場合、構成しない場合と比較して約2.5倍少ないストレージを使用することが示されています。新しいlogsdbインデックスモードはテクニカルプレビュー機能です。

#108896

dense_vectorへの新しいint4量子化の追加

新しいint4（半バイト）スカラー量子化サポートが2つの新しいインデックスタイプを介して提供されます: int4_hnswおよびint4_flat。これにより、float32から8倍の削減が得られますが、いくつかの精度損失があります。必要なメモリが少なくなるだけでなく、生のベクトルと比較してクエリおよびマージ速度が大幅に向上します。

#109317

クエリルールをGAとしてマーク

このPRは、クエリルールを一般提供（GA）としてマークします。すべてのAPIはもはやテクニカルプレビューではありません。

#110004

dense_vectorsの新しいビット要素タイプの追加

これにより、bitベクトルサポートがelement_type: bitを追加することによって追加されます。この新しい要素タイプは、インデックス付きおよび非インデックス付きベクトルの両方で機能します。さらに、hnswおよびflatインデックスタイプでも機能します。この要素タイプでは量子化ベースのコーデックは機能せず、byteベクトルと一貫性があります。

bitベクトルは、サイズが32768次元まで受け入れ、インデックスされるベクトルは16進数文字列またはbyte[]配列としてエンコードされることを期待します。byte配列の各要素は、ベクトルの8ビットを表します。

bitベクトルはスクリプト使用と通常のクエリ使用をサポートします。インデックスされると、すべての比較はxorおよびpopcountの合計（すなわち、ハミング距離）で行われ、スコアはベクトルの次元に応じて変換および正規化されます。

スクリプトの場合、l1normはhamming距離と同じで、l2normはsqrt(l1norm)です。dotProductおよびcosineSimilarityはサポートされていません。

この要素タイプによって期待される次元は常に8で割り切れる必要があり、インデックス用に提供されるbyte[]ベクトルはdim/8サイズでなければならず、各バイト要素はベクトルの8ビットを表します。

#110059

Redactプロセッサが一般提供（GA）に

Redactプロセッサは、指定されたGrokパターンに一致する入力ドキュメント内のテキストを隠すためにGrokルールエンジンを使用します。Redactプロセッサは、8.7.0でテクニカルプレビューとして最初にリリースされ、現在は一般提供（GA）としてリリースされています。

#110395

ISO-8601日付時刻用の新しいカスタムパーサー

これは、iso8601、strict_date_optional_time、およびstrict_date_optional_time_nanosの組み込み日付形式用のISO-8601日付時刻用の新しいカスタムパーサーを導入します。これにより、デフォルトのJava日付時刻解析よりもパフォーマンスが向上します。同様の動作を維持しつつ、新しいパーサーは複数の小数秒フィールドや複数のタイムゾーン指定子を持つナンセンスな日付時刻文字列を受け入れません。新しいパーサーが文字列の解析に失敗した場合、以前のパーサーを使用して解析します。入力データの大部分がこれらの無効な文字列で構成されている場合、わずかなパフォーマンス低下を引き起こす可能性があります。古いパーサーの使用を強制したい場合は、すべてのESノードでJVMプロパティes.datetime.java_time_parsers=trueを設定してください。

#106486

より多くのISO-8601日付形式用の新しいカスタムパーサー

＃106486に続いて、これはカスタムISO-8601日付時刻パーサーを拡張して、strict_year、strict_year_month、strict_date_time、strict_date_time_no_millis、strict_date_hour_minute_second、strict_date_hour_minute_second_millis、およびstrict_date_hour_minute_second_fractionの日付形式をカバーします。以前と同様に、パーサーは解析の問題がある場合に既存のjava.timeパーサーを使用し、es.datetime.java_time_parsers=true JVMプロパティは古いパーサーの使用を強制します。

#108606

プレビュー: geoipプロセッサにおける接続タイプ、’Domain’およびISPデータベースのサポート

テクニカルプレビューとして、geoipプロセッサは、商用のGeoIP2 Connection Type、GeoIP2 Domain、およびGeoIP2 ISPデータベースをMaxMindから使用できるようになりました。

#108683

ElasticsearchをLucene 9.11に更新

Elasticsearchは、最新のLuceneバージョン9.11を使用して更新されました。以下は完全なリリースノートです: しかし、特に注目すべき点は次のとおりです: - より良いメモリ管理のためのMADVISEの使用: https://github.com/apache/lucene/pull/13196 - 競合を減らすためにLRUQueryCacheにアクセスするためのRWLockの使用: https://github.com/apache/lucene/pull/13306 - ネストされたkNNクエリのためのマルチセグメントHNSWグラフ検索の高速化: https://github.com/apache/lucene/pull/13121 - ヒープ上のベクトルをコピーせずにスコアリングするためのMemorySegment Vectorスコアラーの追加: https://github.com/apache/lucene/pull/13339

#109219

合成_sourceの改善

合成_source機能に対する複数の改善があります:

  • 合成_sourceは、nestedおよびobjectを含むすべてのフィールドタイプでサポートされるようになりました。objectフィールドは、enabledがfalseに設定されている場合にサポートされます。
  • 合成_sourceは、これをサポートするすべてのフィールドタイプに対してignore_malformedおよびignore_aboveパラメータと共に有効にできます。

#109501

ネストされたフィールドを持つインデックスのインデックスソート

ネストされたオブジェクトを含むマッピングのインデックスに対してインデックスソートがサポートされるようになりました。ただし、インデックスソート仕様（index.sort.fieldで指定されたもの）にはネストされたフィールドを含めることはできません。

#110251