ライフサイクルポリシーの設定

ILMがインデックスを管理するためには、index.lifecycle.nameインデックス設定に有効なポリシーを指定する必要があります。

ロールインデックスのライフサイクルポリシーを設定するには、ポリシーを作成し、それをインデックステンプレートに追加します。

ロールオーバーしないインデックスを管理するためにポリシーを使用するには、インデックスを作成する際にライフサイクルポリシーを指定するか、既存のインデックスに直接ポリシーを適用できます。

ILMポリシーはグローバルクラスター状態に保存され、スナップショットを取得する際にinclude_global_stateをtrueに設定することでスナップショットに含めることができます。スナップショットを取得するときに、スナップショットが復元されると、グローバル状態のすべてのポリシーが復元され、同じ名前のローカルポリシーは上書きされます。

BeatsまたはLogstash Elasticsearch出力プラグインのインデックスライフサイクル管理を有効にすると、必要なポリシーと設定変更が自動的に適用されます。デフォルトのポリシーを変更することはできますが、ポリシーを明示的に設定したり、初期インデックスをブートストラップしたりする必要はありません。

ライフサイクルポリシーの作成

Kibanaからライフサイクルポリシーを作成するには、メニューを開き、Stack
Management > Index Lifecycle Policiesに移動します。Create policyをクリックします。

ポリシー作成ページ

ポリシーのライフサイクルフェーズと各フェーズで実行するアクションを指定します。

ポリシーの作成または更新APIが呼び出され、ポリシーがElasticsearchクラスターに追加されます。

APIの例

Python

  1. resp = client.ilm.put_lifecycle(
  2.    name="my_policy",
  3.    policy={
  4.    "phases": {
  5.    "hot": {
  6.    "actions": {
  7.    "rollover": {
  8.    "max_primary_shard_size": "25GB"
  9.    }
  10.    }
  11.    },
  12.    "delete": {
  13.    "min_age": "30d",
  14.    "actions": {
  15.    "delete": {}
  16.    }
  17.    }
  18.    }
  19.    },
  20. )
  21. print(resp)

Ruby

  1. response = client.ilm.put_lifecycle(
  2.   policy: 'my_policy',
  3.   body: {
  4.    policy: {
  5.    phases: {
  6.    hot: {
  7.    actions: {
  8.    rollover: {
  9.    max_primary_shard_size: '25GB'
  10.    }
  11.    }
  12.    },
  13.    delete: {
  14.    min_age: '30d',
  15.    actions: {
  16.    delete: {}
  17.    }
  18.    }
  19.    }
  20.    }
  21.   }
  22. )
  23. puts response

Js

  1. const response = await client.ilm.putLifecycle({
  2.   name: "my_policy",
  3.   policy: {
  4.    phases: {
  5.    hot: {
  6.    actions: {
  7.    rollover: {
  8.    max_primary_shard_size: "25GB",
  9.    },
  10.    },
  11.    },
  12.    delete: {
  13.    min_age: "30d",
  14.    actions: {
  15.    delete: {},
  16.    },
  17.    },
  18.    },
  19.   },
  20. });
  21. console.log(response);

コンソール

  1. PUT _ilm/policy/my_policy
  2. {
  3.   "policy": {
  4.    "phases": {
  5.    "hot": {
  6.    "actions": {
  7.    "rollover": {
  8.    "max_primary_shard_size": "25GB"
  9.    }
  10.    }
  11.    },
  12.    "delete": {
  13.    "min_age": "30d",
  14.    "actions": {
  15.    "delete": {}
  16.    }
  17.    }
  18.    }
  19.   }
  20. }
インデックスが25GBに達したときにロールオーバーします
ロールオーバーから30日後にインデックスを削除します

ロールオーバーアクションは、1つ以上のシャードが200000000以上のドキュメントを含む場合、データストリームまたはエイリアスを常に暗黙的にロールオーバーします。通常、シャードは200Mドキュメントに達する前に25GBに達しますが、これはスペース効率の良いデータセットには当てはまりません。シャードが200Mドキュメントを超えると、検索パフォーマンスが著しく低下する可能性があります。これが組み込み制限の理由です。

インデックステンプレートでライフサイクルポリシーを適用

ロールオーバーアクションをトリガーするポリシーを使用するには、各新しいインデックスを作成するために使用されるインデックステンプレートでポリシーを設定する必要があります。ポリシーの名前とロールインデックスを参照するために使用されるエイリアスを指定します。 

  2. Kibanaのテンプレート作成ウィザードを使用してテンプレートを作成できます。ウィザードにアクセスするには、メニューを開き、**Stack Management > Index Management**に移動します。**Index Templates**タブで、**Create template**をクリックします。  
  4. ![テンプレート作成ページ](https://cdn.hedaai.com/projects/elasticsearch-8-15/a77f71e54e27ca6f3f37f1153e2fb19a.png_big1500.jpeg)  
  6. ウィザードは、[インデックステンプレートの作成または更新API](/read/elasticsearch-8-15/fda62cc47238f266.md)を呼び出して、クラスターにテンプレートを追加します。  
  8. APIの例
  11. #### Python
  13. ``````python
  14. resp = client.indices.put_index_template(
  15.    name="my_template",
  16.    index_patterns=[
  17.    "test-*"
  18.    ],
  19.    template={
  20.    "settings": {
  21.    "number_of_shards": 1,
  22.    "number_of_replicas": 1,
  23.    "index.lifecycle.name": "my_policy",
  24.    "index.lifecycle.rollover_alias": "test-alias"
  25.    }
  26.    },
  27. )
  28. print(resp)
  29. `

Ruby

  1. response = client.indices.put_index_template(
  2.   name: 'my_template',
  3.   body: {
  4.    index_patterns: [
  5.    'test-*'
  6.    ],
  7.    template: {
  8.    settings: {
  9.    number_of_shards: 1,
  10.    number_of_replicas: 1,
  11.    'index.lifecycle.name' => 'my_policy',
  12.    'index.lifecycle.rollover_alias' => 'test-alias'
  13.    }
  14.    }
  15.   }
  16. )
  17. puts response

Js

  1. const response = await client.indices.putIndexTemplate({
  2.   name: "my_template",
  3.   index_patterns: ["test-*"],
  4.   template: {
  5.    settings: {
  6.    number_of_shards: 1,
  7.    number_of_replicas: 1,
  8.    "index.lifecycle.name": "my_policy",
  9.    "index.lifecycle.rollover_alias": "test-alias",
  10.    },
  11.   },
  12. });
  13. console.log(response);

コンソール

  1. PUT _index_template/my_template
  2. {
  3.   "index_patterns": ["test-*"],
  4.   "template": {
  5.    "settings": {
  6.    "number_of_shards": 1,
  7.    "number_of_replicas": 1,
  8.    "index.lifecycle.name": "my_policy",
  9.    "index.lifecycle.rollover_alias": "test-alias"
  10.    }
  11.   }
  12. }
test-で始まるすべての新しいインデックスにこのテンプレートを使用します
このテンプレートで作成された新しいインデックスにmy_policyを適用します
my_policyによって管理されるインデックスを参照するためのインデックスエイリアスを定義します

初期管理インデックスの作成

独自のロールインデックスのポリシーを設定する場合、推奨されるデータストリームを使用していない場合は、ポリシーによって管理される最初のインデックスを手動で作成し、それを書き込みインデックスとして指定する必要があります。

BeatsまたはLogstash Elasticsearch出力プラグインのインデックスライフサイクル管理を有効にすると、必要なポリシーと設定変更が自動的に適用されます。デフォルトのポリシーを変更することはできますが、ポリシーを明示的に設定したり、初期インデックスをブートストラップしたりする必要はありません。

インデックスの名前は、インデックステンプレートで定義されたパターンと一致し、数字で終わる必要があります。この数字は、ロールオーバーアクションによって作成されたインデックスの名前を生成するためにインクリメントされます。

たとえば、次のリクエストはtest-00001インデックスを作成します。これはmy_templateで指定されたインデックスパターンに一致するため、Elasticsearchは自動的にそのテンプレートから設定を適用します。

Python

  1. resp = client.indices.create(
  2.    index="test-000001",
  3.    aliases={
  4.    "test-alias": {
  5.    "is_write_index": True
  6.    }
  7.    },
  8. )
  9. print(resp)

Ruby

  1. response = client.indices.create(
  2.   index: 'test-000001',
  3.   body: {
  4.    aliases: {
  5.    "test-alias": {
  6.    is_write_index: true
  7.    }
  8.    }
  9.   }
  10. )
  11. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "test-000001",
  3.   aliases: {
  4.    "test-alias": {
  5.    is_write_index: true,
  6.    },
  7.   },
  8. });
  9. console.log(response);

コンソール

  1. PUT test-000001
  2. {
  3.   "aliases": {
  4.    "test-alias":{
  5.    "is_write_index": true
  6.    }
  7.   }
  8. }
この初期インデックスをこのエイリアスの書き込みインデックスとして設定します。

これで、ライフサイクルポリシーで指定されたロールオーバーエイリアスにデータをインデックスすることができます。サンプルmy_policyポリシーでは、初期インデックスが25GBを超えるとロールオーバーアクションがトリガーされます。ILMは新しいインデックスを作成し、それがtest-aliasの書き込みインデックスになります。

ライフサイクルポリシーを手動で適用

インデックスを作成する際にポリシーを指定するか、Kibana Managementまたは設定更新APIを通じて既存のインデックスにポリシーを適用できます。ポリシーを適用すると、ILMはすぐにインデックスの管理を開始します。

ロールオーバーアクションを使用するポリシーを手動で適用しないでください。ロールオーバーを使用するポリシーは、インデックステンプレートによって適用される必要があります。そうしないと、ロールオーバーアクションが新しいインデックスを作成する際にポリシーが引き継がれません。 

  2. APIの例
  5. #### Python
  7. ``````python
  8. resp = client.indices.create(
  9.    index="test-index",
  10.    settings={
  11.    "number_of_shards": 1,
  12.    "number_of_replicas": 1,
  13.    "index.lifecycle.name": "my_policy"
  14.    },
  15. )
  16. print(resp)
  17. `

Ruby

  1. response = client.indices.create(
  2.   index: 'test-index',
  3.   body: {
  4.    settings: {
  5.    number_of_shards: 1,
  6.    number_of_replicas: 1,
  7.    'index.lifecycle.name' => 'my_policy'
  8.    }
  9.   }
  10. )
  11. puts response

Js

  1. const response = await client.indices.create({
  2.   index: "test-index",
  3.   settings: {
  4.    number_of_shards: 1,
  5.    number_of_replicas: 1,
  6.    "index.lifecycle.name": "my_policy",
  7.   },
  8. });
  9. console.log(response);

コンソール

  1. PUT test-index
  2. {
  3.   "settings": {
  4.    "number_of_shards": 1,
  5.    "number_of_replicas": 1,
  6.    "index.lifecycle.name": "my_policy"
  7.   }
  8. }
インデックスのライフサイクルポリシーを設定します。

複数のインデックスにポリシーを適用

インデックス名にワイルドカードを使用して、設定更新APIを呼び出すと、同じポリシーを複数のインデックスに適用できます。

意図しないインデックスに一致しないように注意してください。

Python

  1. resp = client.indices.put_settings(
  2.    index="mylogs-pre-ilm*",
  3.    settings={
  4.    "index": {
  5.    "lifecycle": {
  6.    "name": "mylogs_policy_existing"
  7.    }
  8.    }
  9.    },
  10. )
  11. print(resp)

Ruby

  1. response = client.indices.put_settings(
  2.   index: 'mylogs-pre-ilm*',
  3.   body: {
  4.    index: {
  5.    lifecycle: {
  6.    name: 'mylogs_policy_existing'
  7.    }
  8.    }
  9.   }
  10. )
  11. puts response

Js

  1. const response = await client.indices.putSettings({
  2.   index: "mylogs-pre-ilm*",
  3.   settings: {
  4.    index: {
  5.    lifecycle: {
  6.    name: "mylogs_policy_existing",
  7.    },
  8.    },
  9.   },
  10. });
  11. console.log(response);

コンソール

  1. PUT mylogs-pre-ilm*/_settings
  2. {
  3.   "index": {
  4.    "lifecycle": {
  5.    "name": "mylogs_policy_existing"
  6.    }
  7.   }
  8. }
mylogs-pre-ilmで始まるすべてのインデックスを更新します

ライフサイクルポリシーの切り替え

インデックスのライフサイクルポリシーを切り替えるには、次の手順に従います：

  • 1. ポリシー削除APIを使用して既存のポリシーを削除します。データストリームまたはエイリアスをターゲットにして、そのすべてのインデックスのポリシーを削除します。

Python

  1. resp = client.ilm.remove_policy(
  2.    index="logs-my_app-default",
  3.   )
  4.   print(resp)

Ruby

  1. response = client.ilm.remove_policy(
  2.    index: 'logs-my_app-default'
  3.   )
  4.   puts response

Js

  1. const response = await client.ilm.removePolicy({
  2.    index: "logs-my_app-default",
  3.   });
  4.   console.log(response);

コンソール

  1. POST logs-my_app-default/_ilm/remove
  • 2. ポリシー削除APIは、インデックスからすべてのILMメタデータを削除し、インデックスのライフサイクルステータスを考慮しません。これにより、インデックスが望ましくない状態になる可能性があります。
    たとえば、forcemergeアクションは、一時的にインデックスを閉じてから再オープンします。forcemerge中にインデックスのILMポリシーを削除すると、インデックスが無期限に閉じたままになる可能性があります。
    ポリシー削除後、インデックス取得APIを使用してインデックスの状態を確認します。データストリームまたはエイリアスをターゲットにして、そのすべてのインデックスの状態を取得します。

Python

  1. resp = client.indices.get(
  2.    index="logs-my_app-default",
  3.   )
  4.   print(resp)

Ruby

  1. response = client.indices.get(
  2.    index: 'logs-my_app-default'
  3.   )
  4.   puts response

Js

  1. const response = await client.indices.get({
  2.    index: "logs-my_app-default",
  3.   });
  4.   console.log(response);

コンソール

  1. GET logs-my_app-default

インデックスを必要に応じて変更できます。たとえば、インデックスオープンAPIを使用して、閉じたインデックスを再オープンできます。

Python

  1. resp = client.indices.open(
  2.    index="logs-my_app-default",
  3.   )
  4.   print(resp)

Ruby

  1. response = client.indices.open(
  2.    index: 'logs-my_app-default'
  3.   )
  4.   puts response

Js

  1. const response = await client.indices.open({
  2.    index: "logs-my_app-default",
  3.   });
  4.   console.log(response);

コンソール

  1. POST logs-my_app-default/_open
  • 3. 設定更新APIを使用して新しいポリシーを割り当てます。データストリームまたはエイリアスをターゲットにして、そのすべてのインデックスにポリシーを割り当てます。
    既存のポリシーを削除せずに新しいポリシーを割り当てないでください。これにより、フェーズ実行が静かに失敗する可能性があります。

Python

  1. resp = client.indices.put_settings(
  2.    index="logs-my_app-default",
  3.    settings={
  4.    "index": {
  5.    "lifecycle": {
  6.    "name": "new-lifecycle-policy"
  7.    }
  8.    }
  9.    },
  10.   )
  11.   print(resp)

Ruby

  1. response = client.indices.put_settings(
  2.    index: 'logs-my_app-default',
  3.    body: {
  4.    index: {
  5.    lifecycle: {
  6.    name: 'new-lifecycle-policy'
  7.    }
  8.    }
  9.    }
  10.   )
  11.   puts response

Js

  1. const response = await client.indices.putSettings({
  2.    index: "logs-my_app-default",
  3.    settings: {
  4.    index: {
  5.    lifecycle: {
  6.    name: "new-lifecycle-policy",
  7.    },
  8.    },
  9.    },
  10.   });
  11.   console.log(response);

コンソール

  1. PUT logs-my_app-default/_settings
  2.   {
  3.    "index": {
  4.    "lifecycle": {
  5.    "name": "new-lifecycle-policy"
  6.    }
  7.    }
  8.   }