elasticsearch-shard

場合によっては、シャードコピーのLuceneインデックスまたはtranslogが破損することがあります。elasticsearch-shardコマンドを使用すると、シャードの良好なコピーが自動的に回復できない場合やバックアップから復元できない場合に、シャードの破損した部分を削除できます。

  3. ## Synopsis
  5. #### Shell
  7. ``````shell
  8. bin/elasticsearch-shard remove-corrupted-data
  9.   ([--index <Index>] [--shard-id <ShardId>] | [--dir <IndexPath>])
  10.   [--truncate-clean-translog]
  11.   [-E <KeyValuePair>]
  12.   [-h, --help] ([-s, --silent] | [-v, --verbose])
  13. `

Description

Elasticsearchがシャードのデータが破損していることを検出すると、そのシャードコピーは失敗し、使用を拒否します。通常の条件下では、シャードは別のコピーから自動的に回復されます。シャードの良好なコピーが利用できず、スナップショットから復元できない場合は、elasticsearch-shardを使用して破損したデータを削除し、影響を受けていないセグメントの残りのデータへのアクセスを復元できます。

  2. 破損したシャードデータを削除するには、`````remove-corrupted-data`````サブコマンドを使用します。
  4. パスを指定する方法は2つあります：
  6. - `````--index`````および`````--shard-id`````オプションを使用してインデックス名とシャード名を指定します。
  7. - `````--dir`````オプションを使用して、破損したインデックスまたはtranslogファイルへのフルパスを指定します。
  9. [](#cli-tool-jvm-options-shard)
  12. ### JVM options
  14. CLIツールは64MBのヒープで実行されます。ほとんどのツールにとって、この値は問題ありません。ただし、必要に応じて`````CLI_JAVA_OPTS`````環境変数を設定することで上書きできます。たとえば、次のようにして`````elasticsearch-shard`````ツールで使用されるヒープサイズを1GBに増やします。
  17. #### Shell
  19. ``````shell
  20. export CLI_JAVA_OPTS="-Xmx1g"
  21. bin/elasticsearch-shard ...
  22. `

Removing corrupted data

  2. `````elasticsearch-shard`````を実行する前にデータをバックアップしてください。これは、シャードから破損したデータを削除する破壊的な操作です。
  5. #### Txt
  7. ``````txt
  8. $ bin/elasticsearch-shard remove-corrupted-data --index my-index-000001 --shard-id 0
  10.    WARNING: Elasticsearch MUST be stopped before running this tool.
  12.   Please make a complete backup of your index before using this tool.
  14. Opening Lucene index at /var/lib/elasticsearchdata/indices/P45vf_YQRhqjfwLMUvSqDw/0/index/
  16.  >> Lucene index is corrupted at /var/lib/elasticsearchdata/indices/P45vf_YQRhqjfwLMUvSqDw/0/index/
  18. Opening translog at /var/lib/elasticsearchdata/indices/P45vf_YQRhqjfwLMUvSqDw/0/translog/
  20.  >> Translog is clean at /var/lib/elasticsearchdata/indices/P45vf_YQRhqjfwLMUvSqDw/0/translog/
  22.   Corrupted Lucene index segments found - 32 documents will be lost.
  24.    WARNING:              YOU WILL LOSE DATA.
  26. Continue and remove docs from the index ? Y
  28. WARNING: 1 broken segments (containing 32 documents) detected
  29. Took 0.056 sec total.
  30. Writing...
  31. OK
  32. Wrote new segments file "segments_c"
  33. Marking index with the new history uuid : 0pIBd9VTSOeMfzYT6p0AsA
  34. Changing allocation id V8QXk-QXSZinZMT-NvEq4w to tjm9Ve6uTBewVFAlfUMWjA
  36. You should run the following command to allocate this shard:
  38. POST /_cluster/reroute?metric=none
  39. {
  40.   "commands" : [
  41.    {
  42.    "allocate_stale_primary" : {
  43.    "index" : "index42",
  44.    "shard" : 0,
  45.    "node" : "II47uXW2QvqzHBnMcl2o_Q",
  46.    "accept_data_loss" : false
  47.    }
  48.    }
  49.   ]
  50. }
  52. You must accept the possibility of data loss by changing the `accept_data_loss` parameter to `true`.
  54. Deleted corrupt marker corrupted_FzTSBSuxT7i3Tls_TgwEag from /var/lib/elasticsearchdata/indices/P45vf_YQRhqjfwLMUvSqDw/0/index/
  55. `

elasticsearch-shardを使用して破損したデータを削除すると、シャードの割り当てIDが変更されます。ノードを再起動した後は、cluster reroute APIを使用してElasticsearchに新しいIDを使用するように指示する必要があります。elasticsearch-shardコマンドは、送信する必要があるリクエストを示します。

また、-hオプションを使用して、elasticsearch-shardツールがサポートするすべてのオプションとパラメータのリストを取得することもできます。

最後に、--truncate-clean-translogオプションを使用して、破損していない場合でもシャードのtranslogを切り詰めることができます。