Find field structure API

Elasticsearch インデックス内のフィールドの構造を見つけます。

Request

GET _text_structure/find_field_structure

Prerequisites

  • Elasticsearch のセキュリティ機能が有効になっている場合、この API を使用するには monitor_text_structure または monitor クラスター権限が必要です。詳細は Security privileges を参照してください。

Description

この API は、すでに Elasticsearch に取り込まれたログメッセージからさらに情報を抽出するための出発点を提供します。たとえば、@timestamp および message フィールドのみを持つ非常にシンプルなインデックスにデータを取り込んだ場合、この API を使用して message フィールドに存在する共通の構造を確認できます。

API からの応答には次の情報が含まれます：

  • サンプルメッセージ。
  • テキスト内で検出されたすべてのフィールドの最も一般的な値を示す統計と、数値フィールドの基本的な数値統計。
  • テキストの構造に関する情報。これは、インデックス作成のための取り込み設定を記述する際や、同様の形式のテキストに役立ちます。
  • テキストを取り込むために使用できる Elasticsearch インデックスの適切なマッピング。

このすべての情報は、構造ファインダーによってガイダンスなしで計算できます。ただし、1つ以上のクエリパラメータを指定することで、テキスト構造に関するいくつかの決定をオーバーライドすることもできます。

出力の詳細は examples で確認できます。

構造ファインダーが予期しない結果を生成した場合は、explain クエリパラメータを指定すると、explanation が応答に表示されます。これは、返された構造が選択された理由を特定するのに役立ちます。

Query parameters

  • index
  • (必須、文字列) フィールドを含むインデックスの名前。
  • field
  • (必須、文字列) 分析されるフィールドの名前。
  • column_names
  • (オプション、文字列) format を delimited に設定した場合、カンマ区切りのリストで列名を指定できます。このパラメータが指定されていない場合、構造ファインダーはテキストのヘッダ行から列名を使用します。テキストにヘッダ行がない場合、列は「column1」、「column2」、「column3」などと名付けられます。
  • delimiter
  • (オプション、文字列) format を delimited に設定した場合、各行の値を区切るために使用される文字を指定できます。サポートされるのは単一の文字のみで、区切り文字は複数の文字を持つことはできません。デフォルトでは、API は次の可能性を考慮します：カンマ、タブ、セミコロン、およびパイプ (|)。このデフォルトのシナリオでは、すべての行は区切られた形式を検出するために同じ数のフィールドを持つ必要があります。区切り文字を指定した場合、最初の行とは異なる列数を持つ行は最大 10% まで許容されます。
  • documents_to_sample
  • (オプション、符号なし整数) 構造分析に含めるドキュメントの数。最小は 2 で、デフォルトは 1000 です。
  • explain
  • (オプション、ブール値) true の場合、応答には explanation という名前のフィールドが含まれ、これは構造ファインダーが結果を生成した方法を示す文字列の配列です。デフォルト値は false です。
  • format
  • (オプション、文字列) テキストの高レベルの構造。有効な値は ndjson、xml、delimited、および semi_structured_text です。デフォルトでは、API は形式を選択します。このデフォルトのシナリオでは、すべての行は区切られた形式を検出するために同じ数のフィールドを持つ必要があります。ただし、format が delimited に設定され、delimiter が設定されていない場合、API は最初の行とは異なる列数を持つ行を最大 5% 許容します。
  • grok_pattern
  • (オプション、文字列) format を semi_structured_text に設定した場合、テキスト内の各メッセージからフィールドを抽出するために使用される Grok パターンを指定できます。Grok パターン内のタイムスタンプフィールドの名前は、timestamp_field パラメータで指定されたものと一致する必要があります。このパラメータが指定されていない場合、Grok パターン内のタイムスタンプフィールドの名前は「timestamp」と一致する必要があります。grok_pattern が指定されていない場合、構造ファインダーは Grok パターンを作成します。
  • ecs_compatibility
  • (オプション、文字列) ECS 準拠の Grok パターンとの互換性のモード。このパラメータを使用して、構造ファインダーが Grok パターンを作成する際に、レガシーの代わりに ECS Grok パターンを使用するかどうかを指定します。有効な値は disabled と v1 です。デフォルト値は disabled です。この設定は、%{CATALINALOG} のような全メッセージ Grok パターンが入力に一致する場合に主に影響します。構造ファインダーが共通の構造を特定するが意味がわからない場合、path、ipaddress、field1、および field2 のような一般的なフィールド名が grok_pattern 出力に使用され、意味を知っているユーザーがこれらのフィールドの名前を変更して使用することを意図しています。
  • quote
  • (オプション、文字列) format を delimited に設定した場合、各行の値に改行や区切り文字が含まれている場合に、それらの値を引用するために使用される文字を指定できます。サポートされるのは単一の文字のみです。このパラメータが指定されていない場合、デフォルト値は二重引用符 (") です。区切られたテキスト形式が引用を使用しない場合、回避策としてこの引数をサンプル内に出現しない文字に設定できます。
  • should_trim_fields
  • (オプション、ブール値) format を delimited に設定した場合、区切り文字の間の値から空白を削除するかどうかを指定できます。このパラメータが指定されていない場合、区切り文字がパイプ (|) の場合、デフォルト値は true です。それ以外の場合、デフォルト値は false です。
  • timeout
  • (オプション、時間単位) 構造分析にかかる最大時間を設定します。タイムアウトが切れたときに分析がまだ実行中の場合、分析は停止されます。デフォルト値は 25 秒です。
  • timestamp_field
  • (オプション、文字列) テキスト内の各レコードの主要なタイムスタンプを含むフィールドの名前。特に、テキストがインデックスに取り込まれた場合、これは @timestamp フィールドを埋めるために使用されるフィールドです。
    format が semi_structured_text の場合、このフィールドは grok_pattern での適切な抽出の名前と一致する必要があります。したがって、半構造化テキストの場合、grok_pattern も指定されていない限り、このパラメータを指定しない方が良いです。
    構造化テキストの場合、このパラメータを指定すると、フィールドはテキスト内に存在する必要があります。
    このパラメータが指定されていない場合、構造ファインダーは主要なタイムスタンプフィールドがどのフィールドであるか（ある場合）を決定します。構造化テキストの場合、テキストにタイムスタンプがあることは必須ではありません。
  • timestamp_format
  • (オプション、文字列) テキスト内のタイムスタンプフィールドの Java 時間形式。
    サポートされているのは Java 時間形式の文字グループのサブセットのみです：
    • a
    • d
    • dd
    • EEE
    • EEEE
    • H
    • HH
    • h
    • M
    • MM
    • MMM
    • MMMM
    • mm
    • ss
    • XX
    • XXX
    • yy
    • yyyy
    • zzz
      さらに、S 文字グループ（小数秒）の長さが 1 から 9 のものが、ss の後に出現し、ss で区切られている場合にサポートされます。スペースや句読点も許可されますが、?、改行、キャリッジリターン、および単一引用符で囲まれたリテラルテキストは除外されます。たとえば、MM/dd HH.mm.ss,SSSSSS 'in' yyyy は有効なオーバーライド形式です。
      このパラメータの貴重な使用例は、形式が半構造化テキストで、テキスト内に複数のタイムスタンプ形式があり、主要なタイムスタンプに対応する形式がわかっているが、完全な grok_pattern を指定したくない場合です。もう一つは、タイムスタンプ形式が構造ファインダーがデフォルトで考慮しないものである場合です。
      このパラメータが指定されていない場合、構造ファインダーは組み込みのセットから最適な形式を選択します。
      特別な値 null が指定されると、構造ファインダーはテキスト内で主要なタイムスタンプを探しません。形式が半構造化テキストの場合、これは構造ファインダーがテキストを単一行メッセージとして扱う結果になります。
      次の表は、いくつかの例のタイムスタンプに対する適切な timeformat 値を提供します：
      | Timeformat | Presentation |
      | :— | :— |
      | yyyy-MM-dd HH:mm:ssZ | 2019-04-20 13:15:22+0000 |
      | EEE, d MMM yyyy HH:mm:ss Z | Sat, 20 Apr 2019 13:15:22 +0000 |
      | dd.MM.yy HH:mm:ss.SSS | 20.04.19 13:15:22.285 |
      詳細な日付と時間の形式構文については、the Java date/time format documentation を参照してください。

Examples

Analyzing Elasticsearch log files

Elasticsearch のログメッセージのリストがインデックスにあると仮定します。find_field_structure エンドポイントを使用してそれらを分析できます。

Python

  1. resp = client.bulk(
  2.    refresh=True,
  3.    operations=[
  4.    {
  5.    "index": {
  6.    "_index": "test-logs"
  7.    }
  8.    },
  9.    {
  10.    "message": "[2024-03-05T10:52:36,256][INFO ][o.a.l.u.VectorUtilPanamaProvider] [laptop] Java vector incubator API enabled; uses preferredBitSize=128"
  11.    },
  12.    {
  13.    "index": {
  14.    "_index": "test-logs"
  15.    }
  16.    },
  17.    {
  18.    "message": "[2024-03-05T10:52:41,038][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-url]"
  19.    },
  20.    {
  21.    "index": {
  22.    "_index": "test-logs"
  23.    }
  24.    },
  25.    {
  26.    "message": "[2024-03-05T10:52:41,042][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [rest-root]"
  27.    },
  28.    {
  29.    "index": {
  30.    "_index": "test-logs"
  31.    }
  32.    },
  33.    {
  34.    "message": "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-core]"
  35.    },
  36.    {
  37.    "index": {
  38.    "_index": "test-logs"
  39.    }
  40.    },
  41.    {
  42.    "message": "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-redact]"
  43.    },
  44.    {
  45.    "index": {
  46.    "_index": "test-logs"
  47.    }
  48.    },
  49.    {
  50.    "message": "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [ingest-user-agent]"
  51.    },
  52.    {
  53.    "index": {
  54.    "_index": "test-logs"
  55.    }
  56.    },
  57.    {
  58.    "message": "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-monitoring]"
  59.    },
  60.    {
  61.    "index": {
  62.    "_index": "test-logs"
  63.    }
  64.    },
  65.    {
  66.    "message": "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-s3]"
  67.    },
  68.    {
  69.    "index": {
  70.    "_index": "test-logs"
  71.    }
  72.    },
  73.    {
  74.    "message": "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-analytics]"
  75.    },
  76.    {
  77.    "index": {
  78.    "_index": "test-logs"
  79.    }
  80.    },
  81.    {
  82.    "message": "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-ent-search]"
  83.    },
  84.    {
  85.    "index": {
  86.    "_index": "test-logs"
  87.    }
  88.    },
  89.    {
  90.    "message": "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-autoscaling]"
  91.    },
  92.    {
  93.    "index": {
  94.    "_index": "test-logs"
  95.    }
  96.    },
  97.    {
  98.    "message": "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-painless]]"
  99.    },
  100.    {
  101.    "index": {
  102.    "_index": "test-logs"
  103.    }
  104.    },
  105.    {
  106.    "message": "[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-expression]"
  107.    },
  108.    {
  109.    "index": {
  110.    "_index": "test-logs"
  111.    }
  112.    },
  113.    {
  114.    "message": "[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-eql]"
  115.    },
  116.    {
  117.    "index": {
  118.    "_index": "test-logs"
  119.    }
  120.    },
  121.    {
  122.    "message": "[2024-03-05T10:52:43,291][INFO ][o.e.e.NodeEnvironment    ] [laptop] heap size [16gb], compressed ordinary object pointers [true]"
  123.    },
  124.    {
  125.    "index": {
  126.    "_index": "test-logs"
  127.    }
  128.    },
  129.    {
  130.    "message": "[2024-03-05T10:52:46,098][INFO ][o.e.x.s.Security         ] [laptop] Security is enabled"
  131.    },
  132.    {
  133.    "index": {
  134.    "_index": "test-logs"
  135.    }
  136.    },
  137.    {
  138.    "message": "[2024-03-05T10:52:47,227][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] Profiling is enabled"
  139.    },
  140.    {
  141.    "index": {
  142.    "_index": "test-logs"
  143.    }
  144.    },
  145.    {
  146.    "message": "[2024-03-05T10:52:47,259][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] profiling index templates will not be installed or reinstalled"
  147.    },
  148.    {
  149.    "index": {
  150.    "_index": "test-logs"
  151.    }
  152.    },
  153.    {
  154.    "message": "[2024-03-05T10:52:47,755][INFO ][o.e.i.r.RecoverySettings ] [laptop] using rate limit [40mb] with [default=40mb, read=0b, write=0b, max=0b]"
  155.    },
  156.    {
  157.    "index": {
  158.    "_index": "test-logs"
  159.    }
  160.    },
  161.    {
  162.    "message": "[2024-03-05T10:52:47,787][INFO ][o.e.d.DiscoveryModule    ] [laptop] using discovery type [multi-node] and seed hosts providers [settings]"
  163.    },
  164.    {
  165.    "index": {
  166.    "_index": "test-logs"
  167.    }
  168.    },
  169.    {
  170.    "message": "[2024-03-05T10:52:49,188][INFO ][o.e.n.Node               ] [laptop] initialized"
  171.    },
  172.    {
  173.    "index": {
  174.    "_index": "test-logs"
  175.    }
  176.    },
  177.    {
  178.    "message": "[2024-03-05T10:52:49,199][INFO ][o.e.n.Node               ] [laptop] starting ..."
  179.    }
  180.    ],
  181. )
  182. print(resp)
  184. resp1 = client.text_structure.find_field_structure(
  185.    index="test-logs",
  186.    field="message",
  187.    body=None,
  188. )
  189. print(resp1)

Ruby

  1. response = client.bulk(
  2.   refresh: true,
  3.   body: [
  4.    {
  5.    index: {
  6.    _index: 'test-logs'
  7.    }
  8.    },
  9.    {
  10.    message: '[2024-03-05T10:52:36,256][INFO ][o.a.l.u.VectorUtilPanamaProvider] [laptop] Java vector incubator API enabled; uses preferredBitSize=128'
  11.    },
  12.    {
  13.    index: {
  14.    _index: 'test-logs'
  15.    }
  16.    },
  17.    {
  18.    message: '[2024-03-05T10:52:41,038][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-url]'
  19.    },
  20.    {
  21.    index: {
  22.    _index: 'test-logs'
  23.    }
  24.    },
  25.    {
  26.    message: '[2024-03-05T10:52:41,042][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [rest-root]'
  27.    },
  28.    {
  29.    index: {
  30.    _index: 'test-logs'
  31.    }
  32.    },
  33.    {
  34.    message: '[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-core]'
  35.    },
  36.    {
  37.    index: {
  38.    _index: 'test-logs'
  39.    }
  40.    },
  41.    {
  42.    message: '[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-redact]'
  43.    },
  44.    {
  45.    index: {
  46.    _index: 'test-logs'
  47.    }
  48.    },
  49.    {
  50.    message: '[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [ingest-user-agent]'
  51.    },
  52.    {
  53.    index: {
  54.    _index: 'test-logs'
  55.    }
  56.    },
  57.    {
  58.    message: '[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-monitoring]'
  59.    },
  60.    {
  61.    index: {
  62.    _index: 'test-logs'
  63.    }
  64.    },
  65.    {
  66.    message: '[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-s3]'
  67.    },
  68.    {
  69.    index: {
  70.    _index: 'test-logs'
  71.    }
  72.    },
  73.    {
  74.    message: '[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-analytics]'
  75.    },
  76.    {
  77.    index: {
  78.    _index: 'test-logs'
  79.    }
  80.    },
  81.    {
  82.    message: '[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-ent-search]'
  83.    },
  84.    {
  85.    index: {
  86.    _index: 'test-logs'
  87.    }
  88.    },
  89.    {
  90.    message: '[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-autoscaling]'
  91.    },
  92.    {
  93.    index: {
  94.    _index: 'test-logs'
  95.    }
  96.    },
  97.    {
  98.    message: '[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-painless]]'
  99.    },
  100.    {
  101.    index: {
  102.    _index: 'test-logs'
  103.    }
  104.    },
  105.    {
  106.    message: '[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-expression]'
  107.    },
  108.    {
  109.    index: {
  110.    _index: 'test-logs'
  111.    }
  112.    },
  113.    {
  114.    message: '[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-eql]'
  115.    },
  116.    {
  117.    index: {
  118.    _index: 'test-logs'
  119.    }
  120.    },
  121.    {
  122.    message: '[2024-03-05T10:52:43,291][INFO ][o.e.e.NodeEnvironment    ] [laptop] heap size [16gb], compressed ordinary object pointers [true]'
  123.    },
  124.    {
  125.    index: {
  126.    _index: 'test-logs'
  127.    }
  128.    },
  129.    {
  130.    message: '[2024-03-05T10:52:46,098][INFO ][o.e.x.s.Security         ] [laptop] Security is enabled'
  131.    },
  132.    {
  133.    index: {
  134.    _index: 'test-logs'
  135.    }
  136.    },
  137.    {
  138.    message: '[2024-03-05T10:52:47,227][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] Profiling is enabled'
  139.    },
  140.    {
  141.    index: {
  142.    _index: 'test-logs'
  143.    }
  144.    },
  145.    {
  146.    message: '[2024-03-05T10:52:47,259][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] profiling index templates will not be installed or reinstalled'
  147.    },
  148.    {
  149.    index: {
  150.    _index: 'test-logs'
  151.    }
  152.    },
  153.    {
  154.    message: '[2024-03-05T10:52:47,755][INFO ][o.e.i.r.RecoverySettings ] [laptop] using rate limit [40mb] with [default=40mb, read=0b, write=0b, max=0b]'
  155.    },
  156.    {
  157.    index: {
  158.    _index: 'test-logs'
  159.    }
  160.    },
  161.    {
  162.    message: '[2024-03-05T10:52:47,787][INFO ][o.e.d.DiscoveryModule    ] [laptop] using discovery type [multi-node] and seed hosts providers [settings]'
  163.    },
  164.    {
  165.    index: {
  166.    _index: 'test-logs'
  167.    }
  168.    },
  169.    {
  170.    message: '[2024-03-05T10:52:49,188][INFO ][o.e.n.Node               ] [laptop] initialized'
  171.    },
  172.    {
  173.    index: {
  174.    _index: 'test-logs'
  175.    }
  176.    },
  177.    {
  178.    message: '[2024-03-05T10:52:49,199][INFO ][o.e.n.Node               ] [laptop] starting ...'
  179.    }
  180.   ]
  181. )
  182. puts response
  184. response = client.text_structure.find_field_structure(
  185.   index: 'test-logs',
  186.   field: 'message'
  187. )
  188. puts response

Js

  1. const response = await client.bulk({
  2.   refresh: "true",
  3.   operations: [
  4.    {
  5.    index: {
  6.    _index: "test-logs",
  7.    },
  8.    },
  9.    {
  10.    message:
  11.    "[2024-03-05T10:52:36,256][INFO ][o.a.l.u.VectorUtilPanamaProvider] [laptop] Java vector incubator API enabled; uses preferredBitSize=128",
  12.    },
  13.    {
  14.    index: {
  15.    _index: "test-logs",
  16.    },
  17.    },
  18.    {
  19.    message:
  20.    "[2024-03-05T10:52:41,038][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-url]",
  21.    },
  22.    {
  23.    index: {
  24.    _index: "test-logs",
  25.    },
  26.    },
  27.    {
  28.    message:
  29.    "[2024-03-05T10:52:41,042][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [rest-root]",
  30.    },
  31.    {
  32.    index: {
  33.    _index: "test-logs",
  34.    },
  35.    },
  36.    {
  37.    message:
  38.    "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-core]",
  39.    },
  40.    {
  41.    index: {
  42.    _index: "test-logs",
  43.    },
  44.    },
  45.    {
  46.    message:
  47.    "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-redact]",
  48.    },
  49.    {
  50.    index: {
  51.    _index: "test-logs",
  52.    },
  53.    },
  54.    {
  55.    message:
  56.    "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [ingest-user-agent]",
  57.    },
  58.    {
  59.    index: {
  60.    _index: "test-logs",
  61.    },
  62.    },
  63.    {
  64.    message:
  65.    "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-monitoring]",
  66.    },
  67.    {
  68.    index: {
  69.    _index: "test-logs",
  70.    },
  71.    },
  72.    {
  73.    message:
  74.    "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-s3]",
  75.    },
  76.    {
  77.    index: {
  78.    _index: "test-logs",
  79.    },
  80.    },
  81.    {
  82.    message:
  83.    "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-analytics]",
  84.    },
  85.    {
  86.    index: {
  87.    _index: "test-logs",
  88.    },
  89.    },
  90.    {
  91.    message:
  92.    "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-ent-search]",
  93.    },
  94.    {
  95.    index: {
  96.    _index: "test-logs",
  97.    },
  98.    },
  99.    {
  100.    message:
  101.    "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-autoscaling]",
  102.    },
  103.    {
  104.    index: {
  105.    _index: "test-logs",
  106.    },
  107.    },
  108.    {
  109.    message:
  110.    "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-painless]]",
  111.    },
  112.    {
  113.    index: {
  114.    _index: "test-logs",
  115.    },
  116.    },
  117.    {
  118.    message:
  119.    "[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-expression]",
  120.    },
  121.    {
  122.    index: {
  123.    _index: "test-logs",
  124.    },
  125.    },
  126.    {
  127.    message:
  128.    "[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-eql]",
  129.    },
  130.    {
  131.    index: {
  132.    _index: "test-logs",
  133.    },
  134.    },
  135.    {
  136.    message:
  137.    "[2024-03-05T10:52:43,291][INFO ][o.e.e.NodeEnvironment    ] [laptop] heap size [16gb], compressed ordinary object pointers [true]",
  138.    },
  139.    {
  140.    index: {
  141.    _index: "test-logs",
  142.    },
  143.    },
  144.    {
  145.    message:
  146.    "[2024-03-05T10:52:46,098][INFO ][o.e.x.s.Security         ] [laptop] Security is enabled",
  147.    },
  148.    {
  149.    index: {
  150.    _index: "test-logs",
  151.    },
  152.    },
  153.    {
  154.    message:
  155.    "[2024-03-05T10:52:47,227][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] Profiling is enabled",
  156.    },
  157.    {
  158.    index: {
  159.    _index: "test-logs",
  160.    },
  161.    },
  162.    {
  163.    message:
  164.    "[2024-03-05T10:52:47,259][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] profiling index templates will not be installed or reinstalled",
  165.    },
  166.    {
  167.    index: {
  168.    _index: "test-logs",
  169.    },
  170.    },
  171.    {
  172.    message:
  173.    "[2024-03-05T10:52:47,755][INFO ][o.e.i.r.RecoverySettings ] [laptop] using rate limit [40mb] with [default=40mb, read=0b, write=0b, max=0b]",
  174.    },
  175.    {
  176.    index: {
  177.    _index: "test-logs",
  178.    },
  179.    },
  180.    {
  181.    message:
  182.    "[2024-03-05T10:52:47,787][INFO ][o.e.d.DiscoveryModule    ] [laptop] using discovery type [multi-node] and seed hosts providers [settings]",
  183.    },
  184.    {
  185.    index: {
  186.    _index: "test-logs",
  187.    },
  188.    },
  189.    {
  190.    message:
  191.    "[2024-03-05T10:52:49,188][INFO ][o.e.n.Node               ] [laptop] initialized",
  192.    },
  193.    {
  194.    index: {
  195.    _index: "test-logs",
  196.    },
  197.    },
  198.    {
  199.    message:
  200.    "[2024-03-05T10:52:49,199][INFO ][o.e.n.Node               ] [laptop] starting ...",
  201.    },
  202.   ],
  203. });
  204. console.log(response);
  206. const response1 = await client.textStructure.findFieldStructure({
  207.   index: "test-logs",
  208.   field: "message",
  209.   body: null,
  210. });
  211. console.log(response1);

Console

  1. POST _bulk?refresh=true
  2. {"index":{"_index":"test-logs"}}
  3. {"message":"[2024-03-05T10:52:36,256][INFO ][o.a.l.u.VectorUtilPanamaProvider] [laptop] Java vector incubator API enabled; uses preferredBitSize=128"}
  4. {"index":{"_index":"test-logs"}}
  5. {"message":"[2024-03-05T10:52:41,038][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-url]"}
  6. {"index":{"_index":"test-logs"}}
  7. {"message":"[2024-03-05T10:52:41,042][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [rest-root]"}
  8. {"index":{"_index":"test-logs"}}
  9. {"message":"[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-core]"}
  10. {"index":{"_index":"test-logs"}}
  11. {"message":"[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-redact]"}
  12. {"index":{"_index":"test-logs"}}
  13. {"message":"[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [ingest-user-agent]"}
  14. {"index":{"_index":"test-logs"}}
  15. {"message":"[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-monitoring]"}
  16. {"index":{"_index":"test-logs"}}
  17. {"message":"[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-s3]"}
  18. {"index":{"_index":"test-logs"}}
  19. {"message":"[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-analytics]"}
  20. {"index":{"_index":"test-logs"}}
  21. {"message":"[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-ent-search]"}
  22. {"index":{"_index":"test-logs"}}
  23. {"message":"[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-autoscaling]"}
  24. {"index":{"_index":"test-logs"}}
  25. {"message":"[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-painless]]"}
  26. {"index":{"_index":"test-logs"}}
  27. {"message":"[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-expression]"}
  28. {"index":{"_index":"test-logs"}}
  29. {"message":"[2024-03-05T10:52:41,059][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-eql]"}
  30. {"index":{"_index":"test-logs"}}
  31. {"message":"[2024-03-05T10:52:43,291][INFO ][o.e.e.NodeEnvironment    ] [laptop] heap size [16gb], compressed ordinary object pointers [true]"}
  32. {"index":{"_index":"test-logs"}}
  33. {"message":"[2024-03-05T10:52:46,098][INFO ][o.e.x.s.Security         ] [laptop] Security is enabled"}
  34. {"index":{"_index":"test-logs"}}
  35. {"message":"[2024-03-05T10:52:47,227][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] Profiling is enabled"}
  36. {"index":{"_index":"test-logs"}}
  37. {"message":"[2024-03-05T10:52:47,259][INFO ][o.e.x.p.ProfilingPlugin  ] [laptop] profiling index templates will not be installed or reinstalled"}
  38. {"index":{"_index":"test-logs"}}
  39. {"message":"[2024-03-05T10:52:47,755][INFO ][o.e.i.r.RecoverySettings ] [laptop] using rate limit [40mb] with [default=40mb, read=0b, write=0b, max=0b]"}
  40. {"index":{"_index":"test-logs"}}
  41. {"message":"[2024-03-05T10:52:47,787][INFO ][o.e.d.DiscoveryModule    ] [laptop] using discovery type [multi-node] and seed hosts providers [settings]"}
  42. {"index":{"_index":"test-logs"}}
  43. {"message":"[2024-03-05T10:52:49,188][INFO ][o.e.n.Node               ] [laptop] initialized"}
  44. {"index":{"_index":"test-logs"}}
  45. {"message":"[2024-03-05T10:52:49,199][INFO ][o.e.n.Node               ] [laptop] starting ..."}
  47. GET _text_structure/find_field_structure?index=test-logs&field=message

リクエストにエラーが発生しない場合、次の結果が返されます：

Console-Result

  1. {
  2.   "num_lines_analyzed" : 22,
  3.   "num_messages_analyzed" : 22,
  4.   "sample_start" : "[2024-03-05T10:52:36,256][INFO ][o.a.l.u.VectorUtilPanamaProvider] [laptop] Java vector incubator API enabled; uses preferredBitSize=128\n[2024-03-05T10:52:41,038][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-url]\n",
  5.   "charset" : "UTF-8",
  6.   "format" : "semi_structured_text",
  7.   "multiline_start_pattern" : "^\\[\\b\\d{4}-\\d{2}-\\d{2}[T ]\\d{2}:\\d{2}",
  8.   "grok_pattern" : "\\[%{TIMESTAMP_ISO8601:timestamp}\\]\\[%{LOGLEVEL:loglevel} \\]\\[.*",
  9.   "ecs_compatibility" : "disabled",
  10.   "timestamp_field" : "timestamp",
  11.   "joda_timestamp_formats" : [
  12.    "ISO8601"
  13.   ],
  14.   "java_timestamp_formats" : [
  15.    "ISO8601"
  16.   ],
  17.   "need_client_timezone" : true,
  18.   "mappings" : {
  19.    "properties" : {
  20.    "@timestamp" : {
  21.    "type" : "date"
  22.    },
  23.    "loglevel" : {
  24.    "type" : "keyword"
  25.    },
  26.    "message" : {
  27.    "type" : "text"
  28.    }
  29.    }
  30.   },
  31.   "ingest_pipeline" : {
  32.    "description" : "Ingest pipeline created by text structure finder",
  33.    "processors" : [
  34.    {
  35.    "grok" : {
  36.    "field" : "message",
  37.    "patterns" : [
  38.    "\\[%{TIMESTAMP_ISO8601:timestamp}\\]\\[%{LOGLEVEL:loglevel} \\]\\[.*"
  39.    ],
  40.    "ecs_compatibility" : "disabled"
  41.    }
  42.    },
  43.    {
  44.    "date" : {
  45.    "field" : "timestamp",
  46.    "timezone" : "{{ event.timezone }}",
  47.    "formats" : [
  48.    "ISO8601"
  49.    ]
  50.    }
  51.    },
  52.    {
  53.    "remove" : {
  54.    "field" : "timestamp"
  55.    }
  56.    }
  57.    ]
  58.   },
  59.   "field_stats" : {
  60.    "loglevel" : {
  61.    "count" : 22,
  62.    "cardinality" : 1,
  63.    "top_hits" : [
  64.    {
  65.    "value" : "INFO",
  66.    "count" : 22
  67.    }
  68.    ]
  69.    },
  70.    "message" : {
  71.    "count" : 22,
  72.    "cardinality" : 22,
  73.    "top_hits" : [
  74.    {
  75.    "value" : "[2024-03-05T10:52:36,256][INFO ][o.a.l.u.VectorUtilPanamaProvider] [laptop] Java vector incubator API enabled; uses preferredBitSize=128",
  76.    "count" : 1
  77.    },
  78.    {
  79.    "value" : "[2024-03-05T10:52:41,038][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-url]",
  80.    "count" : 1
  81.    },
  82.    {
  83.    "value" : "[2024-03-05T10:52:41,042][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [rest-root]",
  84.    "count" : 1
  85.    },
  86.    {
  87.    "value" : "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [ingest-user-agent]",
  88.    "count" : 1
  89.    },
  90.    {
  91.    "value" : "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-core]",
  92.    "count" : 1
  93.    },
  94.    {
  95.    "value" : "[2024-03-05T10:52:41,043][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-redact]",
  96.    "count" : 1
  97.    },
  98.    {
  99.    "value" : "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [lang-painless]]",
  100.    "count" : 1
  101.    },
  102.    {
  103.    "value" : "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [repository-s3]",
  104.    "count" : 1
  105.    },
  106.    {
  107.    "value" : "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-analytics]",
  108.    "count" : 1
  109.    },
  110.    {
  111.    "value" : "[2024-03-05T10:52:41,044][INFO ][o.e.p.PluginsService     ] [laptop] loaded module [x-pack-autoscaling]",
  112.    "count" : 1
  113.    }
  114.    ]
  115.    },
  116.    "timestamp" : {
  117.    "count" : 22,
  118.    "cardinality" : 14,
  119.    "earliest" : "2024-03-05T10:52:36,256",
  120.    "latest" : "2024-03-05T10:52:49,199",
  121.    "top_hits" : [
  122.    {
  123.    "value" : "2024-03-05T10:52:41,044",
  124.    "count" : 6
  125.    },
  126.    {
  127.    "value" : "2024-03-05T10:52:41,043",
  128.    "count" : 3
  129.    },
  130.    {
  131.    "value" : "2024-03-05T10:52:41,059",
  132.    "count" : 2
  133.    },
  134.    {
  135.    "value" : "2024-03-05T10:52:36,256",
  136.    "count" : 1
  137.    },
  138.    {
  139.    "value" : "2024-03-05T10:52:41,038",
  140.    "count" : 1
  141.    },
  142.    {
  143.    "value" : "2024-03-05T10:52:41,042",
  144.    "count" : 1
  145.    },
  146.    {
  147.    "value" : "2024-03-05T10:52:43,291",
  148.    "count" : 1
  149.    },
  150.    {
  151.    "value" : "2024-03-05T10:52:46,098",
  152.    "count" : 1
  153.    },
  154.    {
  155.    "value" : "2024-03-05T10:52:47,227",
  156.    "count" : 1
  157.    },
  158.    {
  159.    "value" : "2024-03-05T10:52:47,259",
  160.    "count" : 1
  161.    }
  162.    ]
  163.    }
  164.   }
  165. }

応答形式の詳細な説明や、区切られたテキスト（CSV など）や改行区切りの JSON の取り込みに関する追加の例については、find text structure endpoint の例 を参照してください。