S3にアーカイブしたDatadogのログを復元する

こんにちは、Sreake事業部の横尾です。

前回は、Datadogのログアーカイブのお話、前々回はログステータスのマッピングに関するお話、前々々回はログの料金体系に関する記事と、Datadogのログについてのお話を立て続けに投稿させていただきましたが、なんと今回もログにまつわるお話を紹介させていただきます！

ログアーカイブについて

ログアーカイブの復元の前にまず、ログアーカイブについてとなりますが、こちらは前回記事にて、ログアーカイブの概要、S3を用いた実装方法、費用感などをまとめておりますので、是非先にそちらをご参照ください。

念の為、ログアーカイブの要点としては、以下の文言となります。

DatadogではログをAWS S3等のクラウドストレージシステムへ、アーカイブとして保管することが可能となっています。

ログアーカイブの復元について

さて、それではログアーカイブの復元についてのお話させていただきます。

前回の記事では、ログアーカイブは長期的な保存のための利用として記載させていただきました。

しかしアーカイブしたままの状態では、保存期間を超えたログを参照する際、S3から複数ファイルをダウンロードし日時でgrep検索をかけたり、メトリクスと同時にログを参照するといったDatadogの便利機能が損なわれることとなります。

そのため、アーカイブされたログをDatadogで見たいケースが多々発生してしまうこととなります。

そこで、Datadogにはアーカイブしたログを、再度Datadogのログとして取り込むことができる復元（公式ではリハイドレート）機能が用意されています。

S3にアーカイブしたDatadogのログを復元する

それでは、こちらの公式ドキュメントを元に、S3にアーカイブしたログを復元してみようと思います。

Datadogのリハイドレート設定をしていきます。

リハイドレート設定より、期間と復元するアーカイブを選択します。

設定が完了すると、非同期で復元処理のタスクが作成、実行され、検証時では以下の通り完了まで3分未満と表示されました。

※こちらの実行時間は実際のオブジェクト数やサイズによって変動するものと思われます。

今回は、以下の通りテスト用のログのみであるため、3分間と少ない時間での復元となりました。

そして、およそ3分後、ステータスがACTIVEとなり、ログを確認することができました。

また、こちらの画面からでもログを参照することができ、View in Log Explorerより表示することが可能です。

復元したログの費用について

最後に、こちらの記事で復元したログには以下の通りDatadogログの取り込み及び、保持のコストが必要となります。

リハイドレートはどのように請求されますか？
ログの リハイドレート を行うと、Datadog は、要求された期間のアーカイブ内の圧縮ログをスキャンし、リハイドレート クエリに一致するログ イベントのみをインデックス化します。
Datadog は、スキャンされたログ データの圧縮 GB あたり 0.10 ドルを請求します。
リハイドレートからインデックス化されたログ イベントについては、リハイドレートのために選択された保存期間の契約インデックス化率に等しいコストがかかります。

リハイドレートの設定からスキャン上限の設定があるため、実運用で実行する際には想定外の費用が請求されないよう、十分に注意してください。

また、復元したログは、ハイドレーションのタスクのDeleteにより手動で削除が可能です。

大容量のログをスキャンした場合、調査等の作業が完了した後には、削除を徹底することをおすすめします。

さいごに

ここまでお読みいただきありがとうございました。

インシデント対応時には、ログの取得まで時間がかかってしまい、S3のデータを捜査したほうさ早いかもしれませんが、特に急いでいない場合にはこちらで紹介したアーカイブの復元は、非常に便利になるかと思います。

ただ、記事でも紹介いたしましたが、想定外のコストがかかってしまう可能性がありますので、十分に気をつけて運用を行うようにしてください。