血と汗となみだを流す

クラウドエンジニアになるための修業の場

Developers.ioの記事を読んでやってみる「AWS CloudTrailのログをAmazon Elasticsearch Serviceへ転送して可視化してみた」

対象

やってみる

前提

  • パラメータ変更しない画面のSSは撮っていないです

VPC作成

  • Elasticsearchと、Elasticsearchにアクセスするためのbastionを作る
  • 細切れの時間で作るためにterraformで土台は作って再現可能にしておく
  • VPC関連のリソース
    • VPC
    • Subnet(public/private)
    • Internet Gateway
    • Route Table(main)

Security Group作成

  • これもterraformで作っておく
    • Lambda
    • Elasticsearch
    • bastion(EC2)

CloudTrailとS3作成

Elasticsearch作成

  • terraformで作れそうだったけど、時間短縮のためAWSコンソールで作ってimport!
  • terraform importの書式
$ terraform import aws_elasticsearch_domain.[resource id] [domain name]
  • 上記tfファイルだと
$ terraform import aws_elasticsearch_domain.cloudtrail cloudtrail
  • terraform importした後にterraform planして、足りない定義を書いていく(楽)

CloudWatch LogsからElasticsearchへログを転送

  • AWSコンソールから設定 f:id:Anorlondo448:20180405062936p:plain f:id:Anorlondo448:20180405065425p:plain f:id:Anorlondo448:20180405065443p:plain f:id:Anorlondo448:20180405065504p:plain f:id:Anorlondo448:20180405065518p:plain f:id:Anorlondo448:20180405065534p:plain

Lambda修正

  • AWSコンソールから設定 f:id:Anorlondo448:20180405065608p:plain f:id:Anorlondo448:20180405065622p:plain

Kibana設定

  • kibanaはPrivate SubnetにあるのでVPN経由で接続しないと見れない

VPN

Kibanaでログを見る

  • 接続! f:id:Anorlondo448:20180408235720p:plain
  • Index Pattern設定 f:id:Anorlondo448:20180409000447p:plain f:id:Anorlondo448:20180409000538p:plain
  • ログの確認。いろいろみえてるな・・・シークレットキーとかも。 f:id:Anorlondo448:20180409000806p:plain

ログの可視化

感想

  • 一つ一つに発見があって、もっと掘り下げないと完全に理解したとは言えないなと思いました・・