Tổng quan về Logging và Monitoring trên AWS

Bài viết giới thiệu các services dành cho logging & monitoring trên AWS, giúp tối ưu performance và chi phí vận hành, đồng thời xác định sớm các lỗi xảy ra trong quá trình hoạt động của ứng dụng.

Cloudwatch

• Metrics:
  • AWS có sẵn rất nhiều metrics ứng với mỗi service
  • Có thể theo dõi CPU, RAM, network, ….
  • Mỗi metrics bao gồm các dimensions (instanceId, env, …..)
  • Có thể tạo custom metrics
  • Có thể tạo Cloudwatch dashboard từ các metrics
• Logs:
  • Mỗi ứng dụng sẽ lưu log vào một log group
  • Log có thể được gửi đến: S3 (AWS Athena), Kinesis Data Stream/Firehose, Lamdas, ….
  • Có thể encrypt log
  • Sử dụng Cloudwatch Logs Insights để phân tích logs
  • Để gửi log từ EC2, sử dụng Cloudwatch Logs Agent hoặc Unified Agent
• Alarm:
  • Trigger thông báo khi một metrics nào đó vượt ngưỡng
  • Alarm có thể send message/trigger EC2s, ASG, SNS
  • Composite alarms: theo dõi một list các metrics theo điều kiện AND/OR
• Synthetics Canary
  • Cho phép theo dõi các thông số của một ứng dụng (APIs, URLs, Website) bằng các đoạn script
  • Có thể chạy theo schedule

EventBridge

• Rất mạnh, có thể sử dụng như một filter trung gian cho các event giữa các ứng dụng
• Có thể chạy theo schedule (cronjobs)

• Resource based Policy: tương tự như các service khác, cho phép quản lý các events từ các service, regions hoặc AWS account khác

X-Ray

• Một công cụ cho phép theo dõi một ứng dụng: hỗ trợ debug, tạo các logs, ……
• Hiển thị các thông số một các trực quan

• Để enable X-ray
  • Sử dụng X-ray SDK
  • Cài đặt X-Ray daemon và bật X-Ray AWS Integration
• Cần check kĩ IAM Role và chạy X-Ray Daemon (đối với EC2) hoặc Lambda X-Ray Active tracing (đối với Lambdas)

CloudTrail

• Mặc định là sẽ enable
• Lưu lại các thay đổi, API calls trong account AWS từ SDK, Console, CLI, các services
• Có thể push logs về S3 để lưu trữ lâu dài

• CloudTrail Insight: phát hiện các hành động bất thường (không thường xuyên xảy ra theo baseline của CloudTrail)

References

• https://docs.aws.amazon.com/prescriptive-guidance/latest/logging-monitoring-for-application-owners/aws-services-logging-monitoring.html

Extra reading

• Monitoring với Grafana: https://ant.ncc.asia/grafana-monitoring-1-base/