AWS CloudWatch Logs insights query

개요AWS CloudWatch Logs insights query를 잘 사용하면 AWS CloudWatch Logs를 잘 사용할 수 있다. 쿼리1 >> 10초 이상 RDS slow queryfields @timestamp, @message| filter @message like /Query_time:/| parse @message /Query_time: (?\d+\.\d+)/| filter queryTime > 10| sort @timestamp desc| limit 20 비고적절히 만들어진 Query는 Saved queries를 통해 저장 해 놓으면 한번에 불러와서 사용 가능하다.

개요AWS Web Console에서 account를 1개 이상 사용할 경우 브라우저를 다르게 하거나 시크릿 모드를 통해서 해야하는 불편함이 있었는데, 최근에 다중 로그인이 기능이 출시되면서 상당히 편해지고 좋아졌습니다. (2025년 1월 16일) 방법AWS Console을 로그인 한 후 우 상단의 Account의 드롭박스에서 "Turn on multi-session support"를 활성화한 후 Session 추가를 통해 1개 이상의 Account가 다중으로 로그인된 후 Switching을 통해 관리가 가능하다. 참고https://aws.amazon.com/ko/about-aws/whats-new/2025/01/aws-management-console-simultaneous-sign-in-multiple..

개요k8s context로 접속하기 위해 telepresence를 통해 접근하는 방법과 client vpn 없이 AWS VPC에 접근하는 방법 설치 (OSS)https://www.telepresence.io/docs/install/client 사용방법## telepresence 기존 세션 제거# telepresence quit## telepresence 접속# telepresence connect ## 현재 k8s context에 해당하는 VPC internal routing 추가 # sudo route add $(aws ec2 describe-vpcs --region $(kubectl config current-context | awk -F':' '{print $4}') --vpc-ids $(aws e..

개요ArgoCD Application에서 AutoSync 기능을 enable 하면 기본값으로 180초 주기로 확인해서 Sync를 한다. 그 값을 확인하는 방법과 변경하는 방법에 대한 정리 확인 방법kubectl get configmap argocd-cm -n argocd -o jsonpath='{.data.timeout\.reconciliation}{"\n"}' 변경 방법kubectl patch configmap argocd-cm -n argocd --type merge -p '{"data":{"timeout.reconciliation":"60s"}}' 바로 적용하는 방법Application >> Refresh 버튼을 누르면 바로 Sync가 동작한다. 참고https://github.com/argoproj..

개요Fluent Bit Output Cloudwatch Loggroup을 Output으로 사용할 때 kubernetes metadata를 통해 namespace와 pod, container name 사용 하는 방법  설정[OUTPUT] Name cloudwatch_logs Match * region us-east-1 log_group_name fallback-group log_stream_prefix fallback-stream auto_create_group On log_group_template application-logs-$kubernetes['host'].$kubernetes['namespace_name'] log_stream_template $ku..

개요general bucket에 이어서 directory, table bucket이 출시  비교특성범용 버킷디렉터리 버킷테이블 버킷데이터 구조1차원계층테이블스토리지 클래스거의 지원S3 Express One ZoneApache Iceburg사례일반 데이터낮은 지연 시간분석 워크로드제한 사항성능 요구 사항100개 졔한, 비활성화AWS 분석 워크로드와 프리뷰 참고범용버킷https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingBucket.html#general-purpose-buckets-overview테이블버킷https://docs.aws.amazon.com/AmazonS3/latest/userguide/directory-buckets-overview.html..

개요EKS나 Docker를 시작할 때 위와 같은 에러가 날 경우 원인docker hub에서 rate limit이 걸리는 현상 해결아래와 같이 Docker hub가 아닌 AWS Public ECR에서 Pull을 하면 해소가 됩니다.amazon/aws-cli >> public.ecr.aws/aws-cli/aws-cli:latest

개요k8s(eks) deployment 상태 확인 스크립트- 세부기능k8s(eks) context list, switchnamespace listawslogs group list결과를 파일로 저장 스크립트#!/usr/bin/env bash# 사용법 함수usage() { echo "에러: 입력값이 잘못 됐습니다." echo "사용법: $0 [로그스트림이름]" echo "로그스트림이름은 선택사항입니다." exit 1}# 로그 그룹 선택 함수select_log_group() { echo "사용 가능한 로그 그룹 목록:" groups=($(awslogs groups)) if [ ${#groups[@]} -eq 0 ]; then echo "사용 가능한 로그..

개요awslogs를 이용해서 cloudwatch logs를 시간대 별로 쿼리하는 방법# 실행 권한 부여 chmod +x log_viewer.sh # bash에서 실행 bash log_viewer.sh "/aws/rds/cluster/my-cluster/slowquery" "2024-03-20 14:30" # zsh에서 실행 zsh log_viewer.sh "/aws/rds/cluster/my-cluster/slowquery" "2024-03-20 14:30" 스크립트#!/usr/bin/env bash# 사용법 함수usage() { echo "에러: 입력값이 잘못 됐습니다." echo "사용법: $0 [로그스트림이름]" echo "로그스트림이름은 선택사항입니다." exit 1}# 로그..

개요RDS status가 "Storage-optimization" 상태로 유지되고 있다면 특별한 액션이 필요하지 않다. 수시간에서 최대 24시간 까지 걸릴 수 있으며, 자동으로 해소되므로 신경을 따로 쓰지 않아도 된다. 참고https://repost.aws/knowledge-center/rds-stuck-in-storage-optimization