Fault Injection SimulatorのEKS Pod ActionsをEKS on Fargateで利用できるようにした話

Akihiro Wakamatsu

Published in

スタディスト Tech Blog

9 min readJul 4, 2023

SRE Unitの若松です。今回はFault Injection SimulatorのEKS Pod ActionsをEKS on Fargateで利用できるようにした話を紹介します。

Fault Injection Simulatorとは

Fault Injection Simulatorとは、AWSが提供するカオスエンジニアリングの機能です。EC2、ECS、EKS、RDSなどに意図的に障害を発生させることができます。

EKS Pod Actionsとは

EKS クラスターで実行されている Podに障害を挿入できるアクションです。2023年7月現在、Fargateでは下記のアクションを利用することができます。

・aws:eks:pod-cpu-stress：ターゲットのPodにCPUの負荷をかけます。

・aws:eks:pod-delete：ターゲットのPodを削除します。

・aws:eks:pod-io-stress：ターゲットのPodにI/Oストレスをかけます。

・aws:eks:pod-memory-stress：ターゲットのPodにメモリの負荷をかけます。

前提条件

EKS Pod ActionsをEKS on Fargateで利用できるようにするには、ターゲットのPodが所属するnamespaceのFargate プロファイルで次のいずれかの条件を満たす必要があります。

・Fargate プロファイルのポッドセレクタでnamespaceだけを指定して、ラベルを条件に指定しない。

・Fargate プロファイルのポッドセレクタでnamespaceとラベルを条件に指定している場合には、ラベル条件にexperimentId = *を入れる。

EKS Pod Actionsを実行すると、fispodという名称のPodがターゲットのPodが所属するnamespaceで起動します。2023年7月現在、fispodには、任意のラベルを付与することはできません。

そのため、Fargateプロファイルのポッドセレクタでnamespaceだけを指定して、ラベルを条件に指定しないようにする必要があります。

もしくは、fispodには必ずexperimentIdというラベルが付与されるため、ポッドセレクタのラベルの条件でexperimentIdをキーに指定し、*を値に指定する必要があります。

Fargateプロファイルのポッドセレクタを更新することはできないため、ポッドセレクタの設定を変更する場合には、Fargate プロファイルの再作成が必要になります。

必要な権限設定

上記の前提条件を満たした後、まずは、Fault Injection Simulatorで使用するIAMロールを作成します。

信頼関係

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "fis.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

ロールに付与するIAMポリシー

{
    "Statement": [
        {
            "Action": [
                "logs:PutResourcePolicy",
                "logs:DescribeResourcePolicies",
                "logs:DescribeLogGroups",
                "logs:CreateLogDelivery",
                "eks:DescribeCluster",
                "ec2:DescribeSubnets"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ],
    "Version": "2012-10-17"
}

続いてRole、RoleBinding、ServiceAccountをターゲットのPodが所属するnamespaceに作成します。

---
# Fault Injection Simulatorのサービスアカウント
apiVersion: v1
kind: ServiceAccount
metadata:
  name: fis-sa
---
# Fault Injection Simulatorに必要な権限
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: fis-role
rules:
- apiGroups: [""]
  resources: ["configmaps"]
  verbs: [ "get", "create", "patch", "delete"]
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["create", "list", "get", "delete", "deletecollection"]
- apiGroups: [""]
  resources: ["pods/ephemeralcontainers"]
  verbs: ["update"]
- apiGroups: [""]
  resources: ["pods/exec"]
  verbs: ["create"]
---
# Fault Injection SimulatorのサービスアカウントとユーザーをRoleにバインドする
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: bind-role-experiments
subjects:
- kind: ServiceAccount
  name: fis-sa
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: fis-user
roleRef:
  kind: Role
  name: fis-role
  apiGroup: rbac.authorization.k8s.io

次に、aws-authのConfigMapでIAMロールとUserの紐付けを行います。

apiVersion: v1
kind: ConfigMap
metadata:
  name: aws-auth
  namespace: kube-system
data:
  mapRoles: |
    - rolearn: arn:aws:iam::XXXXXXXXXXXX:role/fargate-profile-role
      username: system:node:{{SessionName}}
      groups:
      - system:bootstrappers
      - system:nodes
      - system:node-proxier
    - rolearn: 作成したIAMロールのARN #この部分を追加
      username: fis-user #この部分を追加