ENGINEER BLOG ENGINEER BLOG
  • 公開日
  • 最終更新日

AWS FISで疑似障害を起こしてみた

この記事を共有する

目次

パーソル&サーバーワークスの高橋です。

本記事では、AWS Fault Injection Service(以下、AWS FIS)を使ってEC2にCPU負荷をかけ、CloudWatchアラームが発火してAuto Scalingが狙いどおりにスケールアウトするかを確認していきます。

なお、本記事では構成図やソースコードは掲載せず、FISの設定手順と検証結果を中心にご紹介します。

はじめに

AWS FISは、AWS上のワークロードに意図的に障害を発生させ、システムの回復力(レジリエンス)を検証するためのマネージドサービスです。いわゆる「カオスエンジニアリング」を、AWSのマネジメントコンソールから手軽に実践できます。

主な特徴は次のとおりです。

  • 豊富なアクション:EC2の停止やCPU負荷、ネットワーク遅延、RDSのフェイルオーバーなど
  • 柔軟なターゲット指定:対象のリソースをタグなどで指定できる
  • 停止条件:CloudWatchアラームを設定でき、想定外の影響が出たら実験を自動で止められる
  • 料金:アクションの実行時間に応じた従量課金

前提

以下の環境は構築済みとします。リージョンは東京(ap-northeast-1)です。

■ EC2・Auto Scaling

  • Auto Scalingグループ:最小2台・希望2台・最大3台
  • EC2:t3.micro、Amazon Linux 2023
  • IAMロール:AmazonSSMManagedInstanceCore(Systems Managerで管理できる状態)
  • タグ:FIS-Target = true(FISの対象を絞り込むために使用)

■ CloudWatchアラーム(Auto Scalingグループ全体の平均で判定)

  • cpu-high:平均CPUが70%を超えた状態が2分続いたら、1台スケールアウト
  • cpu-low:平均CPUが30%を下回った状態が5分続いたら、1台スケールイン
  • fis-stop-condition:稼働中(InService)のEC2が2台を下回ったらALARM(FISの停止条件として使用)

なお、スケールアウトとスケールインは、上記のcpu-high/cpu-lowアラームに紐づけたステップスケーリングポリシー(1台ずつ増減)で行っています。

【安全装置】 3つ目のfis-stop-conditionは、実験の安全装置として用意したアラームです。今回はCPU負荷をかけるだけなので、本来EC2の台数は減りません。そのため「稼働中のEC2が2台(=最小台数)を下回る」のは想定外の異常事態といえます。このアラームをFISの停止条件に指定しておくことで、万一そうなった場合に実験が自動で止まるようにしています。正常に進めば発火しないアラームです。

想定する動きは「通常2台 → CPU負荷で3台にスケールアウト → 負荷終了後に2台へ戻る」です。

FISの作成

1. テンプレートの詳細を指定

左メニューの「回復力のテスト」>「実験テンプレート」から「実験テンプレートを作成」を押下し、以下を設定します。

  • 説明:任意(例:ASGのEC2にCPU負荷をかけ、スケールアウトを確認する)
  • 名前:任意(例:fis-demo-cpu-stress)
  • アカウントターゲティング:このAWSアカウント
実験テンプレート作成画面のステップ1。説明と名前を入力し、アカウントターゲティングで「このAWSアカウント」を選択している

2. アクションを追加

「アクションを追加」から、以下のように設定します。

  • アクションタイプ:aws:ssm:send-command/AWSFIS-Run-CPU-Stress
  • 名前:cpu-stress
  • 次のあと開始:空欄(実験の開始と同時に実行)
  • ターゲット:Instances-Target-1(自動で作成されます)
  • Document parameters:以下のJSONを入力
  • Duration:10分(Document parametersのDurationSecondsと同じか、それより長くする)

アクションタイプの「AWSFIS-Run-CPU-Stress」は、SSM Run Commandを使ってEC2の中でCPU負荷ツールを実行するアクションです。

■ Document parametersに入力する値

{"DurationSeconds":"600","CPU":"0","InstallDependencies":"True"}

  • DurationSeconds:負荷をかける秒数(600秒=10分)
  • CPU:負荷をかけるvCPUの数(0はすべてのvCPU)
  • InstallDependencies:負荷ツール(stress-ng)が入っていなければ自動でインストールする

負荷時間を10分にしているのは、アラームの評価(2分)、EC2の起動、ウォームアップを含めて、スケールアウトの完了まで確認できるようにするためです。

アクションを追加する画面。アクションタイプにAWSFIS-Run-CPU-Stressを選び、Document parametersとDurationを入力している

3. ターゲットを編集

アクションを保存すると、ターゲット「Instances-Target-1」が自動で作成されます。ターゲットの右上にある「三つの点」から「編集」を選択します。

アクションとターゲットを指定する画面。アクションcpu-stressとターゲットInstances-Target-1が線で紐付いている

ターゲットは以下のように設定します。

  • リソースタイプ:aws:ec2:instance
  • ターゲットメソッド:リソースタグ、フィルター、パラメータ
  • リソースタグ:キー「FIS-Target」、値「true」
  • リソースフィルター(属性パス):State.Name
  • リソースフィルター(値):running(起動中のインスタンスのみを対象にする)
  • 選択モード:ALL(条件に一致するインスタンスすべてを対象にする)
ターゲットを編集する画面。リソースタグにFIS-Target=true、リソースフィルターにState.Name=runningを指定し、選択モードをALLにしている

4. サービスアクセスの設定

  • サービスアクセス:実験テンプレート用の新しいロールを作成
  • サービスロール名:自動で入力された名前のまま

選択したアクションに必要な権限を持つIAMロールが、自動で作成されます。

サービスアクセスの設定画面。「新しいロールを作成する」を選択している

5. オプション設定

オプションは以下のように設定します。

  • 停止条件:fis-demo-fis-stop-condition
  • レポート設定:今回は設定なし
  • ログ:今回は設定なし
  • タグ:Name = fis-demo-cpu-stress

【ポイント】 停止条件には、稼働中の台数が2台を下回ったらALARMになるアラームを指定しています。万一、実験の影響でEC2が減ってしまった場合でも、実験が自動で止まる安全装置になります。

レポート設定では実験結果をPDFレポートとしてS3に出力でき、ログではS3やCloudWatch Logsに実験ログを出力できます。今回はどちらも使いません。

オプション設定の画面。停止条件にCloudWatchアラームfis-demo-fis-stop-conditionを指定している

6. 確認して作成

設定内容を確認し、問題がなければ「実験テンプレートを作成」を押下します。

実験の実行

① 実験を開始する

作成した実験テンプレートの画面右上から「実験を開始」を押下します。

作成した実験テンプレートの詳細画面。右上に「実験を開始」ボタンがある

② 確認ダイアログに入力する

確認ダイアログが表示されるので、入力欄に「開始」と入力し、「実験を開始」を押下します。

実験を開始する確認ダイアログ。入力欄に「開始」と入力している

③ 実験の状態を確認する

「実験を正常に開始しました」と表示されます。実験の状態は「Initializing」から始まり、少し待つと「Running」に変わります。

実験の詳細画面。実験を正常に開始したことを示すメッセージが表示され、状態がInitializingになっている

結果

EC2の台数

■ 実験前:2台

Auto Scalingグループの希望台数どおり、EC2が2台(ap-northeast-1aと1cに1台ずつ)起動しています。

実験前のEC2インスタンス一覧。fis-demo-ec2が2台、実行中になっている

■ 実験中:3台に増加

CPU負荷によってアラームが発火し、EC2が1台(ap-northeast-1a)追加されました。最大台数の3台でスケールアウトが止まっています。

実験中のEC2インスタンス一覧。fis-demo-ec2が3台、実行中になっている

CloudWatchの確認

CloudWatchダッシュボードでも、挙動を確認しました。

  • CPU使用率:実験開始(16:54ごろ)の直後から上昇し、約2分で100%に達した
  • cpu-high:しきい値(70%)を超えた状態が続き、ALARM状態になった
  • fis-stop-condition:OKのままで、実験は停止されずに継続した
CloudWatchダッシュボード。平均CPU使用率が16時54分から上昇して100%に達し、アラームfis-demo-cpu-highがALARM状態になっている

【結論】 「CPU負荷 → CloudWatchアラームの発火 → Auto Scalingによるスケールアウト」という一連の流れが、狙いどおりに動作することを確認できました。

まとめ

今回は、AWS FISを使ってEC2にCPU負荷をかけ、CloudWatchアラームとAuto Scalingが想定どおりに動作するかを確認しました。

FISを使うと、負荷ツールを自分でインストールしたりスクリプトを書いたりしなくても、マネジメントコンソールの操作だけで疑似障害を発生させられます。また、CloudWatchアラームを停止条件に設定しておけば、想定外の影響が出たときに実験を自動で止められるため、安全に検証を進められます。

「アラームのしきい値は適切か」「スケールアウトは期待どおりの台数で止まるか」といった設定は、実際に負荷をかけてみないと確認しづらいポイントです。本番環境に適用する前の確認手段として、ぜひFISを活用してみてください。

最後までお読みいただき、ありがとうございました。

参考

この記事は私が書きました

高橋 憲太

記事一覧

パーソル&サーバーワークスの高橋です。 猫も犬も好きです。

高橋 憲太

この記事を共有する

クラウドのご相談

CONTACT

クラウド導入や運用でお悩みの方は、お気軽にご相談ください。
専門家がサポートします。

サービス資料ダウンロード

DOWNLOAD

ビジネスをクラウドで加速させる準備はできていますか?
今すぐサービス資料をダウンロードして、詳細をご確認ください。