システム負荷試験結果
警告
本ドキュメントは2024年11月に実施された負荷試験の記録であり、性能を保証するという内容ではありません。
1. xIDアプリ向け メッセージエンドポイント性能
xIDアプリにおけるデジタル郵便受けの表示に関するユースケースを想定し、負荷試験を実施、結果を記載します。 通知を送った際にはプッシュ通知が時間で分散されて通知されるなど、原則、急激なスパイクを避ける設計がされていますが、大量のアクセスが短期間で発生するケースを想定しています。
1.1 負荷試験条件
備考
完全にユースケースを再現するのは難しい部分もあり、実際のユースケースとは異なる条件もあります。ご了承ください。
- 負荷試験環境
- 本番環境のスペックと同等に設定
- 並列数は本番環境の平常時の並列数と同等に設定
- オートスケーリングは無効化
- 負荷元となるIPアドレスは1つのみからリクエストを実行
- 負荷をかける時間は300秒で固定で試験を実施
- 負荷をかける間隔は1秒で固定で試験を実施
- 1つのリクエストにおいて、ListMessage（メッセージ一覧の表示）、および、GetMessage（メッセージ詳細の表示）のgRPCリクエストをそれぞれ1回ずつ実行
- 負荷の強度については、負荷1回あたりのリクエスト数の増加により変動
- 負荷試験用のユーザー群は同一のプロジェクトにて、1通のメッセージを受信した状態で負荷試験を実施
1.2 負荷試験結果
実施した負荷試験結果はつぎのとおりです。
平均値、中央値、最大値、90パーセンタイル、95パーセンタイルについては、応答時間についての指標です。
| リクエスト数 | gRPCリクエスト総数 | gRPCリクエスト数（成功） | gRPCリクエスト数（エラー） | 平均値 | 最小値 | 中央値 | 最大値 | 90パーセンタイル | 95パーセンタイル |
|---|---|---|---|---|---|---|---|---|---|
| 5req/s | 3002 | 3002 | 0 | 171.73ms | 99.29ms | 168.17ms | 489.87ms | 229.21ms | 241.17ms |
| 10req/s | 6000 | 6000 | 0 | 158.37ms | 98.89ms | 148.93ms | 441.36ms | 214.62ms | 230.57ms |
| 15req/s | 9002 | 9002 | 0 | 168.66ms | 98.45ms | 150.15ms | 1.03s | 244.94ms | 288.03ms |
| 20req/s | 12002 | 12002 | 0 | 269.84ms | 98.23ms | 191.92ms | 3.16s | 504.24ms | 691.62ms |
| 25req/s | 15000 | 15000 | 0 | 692.88ms | 97.2ms | 484.12ms | 5.61s | 1.5s | 1.92s |
| 30req/s | 18002 | 18002 | 0 | 2.35s | 91.29ms | 1.98s | 10.62s | 4.8s | 5.78s |
| 35req/s | 21000 | 17971 | 3029 | 14.03s | 101.13ms | 13.23s | 30.07s | 30s | 30.01s |
2. Message API向け メッセージエンドポイント性能
Message APIに関するユースケースを想定し、負荷試験を実施、結果を記載します。 原則、急激なスパイクを避ける設計を推奨していますが、この試験においては大量のアクセスが短期間で発生するケースを想定しています。
2.1 負荷試験条件
備考
完全にユースケースを再現するのは難しい部分もあり、実際のユースケースとは異なる条件もあります。ご了承ください。
- 負荷試験環境
- 本番環境のスペックと同等に設定
- 並列数は本番環境の平常時の並列数と同等に設定
- オートスケーリングは無 効化
- 負荷元となるIPアドレスは1つのみからリクエストを実行
- 負荷をかける時間は300秒で固定で試験を実施
- 負荷をかける間隔は1秒で固定で試験を実施
- 1つのリクエストにおいて、ListMessage（メッセージ一覧の表示）、および、GetMessage（メッセージ詳細の表示）のAPIリクエストをそれぞれ1回ずつ実行
- 負荷の強度については、負荷1回あたりのリクエスト数の増加により変動
- 負荷試験用のユーザー群は同一のプロジェクトにて、1通のメッセージを受信した状態で負荷試験を実施
2.2 負荷試験結果
実施した負荷試験結果はつぎのとおりです。
平均値、中央値、最大値、90パーセンタイル、95パーセンタイルについては、応答時間についての指標です。
| リクエスト数 | APIリクエスト総数 | APIリクエスト数（成功） | APIリクエスト数（エラー） | 平均値 | 最小値 | 中央値 | 最大値 | 90パーセンタイル | 95パーセンタイル |
|---|---|---|---|---|---|---|---|---|---|
| 5req/s | 3002 | 3002 | 0 | 266.69ms | 169.1ms | 268.46ms | 1.95s | 329.06ms | 346.5ms |
| 10req/s | 6000 | 6000 | 0 | 252.19ms | 154.13ms | 247.85ms | 719.36ms | 315.76ms | 331.45ms |
| 15req/s | 9002 | 9002 | 0 | 261.26ms | 155.56ms | 253.53ms | 968.15ms | 334.12ms | 362.91ms |
| 20req/s | 12002 | 12002 | 0 | 285.93ms | 155.59ms | 265.44ms | 1.74s | 388ms | 456.87ms |
| 25req/s | 15000 | 15000 | 0 | 413.99ms | 156.49ms | 288.43ms | 7.98s | 700.05ms | 994.85ms |
| 30req/s | 18002 | 18002 | 0 | 667.23ms | 157.92ms | 412.28ms | 4.04s | 1.52s | 1.94s |
| 35req/s | 21000 | 21000 | 0 | 1.86s | 174.46ms | 1.53s | 7.41s | 3.74s | 4.69s |
| 40req/s | 24000 | 23685 | 315 | 11.8s | 171.36ms | 8.98s | 30.02s | 26.1s | 27.52s |