平素はタスク管理ツール「Jooto」をご利用いただきまして、誠にありがとうございます。この度、2018年6月18日に「Jooto」サービス刷新を試みましたが、それに伴いシステムに不調をきたし、18日はサービスをご利用いただけない事態を引き起こしてしまいました。ユーザーの皆様ならびに関係各所の方々へ多大なるご迷惑とご心配をお掛けいたしましたことを深くお詫び申し上げます。つきましては、下記の通り経緯と対策ならびに補填について御報告申し上げます。
１．内容
弊社が運営するタスク管理ツール「Jooto」のリニューアル作業において、下記のおよそ20時間弱の間「Jooto」にアクセス出来ない事態が発生しました。
（発生日時）2018年6月18日（月）6:00〜 6月19日（火）1:40頃
リニューアルの移行作業を、ユーザーアクセスが最も少ない日曜日深夜を選択し、2018年6月17日（日）22:00〜18日（月）6:00の間に試みました。想定通りにすべてのデザインと機能のリニューアルを完了するも、動作が非常に遅い現象が発生し、18日（月）8:00頃には完全にアクセス出来ない状態に陥り、翌日の19日（火）1:40頃にリニューアル以前の状態へロールバックするまで同現象を継続させてしまいました。
２．経緯
≫2018年6月17日（日）
22:00頃:「Jooto」リニューアルの作業開始のためメンテナンスモードへ切替
≫2018年6月18日（月）
6:00:「Jooto」リニューアルの作業が終了しサービス公開を開始
7:00:徐々にアクセス遅延が発生し始める
8:00:アクセスが出来ない状態が発生
9:00:ネットワークトラフィックの高負荷アクセスを確認し調査を行う
10:00:プログラムの一部から上記リクエストの発生源を特定
11:00:さらなる調査の為メンテナンスモードへ切替
11:30:プログラムの修正対応実施
14:00:上記プログラムテストを開始
16:00:テストサーバーにて正常動作を確認
17:00:本番環境へ移行作業完了
17:30:再びアクセスが出来ない状態が発生
18:00:再度メンテナンスモードへ切替
18:10:サーバーのステータスからキャッシュサーバーの高負荷を確認
22:30:上記調査を継続するも、未だ負荷要因を特定できない状態
23:00:このまま不安定な状態を継続することは難しいと判断。リニューアル前のバージョンへ戻す作業を開始
≫2018年6月19日（火）
1:40:リニューアル前のバージョンのリリース完了。サービスをご利用いただける状態に復旧。
３．本件の原因と対策
テスト環境におけるリニューアルされた「Jooto」は問題なく稼働していましたが、本番環境に公開したことで、本事象が発生しました。現在も原因特定を続けていますが、現時点では、本番環境におけるアプリケーションサーバーのチューニング不足、及びキャッシュサーバーの高負荷が原因ではないかと予測しています。そのため、テスト環境と本番環境においてデータベース、アプリケーションサーバー、キャッシュサーバーを同じスペックで構築し、高負荷テストを行うなどの調査を行い、原因特定に努めます。
また、お客様へサービスをご提供できない時間が長引く中で、ロールバックという決断までに時間を要し、長時間に亘りご迷惑をお掛けする事態を引き起こしました。今後さらに詳細なシステム調査による原因究明を行い、本障害を解消させたうえでリニューアル環境の正常稼働に向けて改修を行なってまいります。
４．今後のスケジュールとお客様への補填対応
リニューアルについては改めて十分な検証を行ったうえで、安全な状態で移行できることが確認できた際に実施させていただきます。その際には同様の事態を決して繰り返すことの無いよう、システム安定稼働と信頼回復に努めてまいります。また、不測の事態が起こった場合もお客様の目線で判断と対応を行うことをあらためて肝に銘じ、今後徹底してまいります。
最も重要な時間であるはずの週明けの月曜日に、お客様の業務に多大な影響と損害を与えてしまったことを重く捉え、有料プランをご利用のすべてのお客様を対象に、6月1日から7月31日の間に発生する2ヶ月分のご利用料金を無料とさせていただくことを決定いたしました。6月分がすでに請求が完了してしまっているお客様に関しては、返金という形をとらせていただきます。（返金作業は6月25日より随時開始予定）。尚、上記期間中に新規で「Jooto」の有料プランをご利用開始したお客様も対象となります。
この度は、皆様へ多大なるご迷惑をお掛けし誠に申し訳ございません。あらためて心よりお詫び申し上げます。二度と同じ不備を繰り返すことのないよう、細心の注意を払ってまいります。今後もどうか「Jooto」を引き続きご愛顧いただけますよう何卒よろしくお願い申し上げます。
以上となります。
2018年6月19日 株式会社PR TIMES Jooto事業本部 本部長 下田祐介
© 2021 タスク・プロジェクト管理ツールJooto (ジョートー). All Rights Reserved.
Comments are closed.