先週土曜日に発生したニコニコ動画の動画視聴障害についてご報告させて頂きます。

■対応の遅れについて
・理由
該当箇所への対応が行える担当者が1名のみで、たまたまその担当者が連絡の取れないところにいたため作業開始が1時間強遅れてしまいました。ニコニコ動画に関連するすべてのサービスでは最低でも2名以上が作業できる体制を推進していますが、特殊なハードウェアが多いため対応が遅れているところが残っています。

また前述の通り担当者との連絡が遅れたため、そして障害時のインフォメーションの出し方が担当者によりまちまちになっていたため、情報の掲載が遅れお伝えするべき内容が不十分になってしまったことが反省点としてあげられます。

・今後の改善施策
これまでもシステムエンジニアの採用を進めてきましたが、今回の件を受けてより一層採用の強化を行い同じような障害が発生しても素早く対応できるような体制を早期に構築いたします。またサービス監視と障害時の連絡手段を強化し、インフォメーション作成時のガイドラインを整備することで素早く正確な情報を提供できるよう改善を行います。

■障害の原因について
障害は朝8時半頃に発生し夕方16時頃から徐々に回復、完全に復旧したのは24時半頃でした。
原因は動画配信用のハードウェアの故障によるものです。
通常は故障がおきてもそのままサービスを提供し続けることが可能なのですが、
今回の故障は通常の想定外のところで発生してしまい、ハードウェアの交換及び復帰に
時間がかかってしまいました。

なお今回の障害発生及び復旧時間が長引いたことに同日行われていたニコニコ大会議は関係ありません。

ニコニコ動画の配信システムはだいたい二組ずつ同じハードウェアが用意(二重化)されています。
そのため、故障が発生してもたいていの場合は、サービスを停止することなく復旧が可能です。
しかし高価且つ故障の確率が低いもの(数年に1度起きるかどうかレベル)に関しては、回線の増強などと並行して収益の中から徐々に補強を行っていますが、まだ二重化されていないところが多数存在し、今回はそこで障害が発生してしまいました。

#(ニコニコ動画の初期から活躍しているハードウェアでここ1-2週間で強化を予定していた部分でした)

いつ故障が発生するかを正確に予想することは困難ですが、体制の強化で障害発生時の復旧時間を短縮しつつ、継続的にハードウェアの強化(二重化及び新しい製品への交換)を行うことで今回のようなケースができる限り発生しないよう取り組んでいきます。

今回の件では多くの方にご迷惑をおかけしてしまい申し訳ありませんでした。
重ね重ねお詫び申し上げます。

皆様に気持ちよく利用して頂けるよう最大限の努力を行っていきたいと思います。
引き続きニコニコ動画をはじめとするすべてのサービス、コンテンツをよろしくお願いいたします。

運営長 中野 真