システム管理者は、どうやって異常を見つけ、復旧させるのか

今、あなたがパソコンやスマートフォンからインターネットを使い、動画配信サービスや通販サイトを利用しているとしよう。

その裏側では、数え切れないほどの機器やソフトウェアが連携して動いている。

では、そのうちのどこかで機器が故障したら、どうなるのだろうか。

システム運用に携わる人たちは、異常を検知すると、状況を確認し、原因を調べ始める。原因が自分たちの担当範囲にあると分かれば、復旧に向けて動き出す。

なぜ、そのような対応ができるのだろうか。

もちろん、長年の経験によって培われた知識や技術力があることは確かだ。されど、それだけではない。担当しているシステムに異変が起きたことを知らせる仕組みが、あらかじめ用意されているからでもある。

専門的には、こうした仕組みを「監視システム」などと呼ぶ。

障害や不具合が発生すると、監視システムがそれを検知し、エラーメッセージやメールなどで担当者に知らせる。設備によっては、ランプの点灯や警報音で異常を知らせるものもある。

では、どのような異常を検知しているのだろうか。例を挙げてみよう。

こうした通知を受けたシステム管理者は、何が起きているのかを調べる。

ただし、異常の通知が届いたからといって、原因まで自動的に分かるとは限らない。監視システムが教えてくれるのは、あくまで異常の兆候や、その発生箇所を絞り込むための手掛かりである場合も多い。

ここから先は、担当者による調査と判断が必要になる。

経験したことのある障害なら、早く復旧できることもある

過去に同じような障害が発生し、その原因や対処方法が分かっている場合は、対応手順をまとめた手順書が用意されていることがある。

また、会社から担当者に復旧作業の権限が与えられていれば、その手順書に従って作業を進められる。こうした備えがあれば、比較的速やかな復旧が期待できる。

一方、これまで経験したことのない障害や、復旧作業によって利用者への影響が広がるおそれのある障害では、そう簡単にはいかない。

原因を調べ、考えられる対処方法を検討し、必要に応じて社内の有識者や関係部署と相談する。そのうえで、どの方法なら安全に復旧できるかを判断することになる。

急いで直そうとした結果、かえって障害を大きくしてしまっては元も子もない。

そのため、慎重な判断が求められる場面では、復旧までに時間がかかることもある。

たとえば、あなたが利用している通販サイトで、商品を注文できなくなったとしよう。

利用者にとっては、「通販サイトが使えない」という事実に変わりはない。できることなら、すぐに直してほしいと思うだろう。

しかし、運用管理者側では、まず発生している事象を確認し、影響範囲を調べ、考えられる原因を絞り込んでいく。さらに、必要に応じて関係者と情報を共有し、復旧方法を検討しなければならない。

安全に、しかもなるべく早く復旧させるために、調査や検討に時間を費やしているのである。

その時間も、復旧に必要な仕事の一部なのだ。

この点については、以前の記事も参考にしていただきたい。

ここまで説明してきたように、システムの異常を検知し、復旧につなげるための仕組みは、あらかじめ用意されている。

それでも、監視の対象や検知する条件が適切でなかったり、異常を知らせる通知が見落とされたりすれば、問題の発見が遅れることがある。

その結果、システム管理者が問題を把握する前に、利用者へ大きな影響が及んでしまうこともある。

システムを監視する仕組みを用意するだけでは十分ではない。何を監視するのか、どのような状態を異常と判断するのか、通知を受けたら誰がどう対応するのか。こうした点も、継続して見直していく必要がある。

異常を検知し、原因を調べ、安全に復旧させる。

言葉にすれば簡単だが、実際には、機器やソフトウェアの知識だけでなく、経験に基づく判断や、関係者との連携も欠かせない。

ネットがつながり、通販サイトで注文ができる。その当たり前を守る仕事は、異常を見つけた瞬間に終わるわけではない。

異常を知らせる仕組みがあることと、問題を確実に解決できることは、同じではない。

そこに、システム管理者の仕事の難しさがあるのである。