정전작업 정말 싫음....

정전작업 정말 싫음....

필자가 근무하는 기관에서는 1년에 꼭 2회 정도 전체 건물 정전을 실시한다. 뭐...안전을 위한 일이지만...필자의 입장에서는 정말 엄청난 부담이 아닐 수 없다.   

작업은 보통 08시부터 시작인데 필자의 경우에는 그 전날 모든 장비를 백업 받아야하고 UPS를 지원하지 않는 서버들은 모두 정상적으로 shutdown을 시켜야 하기에 정말 노가다를 하고 있다. 아니면 정말 일찍 출근해서 전원을 꺼야한다. 새벽같이 나와야 하기에 보통은 그 전날 퇴근시간 직전에 다 종료를 시키는게 국룰이다. 

NMS ( Network Management System)로 현재 상황을 보자. 

필자가 근무하는 기관의 NMS이다.

헉.. 현재 녹색으로 표기된 곳은 살아있는 스위치나 서버들이고 빨간색은 모두 100% 다 통신이 끊어졌다는 이야기가 되겠다.

이제 전원이 들어올때까지 그간 작업하지 못했던 서버들의 재기동이나 업그레이드를 실시한다 .  그런 업그레이드가 끝나고 나면 꼭 해야하는 것이 재부팅이다. 재부팅을 해야만 업그레이드가 적용도기 때문이다.

그리고, 정전이 끝나면 우린 그때부터 시작이다. 모든 시스템 복구를 다 해둬야만 월요일에 업무마비를 막을 수 있다.  에휴...한숨만 나온다.

뭐...어떻게 할 방법이 없다. 우리가 평소에 잊고 살었던 전기나 물이 얼마나 소중했었는지 다시 한번 생각해보게 하는 날이다. 

에라이....커피 한잔 할려고 해도 정수기에 전원이 안 들어오니 뜨거운 물도 안나온다. ㅠㅠ

이 정전작업이 정말 싫은 작업중에 하나가 정전하기 전에는 아무런 문제가 없었다가 꼭 정전후에는 파워가 나가버리는 장비들이 3개에서 4개 정도 나온다는 것이다. 어디가 고장날지 모르기 때문에 미리 세팅도 불가능하다. 그래서, Spare 장비들을 작업실에 두고 정전이 끝나자마자 NMS를 바로 보면서 안 올라오는 장비를 집중적으로 모니터링 한다. 

같은 Rack에 들어있는데 다른 장비는 다 올라오는데 특정 장비만 안올라온다면 해당 장비가 고장났을 확률이 매우 높다. 뭐...그때는 무조건 예비장비 들고 뛰어가야한다. 

오늘도 별 문제없이 잘 끝나기를 바라는 바램이다.