北京鐵路局,所轄線路分布在北京市、天津市、河北省及山東、河南、山西省部分地區(qū)。下轄北京、天津、石家莊3個鐵路辦事處。營業(yè)里程4682公里,其中雙線2765.7公里;線路總延展里程12584.5公里,其中正線延展里程7735.3公里。共有車站483個,其中特等站7個、一等站20個、二等站40個、三等站96個。
北京鐵路局的技術(shù)人員在針對網(wǎng)絡(luò)設(shè)備及其他信息系統(tǒng)和設(shè)備發(fā)生故障而影響運輸生產(chǎn)安全的事故分析中發(fā)現(xiàn):有不少故障在發(fā)生前會產(chǎn)生大量錯誤日志,結(jié)合現(xiàn)有的監(jiān)控和維護手段,查看日志方法比較單一,主要體現(xiàn)在:
1、由于設(shè)備眾多而增加技術(shù)人員的工作強度
北京鐵路局網(wǎng)絡(luò)設(shè)備及服務(wù)器有幾千臺,只憑借技術(shù)人員日常逐一登陸查看日志,維護工作十分繁重。例如局機房每天登陸查看的核心網(wǎng)絡(luò)設(shè)備有近30臺,各電子所每天登陸查看的核心網(wǎng)絡(luò)設(shè)備有30-40臺,每臺設(shè)備登陸查看日志需要5分鐘左右,所有的設(shè)備都要登陸查看一遍需要3-4個小時時間。
2、可能由于各種原因而影響發(fā)現(xiàn)錯誤日志的時間
由于需要登陸的網(wǎng)絡(luò)設(shè)備和服務(wù)器數(shù)量多,查看一遍會用時較多,勢必影響查看的頻率,間隔時間過長,影響故障的及時發(fā)現(xiàn);負責(zé)設(shè)備的工程師出差或有其他工作的時候,也會影響故障日志的及時發(fā)現(xiàn)。
3、發(fā)生故障以后導(dǎo)致日志的無法取得或者丟失,影響事后的故障分析
當(dāng)設(shè)備產(chǎn)生故障無法運行的時候,一般處于死機狀態(tài),無法登陸,無法運行程序,也無法取得故障日志。為了使故障影響時間盡量短,及時恢復(fù)系統(tǒng),一般采取的措施是重新啟動設(shè)備,這就造成了日志的丟失,影響事后的故障分析,使相同的故障無法及時排除,造成了隱患。
為了貫徹徐處長“變故障修為狀態(tài)修”的要求,及時發(fā)現(xiàn)與運輸生產(chǎn)安全相關(guān)的設(shè)備和應(yīng)用的故障隱患,杜絕影響鐵路生產(chǎn)安全的信息事故發(fā)生,急需一套日志分析系統(tǒng),用于對這些網(wǎng)絡(luò)設(shè)備和服務(wù)器的日志進行監(jiān)測。
鐵路局網(wǎng)絡(luò)科經(jīng)過多方調(diào)研,采用了ManageEngine日志分析系統(tǒng)(Eventlog Analyzer)及配套的短信告警平臺,并對其進行了相應(yīng)的客戶化改造。
日志采集與分析
Eventlog Analyzer通過syslog機制收集日志信息,按照定義好的重要級別對日志信息進行過濾,技術(shù)人員只需要通過B/S方式登陸服務(wù)器,就可以發(fā)現(xiàn)設(shè)備的日志信息,及時了解設(shè)備的健康狀態(tài),發(fā)現(xiàn)設(shè)備的安全隱患,最大程度減少技術(shù)人員登陸眾多設(shè)備的工作強度:現(xiàn)在路局及各電子所每天只要通過瀏覽器登陸日志服務(wù)器訪問頁面,各設(shè)備的各種級別日志就一目了然了,點開相應(yīng)的日志級別就能查看到日志內(nèi)容,查看20-30個設(shè)備日志只需要5分鐘左右,極大的縮短了登陸查看日志的時間。
分組管理
通過建立路局、電子所、站段等組,或者細分到網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用也可以建立組,每個組都有管理員,負責(zé)相應(yīng)設(shè)備的工程師可以用管理員帳戶登陸檢查自己負責(zé)的設(shè)備日志;也可以制定維護考核標(biāo)準,規(guī)定每天什么時間要登陸查看日志,路局可以通過查看各管理員的登陸時間和頻率了解到電子所和站段的維護情況。
短信告警
采用與第3方短信平臺聯(lián)動機制,在日志服務(wù)器里針對重點監(jiān)控的設(shè)備設(shè)置高級別日志告警信息,在設(shè)備產(chǎn)生最高級別的Error、Critical、Alert、Emergency四類日志告警信息時,將信息及時發(fā)到負責(zé)的工程師和機房值班人員手機上,提高了響應(yīng)時間。另外在短信通知工程師和值班人員同時,在值班電腦屏幕中會顯示故障提示和告警聲音的功能。
日志歸檔
通過歸檔文件管理,設(shè)置文件歸檔時間間隔,并采用ZIP格式進行壓縮時。及時存儲備份日志文件,將已經(jīng)備份的日志文件刪除,節(jié)省空間。在需要時,可以將歸檔的文件自動加載到數(shù)據(jù)庫中進行瀏覽,可將已經(jīng)歸檔的日志根據(jù)日志級別和日期進行瀏覽。