• 您好!歡迎進入深圳市華訊佳科技有限公司官網!

  • 15088181811
您當前所處位置: 首頁 > 新聞資訊 > 華為案例

由于數據庫備份開關被關閉,導致OSN3500升級后業務中斷問題

發布人:華訊佳 發布時間:2021-11-24 瀏覽數:

問題描述

一個OptiX OSN3500設備升級后,兩個線路板SLD64狀態異常,約XXX個無線GSM站點業務中斷,影響約X用戶。問題出現后嘗試使用升級前備份的網元數據庫恢復,但是恢復失敗,業務中斷。


處理過程

1、升級后發現slot8和slot11的SLD64單板離線,相關業務中斷;

2、客戶維護人員發現slot8和slot11的N4SLD64物理單板從升級之前的N1SLD64邏輯板變成了N2SL64邏輯板,修改邏輯單板從N2SL64到N1SLD64;

3、修改邏輯板類型后,單板上線但是業務不恢復;

4、問題知會到本地中方,以及TAC,華為中方開始介入處理;

5、經過和機關GTAC溝通,決定執行回滾;

6、移走升級完的兩個R10版本GSCC,插入R8版本的GSCC,開始使用升級之前備份的數據庫恢復;

7、恢復超時,恢復失敗,業務仍然中斷(DC密碼錯誤,導致超時);

8、放棄從數據庫恢復,GTAC根據升級前備份的數據庫制作交叉配置腳本,本地命令行下發;

9、下發成功,但是業務仍然全部中斷,發現升級之前備份的數據庫有問題,無法使用;

10、開始尋找最近備份的有效數據,使用11月份巡檢收集到的業務配置,制作交叉配置腳本;

11、執行腳本,業務恢復。


根因

主控單板GSCC內部DRDB和FDB之間的同步開關被異常關閉,導致FDB中存的數據是歷史配置的,和當前運行的業務不符。由此導致兩個問題:

1、升級之后主控復位,復位之后主控重新下發數據,下發的是FDB中的舊數據,和當前邏輯板位配置以及業務配置都是不符的,因此升級上報成功但是業務中斷;

2、網元數據備份的時候是從FDB備份的,因此升級前使用DC備份的數據也是有問題的,無法基于這個數據庫進行恢復,導致回滾失敗,造成業務中斷。

數據庫備份功能默認enable,故障網元之前巡檢發現該網元是disable,未修復。

#9-48:szhw [48-***_OSN-4                                                 ][][2014-12-12 14:31:50+06:00]> 

:dbms-get-autobackup 

  DBMS-AUTO-BACKUP  : disable                                                      

#9-48:szhw [48-***_OSN-4                                                 ][][2014-12-12 14:31:52+06:00]> 

:dbms-get-cyclebackup 

  CYCLE-BACKUP-SWITCH  : disable                                                   

#9-48:szhw [48-***_OSN-4                                                 ][][2014-12-12 14:31:53+06:00]> 

:mml-get-evtflag

CMD EVT FLAG: disable


解決方案

找到升級之前最近的有效的網元數據庫備份文件,或者升級前的網管備份腳本,據此制作業務恢復腳本,重新刪除和配置全網交叉。


建議與總結

1、定時巡檢,對于巡檢中發現的異常及時跟蹤解決,即使客戶不主動要求解決,也要主動推動解決;

2、升級動作嚴格參考升級指導書,尤其是對于不理解的步驟,也要嚴格執行,因為很可能就是對某個潛在隱患的關鍵過濾措施;

3、加強對產品知識的理解,分清楚網元數據備份(從FDB備份)、網管數據上載(從DRDB上載)、網管腳本備份(DRDB動態有效數據)、網管上同步入口(備份網元數據到SCC)這幾個概念的含義,故障時及時找到有效數據。

4、升級嚴格遵守流程做各種備份,以備萬一之需。


午夜无码电影888不卡