快科技4月14日消息，4月8日，有大量網(wǎng)友反饋，稱騰訊云出現(xiàn)服務(wù)故障，出現(xiàn)騰訊云控制臺(tái)登錄不上等情況。

今日，騰訊云發(fā)布4月8日故障復(fù)盤及情況說(shuō)明。

經(jīng)過(guò)故障定位發(fā)現(xiàn)，客戶登錄不上控制臺(tái)正是由云API異常所導(dǎo)致，故障發(fā)生后，依賴云API提供產(chǎn)品能力的部分公有云服務(wù)。

也因?yàn)樵艫PI的異常出現(xiàn)了無(wú)法使用的情況，比如云函數(shù)、文字識(shí)別、微服務(wù)平臺(tái)、音頻內(nèi)容安全、驗(yàn)證碼等。

官方表示，此次故障一共持續(xù)了近87分鐘，期間共有1957個(gè)客戶報(bào)障。

故障的原因是云API服務(wù)新版本向前兼容性考慮不夠和配置數(shù)據(jù)灰度機(jī)制不足的問(wèn)題。

本次API升級(jí)過(guò)程中，由于新版本的接口協(xié)議發(fā)生了變化，在后臺(tái)發(fā)布新版本之后對(duì)于舊版本前端傳來(lái)的數(shù)據(jù)處理邏輯異常，導(dǎo)致生成了一條錯(cuò)誤的配置數(shù)據(jù)，由于灰度機(jī)制不足導(dǎo)致異常數(shù)據(jù)快速擴(kuò)散到了全網(wǎng)地域，造成整體API使用異常。

騰訊云稱，發(fā)生故障后，按照標(biāo)準(zhǔn)回滾方案將服務(wù)后臺(tái)和配置數(shù)據(jù)同時(shí)回滾到舊版本，并重啟API后臺(tái)服務(wù)，但此時(shí)因?yàn)槌休dAPI服務(wù)的容器平臺(tái)也依賴API服務(wù)才能提供調(diào)度能力，即發(fā)生了循環(huán)依賴，導(dǎo)致服務(wù)無(wú)法自動(dòng)拉起。

通過(guò)運(yùn)維手工啟動(dòng)方式才使API服務(wù)重啟，完成整個(gè)故障恢復(fù)。

問(wèn)題復(fù)盤

整個(gè)處理過(guò)程如下：

1.15:23，監(jiān)測(cè)到故障，立即執(zhí)行服務(wù)的恢復(fù)，同時(shí)進(jìn)行原因的排查；

2.15:47，發(fā)現(xiàn)通過(guò)回滾版本沒(méi)能完全恢復(fù)服務(wù)，進(jìn)一步定位問(wèn)題；

3.15:57，定位出故障根因是配置數(shù)據(jù)出現(xiàn)錯(cuò)誤，緊急設(shè)計(jì)數(shù)據(jù)修復(fù)方案；4.16:02，對(duì)全地域進(jìn)行數(shù)據(jù)修復(fù)工作，API服務(wù)逐地域恢復(fù)中；

5.16:05，觀測(cè)到除上海外的地域API服務(wù)均已恢復(fù)，進(jìn)一步定位上海地域的恢復(fù)問(wèn)題；

6.16:25，定位到上海的技術(shù)組件存在API循環(huán)依賴問(wèn)題，決定通過(guò)流量調(diào)度至其他地域來(lái)恢復(fù)；

7.16:45，觀測(cè)到上海地域恢復(fù)了，此時(shí)API和依賴API的PaaS服務(wù)徹底恢復(fù)，但控制臺(tái)流量劇增，按九倍容量進(jìn)行了擴(kuò)容；

8.16:50，請(qǐng)求量逐漸恢復(fù)到正常水平，業(yè)務(wù)穩(wěn)定運(yùn)行，控制臺(tái)服務(wù)全部恢復(fù)；9.17:45，持續(xù)觀察一小時(shí)，未發(fā)現(xiàn)問(wèn)題，按預(yù)案處理過(guò)程完畢。

改進(jìn)措施

綜合盤點(diǎn)這次故障，最根本的原因是在版本變更過(guò)程中，沒(méi)有有效執(zhí)行沙箱驗(yàn)證和預(yù)案演練，暴露了在變更管理上的不足，接下來(lái)將從以下幾個(gè)方面快速進(jìn)行改進(jìn)和完善，以減少故障的影響范圍和影響時(shí)長(zhǎng)。

第一，提升系統(tǒng)韌性

1、定期執(zhí)行預(yù)定的變更策略模擬演練，確保在真實(shí)故障發(fā)生時(shí)，能夠迅速切換到恢復(fù)模式，最小化服務(wù)中斷時(shí)間。

2、優(yōu)化服務(wù)部署架構(gòu)，通過(guò)分層架構(gòu)、代碼審查和監(jiān)控等手段， 避免API服務(wù)中潛在的循環(huán)依賴問(wèn)題。

3、提供API服務(wù)逃生通道，當(dāng)故障發(fā)生時(shí)，可供調(diào)用方快速切換。

第二，強(qiáng)化變更管理與保護(hù)措施

1、完善自動(dòng)化測(cè)試用例庫(kù)，在系統(tǒng)變更前通過(guò)沙箱環(huán)境對(duì)變更內(nèi)容進(jìn)行嚴(yán)格驗(yàn)證。

2、實(shí)施灰度發(fā)布策略，逐步推廣新功能或配置更改，按集群、可用區(qū)、地域逐步生效，以便在發(fā)現(xiàn)問(wèn)題時(shí)能夠迅速回滾。

3、引入異常自動(dòng)熔斷機(jī)制，當(dāng)檢測(cè)到系統(tǒng)異常時(shí)，能夠立即中斷變更過(guò)程。

第三，增強(qiáng)故障響應(yīng)與溝通能力

1、對(duì)故障處理流程進(jìn)行全面升級(jí)，確保實(shí)時(shí)更新故障處理進(jìn)度和預(yù)計(jì)恢復(fù)時(shí)間點(diǎn)，提升故障報(bào)告發(fā)布效率。

2、在對(duì)外發(fā)布的故障通知中，清晰闡述受影響的業(yè)務(wù)范圍、故障根因及預(yù)計(jì)修復(fù)時(shí)長(zhǎng)，保持透明度。

3、優(yōu)化騰訊云健康狀態(tài)看板（StatusPage）的信息展示邏輯，解除對(duì)云API等云服務(wù)的依賴，通過(guò)引入緩存和容災(zāi)機(jī)制，確保即使在云服務(wù)出現(xiàn)故障時(shí)，能準(zhǔn)確、及時(shí)地傳遞故障信息。

對(duì)于騰訊云本次故障復(fù)盤及情況說(shuō)明，有網(wǎng)友表示：“能對(duì)外公布過(guò)程，對(duì)用戶透明，也是種進(jìn)步”“有故障不可怕，關(guān)鍵是要能在故障中去真正總結(jié)、改進(jìn)、沉淀，盡量做好下一次故障的規(guī)避和優(yōu)化，這才是寶貴的經(jīng)驗(yàn)和收獲。”