IIS故障(Connections_Refused)問題分析及處理

    這篇文章其實(shí)已經(jīng)寫好很久，只是后來一直沒有重現(xiàn)當(dāng)時(shí)的問題，或者因?yàn)闃I(yè)務(wù)的重要性、投訴的壓力也就臨時(shí)處理了。這幾天某地市Web服務(wù)器連續(xù)多次出現(xiàn)這個(gè)問題，正好借這個(gè)案例來做個(gè)收尾。

    前幾個(gè)月有臺(tái)重要的Web服務(wù)器(Windows Server2003 + IIS6.0)出現(xiàn)客戶端無法訪問Web服務(wù)器上的站點(diǎn)，錯(cuò)誤信息提示為"頁面無法顯示"的情況。登錄服務(wù)器檢查后發(fā)現(xiàn)IIS并未停止運(yùn)行，各服務(wù)也正常處理，但就是無法訪問站點(diǎn)上的頁面（包括靜態(tài)頁面）。這種問題其實(shí)以前也經(jīng)常發(fā)生，基本上處理方法都是通過重啟Web服務(wù)器來解決，至于為什么要這樣處理，并沒有具體的論斷和依據(jù)，多半是憑借個(gè)人的經(jīng)驗(yàn)所致，所以這種解決方法只能緩解下投訴壓力，沒有從根本上解決問題。

    那么，我們現(xiàn)在就來針對(duì)這個(gè)問題深入探討下，找出問題的根本，爭取做到治標(biāo)治本。

    首先，肯定是分析問題服務(wù)器上的IIS日志，我發(fā)現(xiàn)在站點(diǎn)無法訪問的那段時(shí)間， httperr日志中記錄了大量的"Connections_Refused"錯(cuò)誤

     這個(gè)問題是在默認(rèn)情況下，如果可用的非分頁緩沖池內(nèi)存不足 20MB，Http.sys 服務(wù)將停止接收新連接，就會(huì)出現(xiàn)上述問題。這也就解釋了為什么重啟IIS沒用，只能通過重啟Web服務(wù)器釋放內(nèi)存資源來解決。
    網(wǎng)上也有微軟官方的解決方案：
  1. 進(jìn)入注冊(cè)表，找到如下項(xiàng)：
     HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\HTTP\Parameters ； 
  2. 新建Dword值，輸入名稱 "EnableAggressiveMemoryUsage"；
  3. 修改值為1；
  4. 重啟 HTTP 服務(wù)：
     在DOS下分別執(zhí)行   
        net stop http /y
        iisreset /restart

    我按照上述說明進(jìn)行了配置，但有沒有效果無法考證，只能先觀察這臺(tái)服務(wù)器后續(xù)的運(yùn)行情況。這種處理方法比之前重啟Web服務(wù)器更進(jìn)了一步，至少比之前盲目的重啟重啟重啟，更明確的知道了引起問題的原因，離真相更近了一步。那么問題發(fā)生的真正原因呢？究竟是什么導(dǎo)致的非分頁緩沖池內(nèi)存會(huì)持續(xù)增大到少于20M的呢？
    要分析這個(gè)問題，首先得了解下Windows系統(tǒng)中的核心內(nèi)存概念：核心內(nèi)存是Windows分配給系統(tǒng)內(nèi)核或驅(qū)動(dòng)所需的內(nèi)存空間，分頁內(nèi)存是虛擬內(nèi)存，也就是這一部分內(nèi)存可以置換到硬盤中，但是，非分頁內(nèi)存是不能置換到硬盤的，只能保存在物理內(nèi)存中，常用于一些軟件或是系統(tǒng)的驅(qū)動(dòng)程序使用。如果未分頁內(nèi)存無限增大，到達(dá)一個(gè)閥值，就會(huì)造成系統(tǒng)問題。在32位的Windows上，這個(gè)閥值最高不能超過256MB，否則操作系統(tǒng)會(huì)變得非常不穩(wěn)定。
    打開自己系統(tǒng)的任務(wù)管理器，在"性能"項(xiàng)中，可以看到：

     如上圖所示，這就是我本機(jī)當(dāng)前時(shí)刻所使用的分頁和未分頁內(nèi)存數(shù)，這個(gè)數(shù)字很正常。
     我們?cè)賮砜聪伦罱@臺(tái)有問題的機(jī)器連續(xù)2天，2次出現(xiàn)故障時(shí)的內(nèi)存使用數(shù)，未分頁內(nèi)存已經(jīng)不知不覺暴漲到230多M了

      好了，廢話不多說，這個(gè)時(shí)候就需要用到Poolmon這個(gè)核心內(nèi)存泄漏檢測工具了。通過這個(gè)工具，我們來看看Web服務(wù)器上到底是哪些軟件或者程序造成內(nèi)存泄露，從而導(dǎo)致未分頁內(nèi)存數(shù)不足的。Poolmon是類似于Dos 的命令行執(zhí)行程序，基本上完成檢測的操作我們只需要2個(gè)指令： P-排序標(biāo)簽列表通過分頁，非分頁，混合等3種模式；B-對(duì)標(biāo)簽排序最大字節(jié)使用情況。如下圖所示：顯示的就是操作系統(tǒng)中所有占用非分頁內(nèi)存項(xiàng)，并按字節(jié)大小降序排列。我們找出排在前面，并且字節(jié)數(shù)不斷增加的tag項(xiàng)，根據(jù)Tag來定位進(jìn)程和驅(qū)動(dòng)文件。比如我們想看下目前占用90M非分頁內(nèi)存的Thre項(xiàng)，在Dos中輸入:
    findstr /s /m /l "Thre" c:\windows\system32\drivers\*.sys

    如上圖所示，我們看到是系統(tǒng)驅(qū)動(dòng)和殺毒驅(qū)動(dòng)占用了Thre。這臺(tái)機(jī)器上次中過毒，所以后來下了瑞星和360衛(wèi)士來排毒。瑞星是出了名的耗未分頁內(nèi)存大戶，360衛(wèi)士本身也已經(jīng)被病毒感染，所以我基本鎖定了這2款軟件，先卸載，然后重啟服務(wù)器，重新下載360衛(wèi)士和360殺毒再次排毒之后觀察服務(wù)器運(yùn)行情況和內(nèi)存消耗情況。從上次重啟到目前為止，運(yùn)行十多天，未分頁內(nèi)存總消耗保持在50M以內(nèi)，雖有小許增長，但還算正常。到此，根據(jù)上面的分析， 我們就可以定位出導(dǎo)致IIS故障的真正問題所在了。這種問題，很大部分是因?yàn)闅⒍拒浖绦蚧蛘咭恍┫到y(tǒng)驅(qū)動(dòng)導(dǎo)致的。

    這里說的很大部分原因是因?yàn)闅⒍拒浖绦蚧蛘咭恍┫到y(tǒng)驅(qū)動(dòng)導(dǎo)致的非分頁內(nèi)存不足，是因?yàn)榉欠猪搩?nèi)存一般是內(nèi)核程序或驅(qū)動(dòng)程序在請(qǐng)求。這種資源非常寶貴，如果程序處理不當(dāng)?shù)脑?，也?huì)導(dǎo)致上述情況，比如一個(gè)Socket只接受連接，但因?yàn)槟承┰驔]有讀取數(shù)據(jù)，然后客戶端連接上之后一直發(fā)送數(shù)據(jù)，在這種極端的情況下未分頁內(nèi)存也很快就會(huì)被占滿。