說(shuō)起單點(diǎn)故障(Single Point of Failure，SPOF)，倒是可以想起電影 《2012》中，一把焊槍把齒輪卡住，從而導(dǎo)致整個(gè)艙門(mén)無(wú)法關(guān)閉，進(jìn)而整個(gè)引擎無(wú)法發(fā)動(dòng)。這是個(gè)有點(diǎn)生動(dòng)的例子–如此龐大的一個(gè)系統(tǒng)，居然因?yàn)橐话研⌒〉暮笜尪U(xiǎn)些毀于一旦。投入巨大人力物力生產(chǎn)的救命方舟居然做不到高可用(High availability)，這是致命的事情。
大腦對(duì)與人來(lái)說(shuō)，就是一個(gè)單點(diǎn)，大腦損壞，人也完蛋；手是不是單點(diǎn)? 一只沒(méi)了，另一只還能日常生活，從這個(gè)角度來(lái)說(shuō)，不是單點(diǎn)。消除單點(diǎn)的最常見(jiàn)的做法：增加冗余。比如，人有兩只手。其次，層次化。當(dāng)然，分層的目的是便于隔離問(wèn)題。電影 《2012》 中的這個(gè)問(wèn)題，不知道誰(shuí)是總架構(gòu)師，看起來(lái)，隔離做得不太夠 :)
一般來(lái)說(shuō)，只要系統(tǒng)能夠比較清楚的分出層次來(lái)，要消除單點(diǎn)故障還是有章可循的事情。比如，一個(gè)網(wǎng)站，從基礎(chǔ)的硬件層，到操作系統(tǒng)層，到數(shù)據(jù)庫(kù)層，到應(yīng)用程序?qū)?，再到網(wǎng)絡(luò)層，都有可能產(chǎn)生單點(diǎn)故障。如果要有效的消除單點(diǎn)故障，最重要的一點(diǎn)是設(shè)計(jì)的時(shí)候要盡量避免引入單點(diǎn)，而隨著架構(gòu)的變化，定期審查系統(tǒng)潛在單點(diǎn)也是有必要的。
有人或許會(huì)問(wèn)，假設(shè)一個(gè)起步中的站點(diǎn)，只有一臺(tái)服務(wù)器，什么東西都在一個(gè)盒子里，到底要怎么做呢? 這里的建議是先拋開(kāi)主板、CPU 、內(nèi)存這些，首先必須考慮硬盤(pán)(存儲(chǔ)層)的問(wèn)題，如果機(jī)器只有一塊硬盤(pán)，即使你備份計(jì)劃再完善(不要說(shuō)你的備份也是備份在這塊硬盤(pán)上的)，還是建議你起碼再弄一塊。做鏡像，讓出錯(cuò)的概率降低，這是劃算的投入，當(dāng)然消除單點(diǎn)，成本幾乎不可避免的要增加。如果硬盤(pán)多，或者有其他備份機(jī)制，可選的方法就更多，別刻舟求劍。
第二個(gè)要考慮網(wǎng)卡與網(wǎng)線(xiàn)的單點(diǎn)問(wèn)題。先說(shuō)網(wǎng)線(xiàn)，如果要問(wèn)一個(gè)系統(tǒng)里面最容易物理?yè)p壞的是哪個(gè)組件，答案恐怕非網(wǎng)線(xiàn)莫屬，對(duì)于網(wǎng)線(xiàn)這樣多數(shù)時(shí)候因?yàn)榫嚯x需要定制的東西，總是購(gòu)買(mǎi)成品還是有成本的，從我觀(guān)察到的情況來(lái)看，各個(gè) IDC 的網(wǎng)線(xiàn)使用手工制作的比例不小，這個(gè)質(zhì)量幾乎很難控制，一根線(xiàn)，兩個(gè)水晶頭，哪一個(gè)出問(wèn)題都不能正常傳輸。怎么辦? 想辦法提升網(wǎng)線(xiàn)整體質(zhì)量還是弄兩根網(wǎng)線(xiàn)放在那里? 解決辦法早都有了，網(wǎng)卡綁定 (NIC bonding)一個(gè)很簡(jiǎn)單很通用的辦法(refer)，但是問(wèn)題是并非很多人在用。多數(shù) PC 服務(wù)器應(yīng)該都是配置了多塊網(wǎng)卡，如果是自己攢服務(wù)器，記得網(wǎng)卡多一塊成本沒(méi)多大，但是用處會(huì)有很多。如果耐著性子看到這里，先別急著去 Google，還有問(wèn)題呢，兩根網(wǎng)線(xiàn)如何接到上行交換機(jī)，什么樣的交換機(jī)支持綁定，如何確定綁定是真正生效的? 答案是，嘗試一下。
然后是什么? 是跑多個(gè)數(shù)據(jù)庫(kù)，還是跑兩個(gè) Web 服務(wù)器，一個(gè)不行用另一個(gè)頂? 對(duì)于單臺(tái)服務(wù)器，其它能消除單點(diǎn)的地方恐怕收效也不會(huì)特別大，現(xiàn)在少做無(wú)用功，或許要重點(diǎn)考慮如何備份，如何優(yōu)化，以及出現(xiàn)問(wèn)題的時(shí)候如何做到快速恢復(fù)。有一個(gè)或許會(huì)引起爭(zhēng)議的建議是，除了 SSH 登錄之外，要不要留一個(gè) Telnet 登錄的服務(wù)呢? 畢竟 SSH 服務(wù)器端守護(hù)進(jìn)程不是百分百靠譜的事兒，如果 IDC 距離較遠(yuǎn)，需要斟酌一下。好吧，網(wǎng)站有了一點(diǎn)發(fā)展，用戶(hù)量也增加了，感覺(jué)需要增加服務(wù)器了。再增加一臺(tái)服務(wù)器，抗風(fēng)險(xiǎn)能力一下子加強(qiáng)了許多，畢竟一臺(tái)機(jī)器質(zhì)量再好，也有出錯(cuò)的時(shí)候?，F(xiàn)在，Web 服務(wù)器、DB 服務(wù)器可以考慮引入 HA 的方案，如果單臺(tái)服務(wù)能力夠，主備模式也不錯(cuò)。隨著網(wǎng)站的發(fā)展，服務(wù)器數(shù)量繼續(xù)增加…
隨著服務(wù)器數(shù)量的增加，到了必須要自己購(gòu)買(mǎi)網(wǎng)絡(luò)設(shè)備的時(shí)候了。同樣的設(shè)備，一買(mǎi)恐怕就要買(mǎi)雙份，原因無(wú)它–一臺(tái)總要出錯(cuò)，哪怕是電源被拔錯(cuò)–而這樣的情況實(shí)際上并不少見(jiàn)。如果預(yù)算不夠，那就再等等，但是要記住，定期審查，有可能的話(huà)，進(jìn)行彌補(bǔ)總不會(huì)錯(cuò)。
到現(xiàn)在，所有的服務(wù)器都還在一個(gè) IDC 呢，IDC 本身也是個(gè)單點(diǎn)啊，服務(wù)器被黑怎么辦? 機(jī)房光線(xiàn)被施工工人挖斷怎么辦? 機(jī)房停電怎么辦? 找第二個(gè)機(jī)房吧?，F(xiàn)在選 IDC 首先要考慮什么? 中國(guó)特色的互聯(lián)網(wǎng)問(wèn)題總要考慮吧，”南北互通”怎么樣…或許在選擇第一個(gè)機(jī)房的時(shí)候已經(jīng)遇到了類(lèi)似的問(wèn)題，或許現(xiàn)在正在受到這個(gè)問(wèn)題的困擾。選好 IDC 之后，首先計(jì)劃一下數(shù)據(jù)如何備份過(guò)來(lái)，然后，網(wǎng)站的配置信息如何同步或備份過(guò)來(lái)(這是保證第一個(gè) IDC 出了致命問(wèn)題之后的最基本的恢復(fù)要求)。多個(gè) IDC 之后不得不提上議程的要算 DNS 這個(gè)事兒了。你的 DNS 解析商靠譜么? 如果域名提供商遭受攻擊，對(duì)自己的網(wǎng)站影響能承受么?
更多的服務(wù)器，提供更多的應(yīng)用，更多的用戶(hù)，更多的收入… 接下來(lái)該怎么辦呢? 現(xiàn)在，您所面對(duì)的已經(jīng)不是一個(gè)小型 Web 站點(diǎn)了，可以不用看這篇文章了。
到現(xiàn)在，我還沒(méi)說(shuō)人的問(wèn)題，如果這些信息只有一個(gè)人知道，萬(wàn)一這個(gè)人出了點(diǎn)事情怎么辦? 作為老板，還要考慮人的單點(diǎn)問(wèn)題。
Updated: DNS 的健康程度檢查重要性應(yīng)該提升一些。如何檢查？有很多在線(xiàn)的工具可供使用，簡(jiǎn)單直接。
