聊一聊垃圾佬的家庭組網（家裡開IDC系列）：快把乾貨帶回家！

話說在前頭，每個人對家庭網路的需求是不一樣的，合適自己最好。我也不是什麼專業玩家，純屬興趣愛好，本篇文章以分享為主。下面為本人的觀點，難免會有些認知誤區，煩請大佬指點下，但是拒絕槓精。 你槓你對。

有些大型任務，單機效能是很難勝任，需要多機一起跑任務。 剛才也提到硬碟速度很快，因此多臺機器之間互聯速度對於整體叢集效能發揮至關重要。Top 500萬的超算絕大部分是靠機器堆起來的，所以內部高速互聯（網路）是不可缺的一個環節。本人也是照著超算的思路在家搭建這麼一套的東西，和真正的超算差太遠了（畢竟凝聚了無數人的智慧，非常先進）。 本人也是在摸索，覺得非常有意思就把過程分享下。

交換機

先從交換機說吧，網路中最重要的一部分。就跟字面意思，能讓你在內網從A電腦傳資料到B電腦，就這麼簡單。A電腦和B電腦很大程度上取決於埠速度和中間連結速度。你埠速度是萬兆並且能跑到萬兆水平，中間是千兆交換機的話，那麼你整個傳輸過程中就是千兆水平（木桶效應）。因此有一個高速率的交換機是很好選擇，它甚至能保證你未來幾年使用不落伍。你可以把交換機類比道路，再想象一下中國為什麼是基建狂魔 （這樣做能給國家帶來什麼好處）。你就能明白我為什麼會瘋狂升級交換機。一臺超高吞吐量的交換機在部分人手上非常有價值不代表在你手上就一定有價值！不要再問類似 “有用嗎” 的話！

你可以去Ethernet Roadmap看看自己有沒有落伍。目前頭部IDC 核心交換機應該是400G的。看似和普通人很遙遠，但其實你生活日常上網都少不了IDC的作用。

記得去年五月份，我把NAS升級到10G，並買了一臺CRS305四口萬兆小交換機。本以為能夠我用好長好長時間。事實證明我確實低估了需求的變化。

結果是不到兩年時間，我把千兆升級到萬兆交換機 （CRS305 + LB6M） 升1級到12口40G（SX6012）再升級到36口40G（SX6036）， 最近又買32口100G （SN2700）。 方便大家理解是這樣： 1000M -> 10G -> 40G/56G -> 100G 。 得益於強大的交換機，我在部署和轉移叢集還有使用過程中幾乎沒掉過鏈子 （這裡悄咪咪說下俺的叢集很猛的）。目前網絡卡基本用的是Mellanox CX3系列。分別是CX341和HP 544+， 本垃圾佬的最愛，幾乎任何系統都能免驅執行 。 折騰了兩年仍舊樂不知疲。上面大部分裝置是透過二手交易網站購買的，全新我買不起。

我目前在用的交換機大部分是Mellanox的，預設帶有MLNX-OS，帶WEB管理。迄今我見過配置最便利的交換機，Vlan的什麼在網頁上點點點就好了，功耗也非常漂亮，即使SX60XX系列用的是上古PowerPC處理器 （效能拉跨還熱炸） 也能把功耗控制在合理範圍內，風扇控制到低轉速噪音還能接受，非常合適家用。我吹爆。聽說ubnt交換機（網路裝置）也非常好用，確實，我看那個web管理頁面還有那個小螢幕很酷炫。我看了閒魚價格直接打擾了，土豪請隨意。反正在我眼裡ubnt簡直就是網路界的奢侈品。

以下是我目前的交換機，最上面是SX6012，第二層是SX6036，第三層是SN2700。都是mellanox家的。最下面是朋友的24盤全NVME的2U伺服器，跟本片文章無關忽視就行。

簡單介紹下，SN2700是一臺32口 100G 乙太網交換機， Mellanox好像從這代開始區分ETH IB兩種交換機，開頭分別是SN和SB，想入坑的小夥伴們需要注意了。之前SX6012 & SX6036都是同時支援ETH IB兩種模式，雖然不咋用IB但感覺略有點遺憾。但總之來說是一臺令我興奮的電子裝置之一。它代表著未來 （雖然是被某某資料中心淘汰下來的裝置，有點懷疑是倒閉的，機器是20年的）。而且Mellanox交換機特別舒服的一點是能向下相容很多速率，從下圖主頁上可以看到：Supported speeds： 1G 10G 25G40G 50G 56G 100G，基本把100G以下速率全支援了，2。5G給我爬。 也就是說我現在能完全放心把SN2700替換掉我現有的SX6036交換機，完全支撐我目前的叢集結構並且給未來升級100G做基礎 （雖然少了四個埠，不過打算把一些老舊裝置淘汰掉）。

還是說下我家目前大致網路結構把，為了方便理解我還是上圖，叢集那邊目前用的是SX6036 36口交換機做核心交換機，上面接路由器，下面帶一大堆機器跑服務，還有個千兆交換機是5228F用來接伺服器的IPMI。桌面上是 SX6012 12口交換機 + CRS305 4口萬兆交換機（聊勝於無），來滿足本人上網需求。叢集到我桌面有一段距離，所以核心交換機和桌面交換機中間拉了兩條30米MPO光纖互聯。

叢集那邊核心交換機是SX6036，用了一大半的介面。其中一部分介面做一份四口萬兆。

下圖是我桌面上面的交換機，都是之前淘汰下來的 ，同時這圖也足夠說明我這光纖覆蓋達到比較恐怖的水平。這裡說一個比較有趣的小玩意。藍色那個小盒子叫光纖小模組塑膠盒子，閒魚上50買的，你買過來可以當交換機的DLC，SX60XX交換機是可以支援拆分的，比如100G拆四個25G，40G拆四個10G，用的比較多。你只需要買一根MPO 和一個光模組接這個小盒子上，就可以獲得真正意義上0功耗0噪音的四口萬兆口交換機，還帶40G/100G上聯。秒殺CRS305。這兩臺交換機我都不打算賣了，分別是我第一臺萬兆交換機和40G交換機，對我來說意義非凡。

免得有部分人覺得我上這麼好交換機沒意義，我放一臺全閃儲存機的SMB Server監控，單位Bytes/sec。你們可以自己算算速度多少。目前絕大部分家用級別的網路裝置都帶不動我家的小型叢集。我之前在文章中講過這個高效能儲存機器的細節。有興趣的可以去看看。

其實100G的話，有其他更便宜的交換機選擇。比如Celestica DX010和Edge core的100G靈車交換機。但是聽說系統用的是SONiC

SONiC 是一個OCP專案，目的是幫助大型雲服務商快速部署大規模交換機叢集。看到這裡就明白和家用無緣。每個廠家提供的支援是不一樣的。如果你是linux高手並且熟知網路知識，你可以挑戰一下把專門為雲伺服器設計的交換機來使用。

路由器

路由器可能大家都比較熟悉了，網上相關路由器教程文章滿天飛，我也不多說什麼了，直接上配置。

核心思想還是低成本，收的二手HPE 360 Gen 9做軟路由， 是一臺雙路E5 V3/V4 的 1U 伺服器。價格極其低廉同時是一臺正規伺服器，可靠性有保障，開機自檢超久的。準系統600元買的加上其他亂七八糟的差不多一千多搞定，上面自帶四口千兆口，塞了544+ 雙口 40G和CX341 雙口 10G 網絡卡進去，並且預留pcie3。0 x16介面給未來100G網絡卡用，如果配齊第二個riser卡還能再塞個25G網絡卡進去，但是我不會考慮25G。 下面直接上系統配置圖。物理機裝愛快做軟路由效能相當不錯，而且有虛擬機器，我把部分比較重要且不吃效能的服務跑在軟路由上。

別跟我扯什麼軟路由不可靠之類的，小包效能巴拉巴拉。也不去看看硬路由價格上天，我硬性要求就是帶40G （甚至100G） 的介面同時能做流控。能做到這種配置的硬路由價格都夠買十臺軟路由了吧？我又不是真開IDC的，家裡跑的玩意不至於重要到7 * 24小時都不能停下來那種。弄兩臺軟路由做熱備就很夠用 （實際上我就是這麼做的，兩臺配置一模一樣的伺服器做軟路由，不過是一主一冷備）。至於小包效能，我覺得你可能需要同時玩幾十個遊戲才能感覺出瓶頸。而且我home就三人而已。這個需求不高。軟路由上帶有 40G/100G 介面是硬需求。等什麼時候硬路由便宜了再說。我只看價格。

我直接說結論：硬路由下限很低，50塊錢就可以買到7621的路由器，確實是價效比神器，我也買了一臺。但是上限也非常高，今年移動招標裡面高效能路由器一臺九千萬人民幣。有正常人會自己買這種逆天硬路由器嗎？？？？？而且人家賣不賣你還是兩說。不考慮價格肯定硬路由牛逼。軟路由器為啥會出現你自己琢磨去。

順便提一句話X99 跑TNSR做軟路由的話，跑512Byte 不加密可以跑到100G速度的（DPDK）， 很可惜這路由系統只能在cli上配置，對於我來說使用有點難度。同時我正在尋找能跑到100G的軟路由可行方案。如果大家知道的話歡迎在評論中留言或者PM我，我會非常感興趣。

WIFI

至於無線，我就很佛系。用的是路邊攤買的TP路由器做AP （就一個），便宜 + 天線多就行，一百多買的已經穩定用了快一年半了。移動裝置基本就手機筆記本，絕大部分都是能上網就行。實測覆蓋整個房間沒啥問題。 能用有線的就用有線。所以基本不考慮mesh等等牛神馬鬼玩意，下次升級也是換訊號更強的路由器做AP。移動裝置就那丁點效能不夠看更沒必要給高寬頻。夠看小影片就行，反正我不care （投入和帶來的收益不成正比）

後續有需求的話我可能會考慮換Tplink新推出的盛世路由器做AP。 非常高階的一臺路由器，同時B站上也有人拿這個和華為最頂級的AP做對比（家用環境）。

其他

家裡開IDC的好處就是我可以主宰一切，各種靈魂走線。想換啥裝置就換啥裝置，想玩啥花樣就玩啥花樣，想用啥系統就用啥系統，只有我說了算，沒人能管得了我。所以我基本不怎麼畫網路拓撲圖 （雖然前期嘗試畫過，但是網路結構一天一變，今天升級這個明天升級哪個，後來索性不畫了，拿小本本記IP就行了）

騷操作比如四口56G口匯聚一起 疊疊樂

給小白的建議

扯了這麼多就隨便說點建議的話吧。不管怎麼說我也是從千兆開始的一路打怪升級到100G，我想我在這方面還是有點發言權。

你看完上面就明白我每次網路升級基本都要大改。先說千兆升級萬兆這過程把，我是從電口千兆直接升級到光纖萬兆，我很清楚電口是有2。5G 和萬兆，不用換線就可以輕鬆實現。但是電口對我來說侷限性太大，所以我就直接換光纖，換來翻倍的效能和超高性價比，沒有任何妥協。萬兆升級到40G也是同理，光纖由LC直接換成MPO，只為戰未來。所以這就是我為什麼直接跳過2。5G 和25G的原因。

這裡補一個知識點給小白看。 就先拿多模來說，標準萬兆光口介面是SFP+，用的是LC光纖，上面有兩根纖，是一對收發。然後40G用的介面是QSFP，用的是MPO光纖，內部由八根纖組成一根MPO光纖，是四對收發。你搞清這個關係就知道40G其實是由四根10G組合起來的，不明白就看下圖MPO一份四LC，左邊是MPO接頭，右邊LC接頭。前者要四對收發，後者要一對收發。所以你要從萬兆升級到40G，是需要換光纖的。如果是升級到25G，那是不需要換。這樣你就很容易明白一個邏輯，10G是40G的子集，同理25G也是100G的子集。就目前來說10G升級到25G已經到頭了，除非換光纖。SO，我目前只有40G升級到100G是無縫升級的。

再說一個事實，我千兆電口升級光口萬兆，成本是遠比升級2。5G低，效能是2。5G的四倍。從萬兆光口升級到40G，也一樣是成本比25G低。這是垃圾佬的優勢之一。普通人家用沒特別需求的話，千兆/2。5G就非常夠用。如果你覺得千兆不夠用，建議跳過2。5G 直接升級萬兆。萬兆不夠用，請升級40G，跳過25G。需要注意一點，這適用家庭或者小工作室，畢竟在家裡你應付一下家人也不是什麼難事。在公司可不一樣哦，要走審批和流程，除非你是boss可以隨心所欲。

如果你是在公司，請記住一點，人工成本永遠是大頭，以上經驗不適用你的情況，請找專業人士來根據需求做方案。

很多人說功耗的問題。我這裡只想說一句，伺服器被設計出來是拿來用的，而不是讓你待機浪費電的。

好多人問價格，其實這個你們動動手指到二手交易網站自己查查就知道了，而且二手物品，一天一個價格，就跟古玩一樣，甚至有賣家都不知道自己賣的啥玩意被識貨的買家撿漏了。我就挑幾個我個人感覺比較有代表性的交換機的價格並且稍微評價下供參考。

10G交換機： 50美元EDGE-CORE 5700-96X， 96口萬兆交換機，ebay上有賣。全新的，這種級別交換機能原價買回來並用上1/4的介面的話，我實在是想不出來有啥比這個更有價效比的了。

40G 交換機： 100-200美元 SX6012/SX6036。 mellanox交換機， ebay上有賣，都是二手，橙色看人品。

100G 交換機： 300-500美元 DX010， 32口100G交換機，還是再ebay上。聽說比較靈車，但這價位能用的話就是真香機