㈠ Linux網路異常排查思路與方法
處理問題時必定不能盲狙，將所有解決辦法都試上一遍。這生產環境中，解決出現的問題是最優先的事情，當然前提是這問題會影響用戶的使用或即將影響到的。
處理每個問題必然可按具體問題進行分類，根據每一類按對應的解決思路來執行。
但像處理一個網路問題的時候，上至系統防火牆的配置、下至硬體故障。如果處理一個問題都按固定流程來進行的話，那必然效率將非常低下。下為處理網路故障的一般流程。
1、網路硬體問題檢查。 （機率較低）
2、檢查網卡能否正常工作。 （較高、主要表現為人為配置錯誤）
3、檢查區域網之間聯機是否正常。（非常高）
4、檢查DNS是否設定正確。 （較低）
5、服務是否正常打開。 （低）
6、檢查訪問許可權是否打開。 （較高）
假如從1至6是標準的處理網路問題的流程，這樣的處理方式效率低下。處理問題可以有整體的流程，但是實際操作中可先對出現機率更高的步驟進行檢查、或採取2分法縮小產生問題的范圍，雖然上述較的兩個方法不一定對所有問題都試用，但對於大多數的網路問題來說處理效率有者顯著的提升。
個人總結的情況如下。
1、lsmod | grep ip 查看相關的網卡模塊是否已載入
2、ifconfig -a 能使用該命令查找到對應網卡配置信息，則說明網卡驅動程序正常
3、使用ping命令、依次ping自己、ping區域網主機、ping網關
ping自己異常，問題：服務異常、網卡配置未生效
ping區域網主機異常，問題：配置文件有誤、網卡配置未生效、網線損壞
ping網關異常，問題：配置文件有誤、網卡配置未生效
4、當前3步還不能正常上外網的話。所有route查看默認路由表。
處理方法：刪除不必要的路由信息，並保證默認路由是從對應網關地址出去的。
5、臨時停止iptables服務、SELinux服務、NetworkManager服務
6、如能上網但訪問域名有異常時，那將需要檢查/etc/hosts、/etc/resolv.conf兩個配置
7、假如以上6步檢查完畢之後，還發現不能上網。有如下可能。
7.1、主機MAC地址被路由器禁止上網
7.2、外網服務異常。如寬頻賬號欠費、光纖被挖斷等物理攻擊。
㈡ linux系統重啟網卡後網路不通（NetworkManager篇）
<div style="font-weight: 400;"> <span></span> <h1>個人博客:<a href="https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fwww.mianshi.host" target="_blank" rel="nofollow">點擊這里進入</a></h1> <span></span> <h3>一.故障現象</h3> <blockquote> <p>RHEL7.6系統，使用nmcli綁定雙網卡後，再使用以下命令重啟network服務後主機網路異常，導致無法通過ssh遠程登錄系統。</p> </blockquote> <p> <code># systemctl restart network</code></p><span></span> <h3>二.理論知識</h3> <blockquote> <p>Network service的制御網路介面配置信息改動後，網路服務必須從新啟動，來激活網路新配置的使得配置生效，這部分操作和從新啟動系統時時一樣的作用。制御（控制）是/etc/init.d/network這個文件，可以用這個文件後面加上下面的參數來操作網路服務。例如： <code># /etc/init.d/network restart</code> 同樣也可以用service這個命令來操作網路服務例如： <code># service network restart</code> <code># systemctl restart network</code> (NetworManager)是檢測網路、自動連接網路的程序。無論是無線還是有線連接，它都可以令您輕松管理。對於無線網路,網路管理器可以自動切換到最可靠的無線網路。利用網路管理器的程序可以自由切換在線和離線模式。網路管理器可以優先選擇有線網路，支持 VPN。網路管理器最初由 Redhat 公司開發，現在由 GNOME 管理</p> </blockquote><span></span> <h3>三.環境分析</h3> <blockquote> <p>系統版本：Red Hat Enterprise Linux Server release 7.6 內核版本：3.10.0-957.el7.x86_64 硬體類型：Huawei 2288H V5 首先檢查系統網路配置，該系統配置兩塊bonding設備，分別是： bond0：業務網路 bond1： Oracle RAC心跳網路 分析系統日誌，當重啟network服務時（systemctl restart network），系統messages日誌中無明顯異常,測試發現，當停止NetworkManager服務後，問題現象消失，即執行如下操作：</p> </blockquote> <p> <code># systemctl stop NetworkManager</code></p> <blockquote> <p>此時再次重啟network服務：</p> </blockquote> <p> <code># systemctl restart network</code></p> <blockquote> <p>可以很快ping通bond0的業務地址10.116.6.194。 進一步分析發現，如果不停止NetworkManager服務，而是修改網卡配置文件，在bonding網卡和組成bonding的slave網卡的配置文件中增加一行配置,也可以解決該問題。</p> </blockquote> <p> <code>NM_CONTROLLED=no</code></p> <blockquote> <p>參考紅帽RHEL7配置網卡bonding的官方文檔： <a href="https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Faccess.redhat.com%2Fdocumentation%2Fen-us%2Fred_hat_enterprise_linux%2F7%2Fhtml%2Fnetworking_guide%2Fsec-network_bonding_using_the_command_line_interface" target="_blank" rel="nofollow">https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/networking_guide/sec-network_bonding_using_the_command_line_interface</a> 可以看到，官方文檔的配置示例中設置了NM_CONTROLLED=」no」: <img src="https://upload-images.jianshu.io/upload_images/24736011-d9a54d4b359b41d0.png" alt=""> <img src="https://upload-images.jianshu.io/upload_images/24736011-466df81c683a5113.png" alt=""></p> </blockquote><span></span> <h3>四.原廠問題建議</h3> <blockquote> <p>該問題是由於NetworkManager服務引起，可以通過如下兩種方法解決：</p> </blockquote> <ul> <li>在網卡配置文件中增加參數NM_CONTROLLED=no（「no」的引號可以不寫），設置後重啟network服務生效。設置NM_CONTROLLED=no的目的是將網路設備脫離NetworkManager服務的管理，設置後該網路設備僅由network服務管理，不受NetworkManager服務控制，因而nmcli命令對該網路設備不再生效；</li> <li>停止並禁用NetworkManager服務，停用後所有網路設備由network服務管理，不能通過nmcli命令來管理網路設備:</li> </ul> <p> <code># systemctl stop NetworkManager</code> <code># systemctl disable NetworkManager</code></p><span></span> <h3>五.解決方案</h3> <blockquote> <p>據上所述，可關閉NetworkManager服務或在BOND配置文件中添加參數，但因環境需要，需使用nmcli命令，故無法關閉NetworkManager，在多輪測試中進行思考，既然NetManager與network服務沖突，但nmcli命令屬於NetworkManager，systemctl一般用來管理network，考慮兩者管理命令可能也存在沖突後進行了一波測試，使用NetworkManager的nmcli進行網卡的重啟操作，使用以下命令後，網路可以即刻ping通並通過SSH連接</p> </blockquote> <p> <code># nmcli connection down 網口名稱</code> <code># nmcli connection up 網口名稱</code></p><span></span> <h3>六.結論</h3> <blockquote> <p>因NetworkManager與network服務存在沖突，且雙網卡綁定時所使用的的nmcli進行綁定，nmcli歸屬於NetworkManager，故重啟網卡時應用nmcli命令up/down，不應使用systemctl進行網卡重啟</p> </blockquote>㈢ linux信號32異常退出
linux信號32異常退出原因：
1、磁碟故障：I/O錯誤通常是由磁碟或文件系統中出現的問題引起的。這會導致Linux無法正常讀取或寫入數據。例如，一個壞簇或黑板區可以阻止你訪問文件系統中的一些文件。
2、網路問題：如果嘗試從網路文件共享中讀取文件然後遇到錯誤32，這可能表明伺服器端出現了故障或者是網路連接存在問題。
3、許可權問題：如果試圖訪問一個受保護的文件，而沒有足夠的許可權，那麼會發生此錯誤。這通常是由於沒有正確的用戶許可權，而導致Linux無法訪問該文件。
㈣ linux 發送流量異常
1. 使用iftop工具查出來是哪些個IP地址在請求主機的帶寬資源，找出耗帶寬的元兇
2. 找出耗帶寬的IP地址或者段，分析是out方向還是in方向，使用iptables規則來進行控制
具體的詳細操作方法如下；
一但出現帶寬被惡意請求，在帶寬被請滿的情況下基本上很難通過網路登入到伺服器上進行操作跟維護，這時我們需要通過阿里雲提供的「連接管理終端」服務來登入系統
一般建議在主機正常的時候直接在伺服器內部安裝好iftop工具，這樣出現惡意請求的時候直接可以使用該工具來進行排查，下面介紹下iftop的2中安裝方法
1.使用yum 安裝iftop工具
使用yum安裝的話比較簡單，只要直接執行 yum install iftop –y命令即可，如果沒問題的話系統就會自動執行安裝，但是有使用yum可能安裝不了，這時就需要使用編譯安裝了
2.編譯安裝iftop工具
(1)下載iftop工具的源碼包；
http://oss.aliyuncs.com/aliyunecs/iftop-0.17.tar.gz
(2)CentOS下安裝所需的依賴包
yum install flex byacc libpcap ncursesncurses-devel libpcap-devel
(3 解壓縮下載的iftop文件
tarzxvf iftop-0.17.tar.gz
(4 進入到解壓的的iftop目錄中
cdiftop-0.17
配置並制定安裝目錄為/usr/local/iftop目錄下
(5./configure –prefix=/usr/local/iftop
(6)編譯並安裝
make && make install
安裝完成以後直接使用/usr/local/iftop/sbin/iftop 啟動iftop程序查看流量使用情況，如果想使用iftop的方式直接開啟程序，需要將iftop的程序添加到環境變數中即可
結合使用iptables服務來限制惡意請求的流量；
iftop –i eth1 查看eth1這塊外網網卡的流量使用情況
通過上面這張信息很清楚的看到，121.199這台伺服器一直往192.230.123.101 這個地址發送流量，而且出去產生的流量相當大，幾乎把整個出網帶寬都給耗盡了
查到了惡意請求的原因跟目標主機以後，我們就可以使用iptables服務來對這種惡意行為進行限制了，因為從查看到的數據看主要的流量是從out方向出去的，那就直接在OUT方向設置策略
Iptables -A OUTPUT -d 192.230.123.101 –j REJECT
這里可能還會發現一個情況就是禁用了這個1個IP以後可能這個段的其它IP地址都有可能馬上就接上繼續請求，那就可以針對一個段來進行限制
iptables-A OUTPUT -d 192.230.0.0/16 -j REJECT
策略加上以後可以再使用iftop –i eth1 來查看流量的請求情況；
可以查看到流量已經恢復了正常，之前的惡意請求的地址都已經被防火牆給屏蔽了，效果比較好
另外iftop還有很多的參數可以實現比較多的功能，有時間的話可以研究研究，對排查網路流量攻擊以及掌控流量使用很有幫助的