Linux 系統(tǒng)日志
許多有價值的日志文件都是由 Linux 自動地為你創(chuàng)建的。你可以在 /var/log 目錄中找到它們。下面是在一個典型的 Ubuntu 系統(tǒng)中這個目錄的樣子：

一些最為重要的 Linux 系統(tǒng)日志包括：

/var/log/syslog 或 /var/log/messages 存儲所有的全局系統(tǒng)活動數(shù)據(jù)，包括開機(jī)信息。基于 Debian 的系統(tǒng)如 Ubuntu 在 /var/log/syslog 中存儲它們，而基于 RedHat 的系統(tǒng)如 RHEL 或 CentOS 則在 /var/log/messages 中存儲它們。
/var/log/auth.log 或 /var/log/secure 存儲來自可插拔認(rèn)證模塊(PAM)的日志，包括成功的登錄，失敗的登錄嘗試和認(rèn)證方式。Ubuntu 和 Debian 在 /var/log/auth.log 中存儲認(rèn)證信息，而 RedHat 和 CentOS 則在 /var/log/secure 中存儲該信息。
/var/log/kern 存儲內(nèi)核的錯誤和警告數(shù)據(jù)，這對于排除與定制內(nèi)核相關(guān)的故障尤為實用。
/var/log/cron 存儲有關(guān) cron 作業(yè)的信息。使用這個數(shù)據(jù)來確保你的 cron 作業(yè)正成功地運行著。
Digital Ocean 有一個關(guān)于這些文件的完整教程，介紹了 rsyslog 如何在常見的發(fā)行版本如 RedHat 和 CentOS 中創(chuàng)建它們。

應(yīng)用程序也會在這個目錄中寫入日志文件。例如像 Apache，Nginx，MySQL 等常見的服務(wù)器程序可以在這個目錄中寫入日志文件。其中一些日志文件由應(yīng)用程序自己創(chuàng)建，其他的則通過 syslog (具體見下文)來創(chuàng)建。

什么是 Syslog？
Linux 系統(tǒng)日志文件是如何創(chuàng)建的呢？答案是通過 syslog 守護(hù)程序，它在 syslog 套接字 /dev/log 上監(jiān)聽日志信息，然后將它們寫入適當(dāng)?shù)娜罩疚募小?/p>

單詞“syslog” 代表幾個意思，并經(jīng)常被用來簡稱如下的幾個名稱之一：

Syslog 守護(hù)進(jìn)程 — 一個用來接收、處理和發(fā)送 syslog 信息的程序。它可以遠(yuǎn)程發(fā)送 syslog 到一個集中式的服務(wù)器或?qū)懭氲揭粋€本地文件。常見的例子包括 rsyslogd 和 syslog-ng。在這種使用方式中，人們常說“發(fā)送到 syslog”。
Syslog 協(xié)議 — 一個指定日志如何通過網(wǎng)絡(luò)來傳送的傳輸協(xié)議和一個針對 syslog 信息(具體見下文) 的數(shù)據(jù)格式的定義。它在 RFC-5424 中被正式定義。對于文本日志，標(biāo)準(zhǔn)的端口是 514，對于加密日志，端口是 6514。在這種使用方式中，人們常說“通過 syslog 傳送”。
Syslog 信息 — syslog 格式的日志信息或事件，它包括一個帶有幾個標(biāo)準(zhǔn)字段的消息頭。在這種使用方式中，人們常說“發(fā)送 syslog”。
Syslog 信息或事件包括一個帶有幾個標(biāo)準(zhǔn)字段的消息頭，可以使分析和路由更方便。它們包括時間戳、應(yīng)用程序的名稱、在系統(tǒng)中信息來源的分類或位置、以及事件的優(yōu)先級。

下面展示的是一個包含 syslog 消息頭的日志信息，它來自于控制著到該系統(tǒng)的遠(yuǎn)程登錄的 sshd 守護(hù)進(jìn)程，這個信息描述的是一次失敗的登錄嘗試：
 

Syslog 格式和字段
每條 syslog 信息包含一個帶有字段的信息頭，這些字段是結(jié)構(gòu)化的數(shù)據(jù)，使得分析和路由事件更加容易。下面是我們使用的用來產(chǎn)生上面的 syslog 例子的格式，你可以將每個值匹配到一個特定的字段的名稱上。

下面，你將看到一些在查找或排錯時最常使用的 syslog 字段：

時間戳
時間戳 (上面的例子為 2003-10-11T22:14:15.003Z) 暗示了在系統(tǒng)中發(fā)送該信息的時間和日期。這個時間在另一系統(tǒng)上接收該信息時可能會有所不同。上面例子中的時間戳可以分解為：

2003-10-11 年，月，日。
T 為時間戳的必需元素，它將日期和時間分隔開。
22:14:15.003 是 24 小時制的時間，包括進(jìn)入下一秒的毫秒數(shù)(003)。
Z 是一個可選元素，指的是 UTC 時間，除了 Z，這個例子還可以包括一個偏移量，例如 -08:00，這意味著時間從 UTC 偏移 8 小時，即 PST 時間。
主機(jī)名
主機(jī)名 字段(在上面的例子中對應(yīng) server1.com) 指的是主機(jī)的名稱或發(fā)送信息的系統(tǒng).

應(yīng)用名
應(yīng)用名 字段(在上面的例子中對應(yīng) sshd:auth) 指的是發(fā)送信息的程序的名稱.

優(yōu)先級
優(yōu)先級字段或縮寫為 pri (在上面的例子中對應(yīng) ) 告訴我們這個事件有多緊急或多嚴(yán)峻。它由兩個數(shù)字字段組成：設(shè)備字段和緊急性字段。緊急性字段從代表 debug 類事件的數(shù)字 7 一直到代表緊急事件的數(shù)字 0 。設(shè)備字段描述了哪個進(jìn)程創(chuàng)建了該事件。它從代表內(nèi)核信息的數(shù)字 0 到代表本地應(yīng)用使用的 23 。

Pri 有兩種輸出方式。第一種是以一個單獨的數(shù)字表示，可以這樣計算：先用設(shè)備字段的值乘以 8，再加上緊急性字段的值：(設(shè)備字段)(8) + (緊急性字段)。第二種是 pri 文本，將以“設(shè)備字段.緊急性字段” 的字符串格式輸出。后一種格式更方便閱讀和搜索，但占據(jù)更多的存儲空間。

在 Linux 中使用日志來排錯
登錄失敗原因
如果你想檢查你的系統(tǒng)是否安全，你可以在驗證日志中檢查登錄失敗的和登錄成功但可疑的用戶。當(dāng)有人通過不正當(dāng)或無效的憑據(jù)來登錄時會出現(xiàn)認(rèn)證失敗，這通常發(fā)生在使用 SSH 進(jìn)行遠(yuǎn)程登錄或 su 到本地其他用戶來進(jìn)行訪問權(quán)時。這些是由插入式驗證模塊（PAM）來記錄的。在你的日志中會看到像 Failed password 和 user unknown 這樣的字符串。而成功認(rèn)證記錄則會包括像 Accepted password 和 session opened 這樣的字符串。

失敗的例子:
 

成功的例子：

你可以使用 grep 來查找哪些用戶失敗登錄的次數(shù)最多。這些都是潛在的攻擊者正在嘗試和訪問失敗的賬戶。這是一個在 ubuntu 系統(tǒng)上的例子。

由于沒有標(biāo)準(zhǔn)格式，所以你需要為每個應(yīng)用程序的日志使用不同的命令。日志管理系統(tǒng)，可以自動分析日志，將它們有效的歸類，幫助你提取關(guān)鍵字，如用戶名。

日志管理系統(tǒng)可以使用自動解析功能從 Linux 日志中提取用戶名。這使你可以看到用戶的信息，并能通過點擊過濾。在下面這個例子中，我們可以看到，root 用戶登錄了 2700 次之多，因為我們篩選的日志僅顯示 root 用戶的嘗試登錄記錄。

日志管理系統(tǒng)也可以讓你以時間為做坐標(biāo)軸的圖表來查看，使你更容易發(fā)現(xiàn)異常。如果有人在幾分鐘內(nèi)登錄失敗一次或兩次，它可能是一個真正的用戶而忘記了密碼。但是，如果有幾百個失敗的登錄并且使用的都是不同的用戶名，它更可能是在試圖攻擊系統(tǒng)。在這里，你可以看到在3月12日，有人試圖登錄 Nagios 幾百次。這顯然??不是一個合法的系統(tǒng)用戶。

重啟的原因
有時候，一臺服務(wù)器由于系統(tǒng)崩潰或重啟而宕機(jī)。你怎么知道它何時發(fā)生，是誰做的？

關(guān)機(jī)命令
如果有人手動運行 shutdown 命令，你可以在驗證日志文件中看到它。在這里，你可以看到，有人從 IP 50.0.134.125 上作為 ubuntu 的用戶遠(yuǎn)程登錄了，然后關(guān)閉了系統(tǒng)。
 

內(nèi)核初始化
如果你想看看服務(wù)器重新啟動的所有原因（包括崩潰），你可以從內(nèi)核初始化日志中尋找。你需要搜索內(nèi)核類（kernel）和 cpu 初始化（Initializing）的信息。

檢測內(nèi)存問題
有很多原因可能導(dǎo)致服務(wù)器崩潰，但一個常見的原因是內(nèi)存用盡。

當(dāng)你系統(tǒng)的內(nèi)存不足時，進(jìn)程會被殺死，通常會殺死使用最多資源的進(jìn)程。當(dāng)系統(tǒng)使用了所有內(nèi)存，而新的或現(xiàn)有的進(jìn)程試圖使用更多的內(nèi)存時就會出現(xiàn)錯誤。在你的日志文件查找像 Out of Memory 這樣的字符串或類似 kill 這樣的內(nèi)核警告信息。這些信息表明系統(tǒng)故意殺死進(jìn)程或應(yīng)用程序，而不是允許進(jìn)程崩潰。

例如:
 

你可以使用像 grep 這樣的工具找到這些日志。這個例子是在 ubuntu 中:

請記住，grep 也要使用內(nèi)存，所以只是運行 grep 也可能導(dǎo)致內(nèi)存不足的錯誤。這是另一個你應(yīng)該中央化存儲日志的原因！

定時任務(wù)錯誤日志
cron 守護(hù)程序是一個調(diào)度器，可以在指定的日期和時間運行進(jìn)程。如果進(jìn)程運行失敗或無法完成，那么 cron 的錯誤出現(xiàn)在你的日志文件中。具體取決于你的發(fā)行版，你可以在 /var/log/cron，/var/log/messages，和 /var/log/syslog 幾個位置找到這個日志。cron 任務(wù)失敗原因有很多。通常情況下，問題出在進(jìn)程中而不是 cron 守護(hù)進(jìn)程本身。

默認(rèn)情況下，cron 任務(wù)的輸出會通過 postfix 發(fā)送電子郵件。這是一個顯示了該郵件已經(jīng)發(fā)送的日志。不幸的是，你不能在這里看到郵件的內(nèi)容。
 

你可以考慮將 cron 的標(biāo)準(zhǔn)輸出記錄到日志中，以幫助你定位問題。這是一個你怎樣使用 logger 命令重定向 cron 標(biāo)準(zhǔn)輸出到 syslog的例子。用你的腳本來代替 echo 命令，helloCron 可以設(shè)置為任何你想要的應(yīng)用程序的名字。

*/5 * * * * echo ‘Hello World’ 2>&1 | /usr/bin/logger -t helloCron
它創(chuàng)建的日志條目：
 

每個 cron 任務(wù)將根據(jù)任務(wù)的具體類型以及如何輸出數(shù)據(jù)來記錄不同的日志。

希望在日志中有問題根源的線索，也可以根據(jù)需要添加額外的日志記錄。