開發(fā)一個(gè)分布式文件系統(tǒng)需要多方努力，但是如果能準(zhǔn)確地解決問題，它就是無價(jià)的。Ceph 的目標(biāo)簡單地定義為：可輕松擴(kuò)展到數(shù) PB 容量，對(duì)多種工作負(fù)載的高性能（每秒輸入/輸出操作[IOPS]和帶寬）。
不幸的是，這些目標(biāo)之間會(huì)互相競爭（例如，可擴(kuò)展性會(huì)降低或者抑制性能或者影響可靠性）。Ceph 開發(fā)了一些非常有趣的概念（例如，動(dòng)態(tài)元數(shù)據(jù)分區(qū)，數(shù)據(jù)分布和復(fù)制），這些概念在本文中只進(jìn)行簡短地探討。Ceph 的設(shè)計(jì)還包括保護(hù)單一點(diǎn)故障的容錯(cuò)功能，它假設(shè)大規(guī)模（PB 級(jí)存儲(chǔ)）存儲(chǔ)故障是常見現(xiàn)象而不是例外情況。最后，它的設(shè)計(jì)并沒有假設(shè)某種特殊工作負(fù)載，但是包括適應(yīng)變化的工作負(fù)載，提供最佳性能的能力。它利用 POSIX 的兼容性完成所有這些任務(wù)，允許它對(duì)當(dāng)前依賴 POSIX 語義（通過以 Ceph 為目標(biāo)的改進(jìn)）的應(yīng)用進(jìn)行透明的部署。最后，Ceph 是開源分布式存儲(chǔ)，也是主線 Linux 內(nèi)核（2.6.34）的一部分。
現(xiàn)在，讓我們探討一下 Ceph 的架構(gòu)以及高端的核心要素。然后我會(huì)拓展到另一層次，說明 Ceph 中一些關(guān)鍵的方面，提供更詳細(xì)的探討。
Ceph 生態(tài)系統(tǒng)可以大致劃分為四部分（見圖 1）：客戶端（數(shù)據(jù)用戶），元數(shù)據(jù)服務(wù)器（緩存和同步分布式元數(shù)據(jù)），一個(gè)對(duì)象存儲(chǔ)集群（將數(shù)據(jù)和元數(shù)據(jù)作為對(duì)象存儲(chǔ)，執(zhí)行其他關(guān)鍵職能），以及最后的集群監(jiān)視器（執(zhí)行監(jiān)視功能）。

如圖所示，客戶使用元數(shù)據(jù)服務(wù)器，執(zhí)行元數(shù)據(jù)操作（來確定數(shù)據(jù)位置）。元數(shù)據(jù)服務(wù)器管理數(shù)據(jù)位置，以及在何處存儲(chǔ)新數(shù)據(jù)。值得注意的是，元數(shù)據(jù)存儲(chǔ)在一個(gè)存儲(chǔ)集群（標(biāo)為 “元數(shù)據(jù) I/O”）。實(shí)際的文件 I/O 發(fā)生在客戶和對(duì)象存儲(chǔ)集群之間。這樣一來，更高層次的 POSIX 功能（例如，打開、關(guān)閉、重命名）就由元數(shù)據(jù)服務(wù)器管理，不過 POSIX 功能（例如讀和寫）則直接由對(duì)象存儲(chǔ)集群管理。
另一個(gè)架構(gòu)視圖由圖 2 提供。一系列服務(wù)器通過一個(gè)客戶界面訪問 Ceph 生態(tài)系統(tǒng)，這就明白了元數(shù)據(jù)服務(wù)器和對(duì)象級(jí)存儲(chǔ)器之間的關(guān)系。分布式存儲(chǔ)系統(tǒng)可以在一些層中查看，包括一個(gè)存儲(chǔ)設(shè)備的格式（Extent and B-tree-based Object File System [EBOFS] 或者一個(gè)備選），還有一個(gè)設(shè)計(jì)用于管理數(shù)據(jù)復(fù)制，故障檢測，恢復(fù)，以及隨后的數(shù)據(jù)遷移的覆蓋管理層，叫做 Reliable Autonomic Distributed Object Storage（RADOS）。最后，監(jiān)視器用于識(shí)別組件故障，包括隨后的通知。

示例系統(tǒng)資源
**CEPH-STORAGE**
OS: CentOS Linux 7 (Core)
RAM:1 GB
CPU:1 CPU
DISK: 20
Network: 45.79.136.163
FQDN: ceph-storage.linoxide.com
**CEPH-NODE**
OS: CentOS Linux 7 (Core)
RAM:1 GB
CPU:1 CPU
DISK: 20
Network: 45.79.171.138
FQDN: ceph-node.linoxide.com
安裝前的配置
在安裝 Ceph 存儲(chǔ)之前，我們要在每個(gè)節(jié)點(diǎn)上完成一些步驟。第一件事情就是確保每個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)已經(jīng)配置好并且能相互訪問。

配置 Hosts

要在每個(gè)節(jié)點(diǎn)上配置 hosts 條目，要像下面這樣打開默認(rèn)的 hosts 配置文件（LCTT 譯注：或者做相應(yīng)的 DNS 解析）。
 

安裝 VMware 工具

工作環(huán)境是 VMWare 虛擬環(huán)境時(shí)，推薦你安裝它的 open VM 工具。你可以使用下面的命令安裝。
 

配置防火墻

如果你正在使用啟用了防火墻的限制性環(huán)境，確保在你的 Ceph 存儲(chǔ)管理節(jié)點(diǎn)和客戶端節(jié)點(diǎn)中開放了以下的端口。

你必須在你的 Admin Calamari 節(jié)點(diǎn)開放 80、2003、以及4505-4506 端口，并且允許通過 80 號(hào)端口訪問到 Ceph 或 Calamari 管理節(jié)點(diǎn)，以便你網(wǎng)絡(luò)中的客戶端能訪問 Calamari web 用戶界面。

你可以使用下面的命令在 CentOS 7 中啟動(dòng)并啟用防火墻。
 

運(yùn)行以下命令使 Admin Calamari 節(jié)點(diǎn)開放上面提到的端口。

在 Ceph Monitor 節(jié)點(diǎn)，你要在防火墻中允許通過以下端口。

然后允許以下默認(rèn)端口列表，以便能和客戶端以及監(jiān)控節(jié)點(diǎn)交互，并發(fā)送數(shù)據(jù)到其它 OSD。

如果你工作在非生產(chǎn)環(huán)境，建議你停用防火墻以及 SELinux 設(shè)置，在我們的測試環(huán)境中我們會(huì)停用防火墻以及 SELinux。

系統(tǒng)升級(jí)

現(xiàn)在升級(jí)你的系統(tǒng)并重啟使所需更改生效。
 

設(shè)置 Ceph 用戶
現(xiàn)在我們會(huì)新建一個(gè)單獨(dú)的 sudo 用戶用于在每個(gè)節(jié)點(diǎn)安裝 ceph-deploy工具，并允許該用戶無密碼訪問每個(gè)節(jié)點(diǎn)，因?yàn)樗枰?Ceph 節(jié)點(diǎn)上安裝軟件和配置文件而不會(huì)有輸入密碼提示。

運(yùn)行下面的命令在 ceph-storage 主機(jī)上新建有獨(dú)立 home 目錄的新用戶。
 

節(jié)點(diǎn)中新建的每個(gè)用戶都要有 sudo 權(quán)限，你可以使用下面展示的命令賦予 sudo 權(quán)限。

設(shè)置 SSH 密鑰
現(xiàn)在我們會(huì)在 Ceph 管理節(jié)點(diǎn)生成 ssh 密鑰并把密鑰復(fù)制到每個(gè) Ceph 集群節(jié)點(diǎn)。

在 ceph-node 運(yùn)行下面的命令復(fù)制它的 ssh 密鑰到 ceph-storage。
 

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
5b:*:*:*:*:*:*:*:*:*:c9 root@ceph-node
The key's randomart image is:
+--[ RSA 2048]----+

配置 PID 數(shù)目
要配置 PID 數(shù)目的值，我們會(huì)使用下面的命令檢查默認(rèn)的內(nèi)核值。默認(rèn)情況下，是一個(gè)小的最大線程數(shù) 32768。

如下圖所示通過編輯系統(tǒng)配置文件配置該值為一個(gè)更大的數(shù)。

配置管理節(jié)點(diǎn)服務(wù)器
配置并驗(yàn)證了所有網(wǎng)絡(luò)后，我們現(xiàn)在使用 ceph 用戶安裝 ceph-deploy。通過打開文件檢查 hosts 條目（LCTT 譯注：你也可以用 DNS 解析來完成）。
 

ceph-storage 45.79.136.163
ceph-node 45.79.171.138
運(yùn)行下面的命令添加它的庫。

或者創(chuàng)建一個(gè)新文件并更新 Ceph 庫參數(shù)，別忘了替換你當(dāng)前的 Release 和版本號(hào)。
 

之后更新你的系統(tǒng)并安裝 ceph-deploy 軟件包。

安裝 ceph-deploy 軟件包
我們運(yùn)行下面的命令以及 ceph-deploy 安裝命令來更新系統(tǒng)以及最新的 ceph 庫和其它軟件包。
 

配置集群
使用下面的命令在 ceph 管理節(jié)點(diǎn)上新建一個(gè)目錄并進(jìn)入新目錄，用于收集所有輸出文件和日志。

如果成功執(zhí)行了上面的命令，你會(huì)看到它新建了配置文件。

現(xiàn)在配置 Ceph 默認(rèn)的配置文件，用任意編輯器打開它并在會(huì)影響你公共網(wǎng)絡(luò)的 global 參數(shù)下面添加以下兩行。
 

安裝 Ceph
現(xiàn)在我們準(zhǔn)備在和 Ceph 集群關(guān)聯(lián)的每個(gè)節(jié)點(diǎn)上安裝 Ceph。我們使用下面的命令在 ceph-storage 和 ceph-node 上安裝 Ceph。

處理所有所需倉庫和安裝所需軟件包會(huì)需要一些時(shí)間。

當(dāng)兩個(gè)節(jié)點(diǎn)上的 ceph 安裝過程都完成后，我們下一步會(huì)通過在相同節(jié)點(diǎn)上運(yùn)行以下命令創(chuàng)建監(jiān)視器并收集密鑰。
 

設(shè)置 OSD 和 OSD 守護(hù)進(jìn)程
現(xiàn)在我們會(huì)設(shè)置磁盤存儲(chǔ)，首先運(yùn)行下面的命令列出你所有可用的磁盤。
 

結(jié)果中會(huì)列出你存儲(chǔ)節(jié)點(diǎn)中使用的磁盤，你會(huì)用它們來創(chuàng)建 OSD。讓我們運(yùn)行以下命令，請(qǐng)使用你的磁盤名稱。

為了最后完成 OSD 配置，運(yùn)行下面的命令配置日志磁盤以及數(shù)據(jù)磁盤。

你需要在所有節(jié)點(diǎn)上運(yùn)行相同的命令，它會(huì)清除你磁盤上的所有東西。之后為了集群能運(yùn)轉(zhuǎn)起來，我們需要使用以下命令從 ceph 管理節(jié)點(diǎn)復(fù)制不同的密鑰和配置文件到所有相關(guān)節(jié)點(diǎn)。

測試 Ceph
我們快完成了 Ceph 集群設(shè)置，讓我們?cè)?ceph 管理節(jié)點(diǎn)上運(yùn)行下面的命令檢查正在運(yùn)行的 ceph 狀態(tài)。

HEALTH_OK
如果你在 ceph status 中沒有看到任何錯(cuò)誤信息，就意味著你成功地在 CentOS 7 上安裝了 ceph 存儲(chǔ)集群。