本文分享自天翼云開(kāi)發(fā)者社區(qū)《
HP
C中常見(jiàn)的調(diào)度器介紹
》
作者:
土豆炒肉絲
在高性能計(jì)算（ HPC）環(huán)境中，調(diào)度器是負(fù)責(zé)管理和分配計(jì)算資源（如計(jì)算節(jié)點(diǎn)、處理器核心、內(nèi)存等）給待執(zhí)行任務(wù)的重要組件。不同的HPC系統(tǒng)可能使用不同的調(diào)度器，根據(jù)系統(tǒng)架構(gòu)和用戶需求的不同，調(diào)度器有各自的特點(diǎn)和區(qū)別。以下是一些常見(jiàn)的HPC調(diào)度器及其區(qū)別：
1 . SLURM（Simple Linux Utility for Resource Management）：
SLURM是一個(gè)開(kāi)源的HPC調(diào)度器，廣泛應(yīng)用于高校、超算中心等HPC集群。它提供了豐富的功能，包括作業(yè)提交、資源分配、優(yōu)先級(jí)管理、任務(wù)監(jiān)控等。SLURM支持多種作業(yè)調(diào)度策略，如先進(jìn)先出（FIFO）、公平共享（Fairshare）、優(yōu)先級(jí)調(diào)度等。它還支持作業(yè)數(shù)組，可以一次性提交多個(gè)相似的任務(wù)。
2、PBS（Portable Batch System）：
PBS是另一個(gè)流行的HPC調(diào)度器，有商業(yè)版本PBS Professional和開(kāi)源版本Open PBS。它具有強(qiáng)大的靈活性和可擴(kuò)展性，適用于各種規(guī)模的HPC環(huán)境。PBS支持多種調(diào)度策略，如最短作業(yè)優(yōu)先（SJF）、先來(lái)先服務(wù)（FCFS）、優(yōu)先級(jí)調(diào)度等。PBS還可以根據(jù)用戶和組織的需求進(jìn)行自定義配置。
3 . LSF（Load Sharing Facility）：
LSF是一種商業(yè)化的HPC調(diào)度器，由IBM開(kāi)發(fā)。它在大規(guī)模集群中表現(xiàn)出色，支持多種調(diào)度算法，如公平調(diào)度、資源回收、優(yōu)先級(jí)調(diào)度等。LSF還提供了高度可定制的作業(yè)調(diào)度規(guī)則和策略。
4 . Torque/Maui：
Torque是一個(gè)開(kāi)源的HPC調(diào)度器，Torque源于PBS的分支版本，用于管理和調(diào)度計(jì)算資源。Maui是一個(gè)與Torque配套的作業(yè)調(diào)度器，它提供了更高/級(jí)的作業(yè)調(diào)度功能。Torque/Maui組合被廣泛用于中小規(guī)模的HPC集群。
5.GridEngine：
Grid Engine是一種開(kāi)源的HPC調(diào)度器，可以在分布式計(jì)算環(huán)境中進(jìn)行資源管理和作業(yè)調(diào)度。Grid Engine支持多種調(diào)度策略和作業(yè)優(yōu)先級(jí)管理。Grid Engine調(diào)度器最早由SUN公司開(kāi)發(fā)，Oracle將其收購(gòu)后，出現(xiàn)了多個(gè)分支版本，如Univa Grid Engine、Oracle Grid Engine、Open Grid Schedule等。
這些 HPC調(diào)度器之間的區(qū)別主要體現(xiàn)在以下方面：
1. 開(kāi) 源 VS 商業(yè)：一些調(diào)度器是開(kāi)源的，免費(fèi)使用，如 SLURM、Open PBS和Torque，而其他調(diào)度器是商業(yè)化的，需要購(gòu)買授權(quán)，如LSF。
2. 功能和靈活性：不同的調(diào)度器提供不同的功能和靈活性，某些調(diào)度器可能更適合特定類型的 HPC環(huán)境或應(yīng)用場(chǎng)景，如PBS在汽車行業(yè)大量應(yīng)用，LSF對(duì)EDA軟件支持較好，在電子芯片設(shè)計(jì)行業(yè)應(yīng)用廣泛。
3. 性能和可擴(kuò)展性：調(diào)度器的性能和可擴(kuò)展性可能因集群規(guī)模和資源管理復(fù)雜性而有所不同。
4. 配置和管理：調(diào)度器的配置和管理過(guò)程也可能有所不同，一些調(diào)度器可能需要更多的手動(dòng)設(shè)置和維護(hù)。
在選擇 HPC調(diào)度器時(shí)，需要根據(jù)自己的HPC環(huán)境和需求來(lái)做出合適的選擇。無(wú)論使用哪種調(diào)度器，良好的作業(yè)調(diào)度和資源管理都是高性能計(jì)算集群運(yùn)行的關(guān)鍵因素。
