- 論壇徽章:
- 8
|
在 Unix/Linux 系統(tǒng)日常管理和系統(tǒng)維護(hù)的過程中，隨時(shí)可能需要查看 CPU 的使用狀態(tài)，并根據(jù)相應(yīng)信息分析系統(tǒng)狀況，判斷系統(tǒng)的資源使用情況和系統(tǒng)負(fù)載情況。本文在介紹 Unix/Linux 系統(tǒng)中 CPU 相關(guān)機(jī)制和工具的基礎(chǔ)上，對(duì)各工具進(jìn)行了分析比較，并給出了自動(dòng)化監(jiān)控系統(tǒng)環(huán)境和 CPU 利用率的例子代碼供讀者參考。在 AIX 系統(tǒng)的 CPU 使用狀態(tài)監(jiān)控部分，我們將介紹 lparstat，mpstat 等工具。而在 Linux 系統(tǒng) CPU 使用狀態(tài)監(jiān)控部分，我們將重點(diǎn)介紹 /proc 文件系統(tǒng)和 ps 等命令。
了解 AIX 系統(tǒng)中的可用 CPU 資源
AIX 系統(tǒng)中每個(gè)處理器在低位內(nèi)存中有著對(duì)應(yīng)的全局?jǐn)?shù)據(jù)結(jié)構(gòu) PPDA (Per-processor Data Area)，其中存儲(chǔ)了處理器的各種配置信息和運(yùn)行狀態(tài)，比如時(shí)鐘頻率和 CPU 運(yùn)行時(shí)間。AIX 系統(tǒng)接口查詢 PPDA 中的數(shù)據(jù)并提供給終端用戶或者應(yīng)用程序使用。但在進(jìn)行 CPU 監(jiān)控之前，系統(tǒng)用戶首先需要了解當(dāng)前的系統(tǒng)環(huán)境和可用的計(jì)算資源。對(duì)于不同的系統(tǒng)環(huán)境，用戶需要不同的監(jiān)控策略。首先，對(duì)于沒有劃分微分區(qū) (Micro Partition) 的服務(wù)器，系統(tǒng)用戶可以通過很多操作系統(tǒng)接口得到機(jī)器實(shí)際可用的資源種類和數(shù)量。
硬件和操作系統(tǒng)沒有使用虛擬化技術(shù)的系統(tǒng)
清單 1. 運(yùn)行 prtconf 獲得處理器的相關(guān)信息
$ prtconf | grep Processor
Processor Type: PowerPC_POWER6
Processor Implementation Mode: POWER 6
Processor Version: PV_6
Number Of Processors: 4
Processor Clock Speed: 4005 MHz
Model Implementation: Multiple Processor, PCI bus
+ proc0 Processor
+ proc2 Processor
+ proc4 Processor
+ proc6 Processor
Processor Type 表示了處理器的類型屬于 Power 6 系列。這里同樣可以知道本機(jī)的處理器個(gè)數(shù)為 4，并且時(shí)鐘運(yùn)行頻率為 4G。運(yùn)用類似的命令接口，比如 lsdev -Cc processor，也可以得到其他與 CPU 相關(guān)的配置信息。
使用微分區(qū)的系統(tǒng)
虛擬化作為一項(xiàng)成熟的技術(shù)，在 IBM eServer pSeries 服務(wù)器和 BladeCenter JS 刀片服務(wù)器中已經(jīng)得到廣泛的應(yīng)用。所以我們有必要簡(jiǎn)單說明用戶在常見的虛擬化環(huán)境，微分區(qū) (Micro Partition) 中如何得到可用的資源狀態(tài)。AIX 的命令接口在虛擬化環(huán)境下仍然可以使用，但是通常得到的結(jié)果是分配給當(dāng)前虛擬機(jī)的虛擬處理器 (Virtual CPU) 的信息，而不是物理處理器 (Physical CPU) 的。
清單 2. 在微分區(qū)上運(yùn)行 prtconf 獲得虛擬處理器的信息
# prtconf | grep Processor
Processor Type: PowerPC_POWER5
Processor Implementation Mode: POWER 5
Processor Version: PV_5
Number Of Processors: 1
Processor Clock Speed: 1654 MHz
Model Implementation: Multiple Processor, PCI bus
+ proc0
以上輸出表示本機(jī)當(dāng)前被分配了一個(gè)虛擬處理器，及其硬件類型和運(yùn)行頻率。為了獲得該虛擬機(jī)獲得的物理處理器的數(shù)量，通常需要訪問對(duì)應(yīng)的 HMC (Hardware Management Console) 或者 AMM (Advanced Management Module) 來獲得詳細(xì)的信息和配置。下面的實(shí)例運(yùn)行于 HMC。
清單 3. 在 HMC 上運(yùn)行 lssyscfg 獲得微分區(qū)的配置
hscroot@hmc:~> lssyscfg -r prof -m Server-9117-MMA-SN060DD72
--filter "lpar_ids=p6ml4n05"
name=p6ml4n05,lpar_name=p6ml4n05,lpar_id=6,lpar_env=aixlinux,
all_resources=0,min_mem=2048,desired_mem=3072,max_mem=4096,
min_num_huge_pages=0,desired_num_huge_pages=0,
max_num_huge_pages=0,mem_mode=ded,proc_mode=shared,min_proc_units=0.1,
desired_proc_units=0.2,max_proc_units=0.3,min_procs=1,desired_procs=1,
max_procs=1,sharing_mode=cap,uncap_weight=0,shared_proc_pool_id=0,
shared_proc_pool_name=DefaultPool,io_slots=none,lpar_io_pool_ids=none,
max_virtual_slots=10,
"virtual_serial_adapters=0/server/1/any//any/1,1/server/1/any//any/1",
virtual_scsi_adapters=2/client/1/vioserver/16/0,virtual_eth_adapters=none,
hca_adapters=none,boot_mode=norm,conn_monitoring=0,auto_start=0,
power_ctrl_lpar_ids=none,work_group_id=none,redundant_err_path_reporting=0,
bsr_arrays=0,lhea_logical_ports=23000000/2/1/5/none,
lhea_capabilities=23000000/0,
lpar_proc_compat_mode=default,electronic_err_reporting=null,
virtual_fc_adapters=none
此處跟 CPU 相關(guān)的重要字段有：
min_proc_units：為了啟動(dòng)該分區(qū)所需的最少的物理處理器個(gè)數(shù)
desired_proc_units： 該分區(qū)運(yùn)行時(shí)通常需要的物理處理器個(gè)數(shù)
max_proc_units： 該分區(qū)在運(yùn)行時(shí)允許獲得的最多的物理處理器個(gè)數(shù)
使用負(fù)載分區(qū)的系統(tǒng)
從 AIX 6.1 開始，用戶可以創(chuàng)建并使用負(fù)載分區(qū) (Workload Partition，簡(jiǎn)稱 WPAR)。負(fù)載分區(qū)可以模擬一個(gè) AIX 6.1 用戶環(huán)境，但在缺省情況下，CPU 資源不會(huì)被以 dedicated 方式劃分給負(fù)載分區(qū)。所以 AIX 的系統(tǒng)命令，比如 lsdev 在負(fù)載分區(qū)下的輸出結(jié)果會(huì)是當(dāng)前系統(tǒng)沒有處理器。負(fù)載分區(qū)中的用戶，在系統(tǒng)響應(yīng)不夠及時(shí)的情況下，通常有如下幾種可能：
負(fù)載分區(qū)本身被分配的資源不足
負(fù)載分區(qū)的其對(duì)應(yīng)的宿主機(jī)的負(fù)載過大，或者出現(xiàn)了 IO 瓶頸
后面的段落會(huì)具體介紹如何確定和解決負(fù)載分區(qū)中跟 CPU 相關(guān)的系統(tǒng)瓶頸。
獲得 AIX 系統(tǒng)中處理器資源的代碼示例
本段的最后給出一段基于 Perl 的例子代碼，在 AIX5.3 和 6.1 上測(cè)試通過，可以偵測(cè)當(dāng)前的系統(tǒng)環(huán)境和 CPU 的類型和數(shù)量。這段代碼首先運(yùn)行系統(tǒng)命令 oslevel 得到當(dāng)前系統(tǒng)的版本，如果是 AIX6.1 則運(yùn)行命令 lparstat 判斷當(dāng)前系統(tǒng)是否為 WPAR。無論 AIX 系統(tǒng)的版本如何，都加參數(shù) -i 運(yùn)行命令 lparstat 來獲得分區(qū)的個(gè)數(shù)，并以此判斷是否使用了微分區(qū)技術(shù)。最后調(diào)用命令 prtconf 輸出 CPU 的一些參數(shù)。
該段代碼可以幫助用戶快速了解當(dāng)前環(huán)境，尤其適用于工作環(huán)境復(fù)雜或頻繁變更的場(chǎng)景。需要指出的是對(duì)于使用了微分區(qū)技術(shù)的系統(tǒng)，代碼的最后輸出的是虛擬處理器的數(shù)量。需要了解系統(tǒng)中物理處理器和邏輯處理器狀態(tài)的用戶，可以參閱本文其他段落加以補(bǔ)充。
清單 4. 獲得當(dāng)前的系統(tǒng)環(huán)境和 CPU 的類型和數(shù)量的代碼示例
# WPAR 僅存在于 AIX 6.1 系統(tǒng)
my $oslevel = `oslevel`;
if ($oslevel =~ m/6\.1/)
{
# 在 WPAR 中不帶參數(shù)運(yùn)行 lparstat 命令只返回警告信息
my $output = `lparstat`;
if ($output =~ m/The output is applicable only to the Global Environment/)
{
print "This machine is one WPAR with following CPU assigned.\n";
system ("prtconf | grep Processor");
exit 0;
}
}
# 使用– i 參數(shù)列出詳細(xì)的配置信息
my @outputs = `lparstat -i`;
foreach my $line (@outputs)
{
# 解析命令輸出并得到分區(qū)個(gè)數(shù)
if ($line !~ m/Partition Number/) {next;}
my ($blank, $partition_num) = split /Partition Number\s+:\s/, $line;
chomp $partition_num;
if ($partition_num eq '-') # full system 環(huán)境沒有劃分微分區(qū)
{
print "This machine is one full system without LPARs. The system has following
physical CPUs installed.\n";
}elsif ($partition_num > 1) # 如果存在多于一個(gè)的分區(qū)，該系統(tǒng)使用了微分區(qū)技術(shù)
{
print "This machine is one LPAR with virtual following CPUs installed.
To check the assignment of physical CPU, please log on HMC or AMM.\n";
}else
{
print "Can not decide whether current environment is one LPAR or not.
Please check HMC or AMM to decide this.\n";
}
}
# 打印處理器本身的參數(shù)
system ("prtconf | grep Processor");
exit 0;
使用 AIX 系統(tǒng)工具分析處理器的工作狀態(tài)
在了解當(dāng)前環(huán)境的可用 CPU 資源以后，可以對(duì)系統(tǒng)監(jiān)控的對(duì)象和方法進(jìn)行規(guī)劃。多數(shù)情況下，操作系統(tǒng)提供的命令輸出提供邏輯處理器 (Logical CPU) 的信息。在 IBM eServer pSeries 服務(wù)器和 BladeCenter JS 刀片服務(wù)器中，邏輯處理器通常通過并行多線程技術(shù)實(shí)現(xiàn)。下文是對(duì)該技術(shù)在 AIX 系統(tǒng)中應(yīng)用的介紹。
并行多線程的查詢和設(shè)置
并行多線程 (Simultaneous Multi-threading，簡(jiǎn)稱 SMT) 是一種基于超標(biāo)量 (superscalar) 體系結(jié)構(gòu)處理器的技術(shù)，允許多個(gè)獨(dú)立的線程在一個(gè)時(shí)鐘周期內(nèi)對(duì)多個(gè)功能處理單元 (Functional Unit) 發(fā)出指令。通常情況下，線程和功能處理單元的綁定是完全動(dòng)態(tài)的。使用這項(xiàng)技術(shù)可以較明顯的提高處理器的的實(shí)際利用率，進(jìn)而表現(xiàn)出更強(qiáng)的運(yùn)算性能。在 AIX 操作系統(tǒng)上，我們可以通過 smtctl 命令來查詢和設(shè)置并行多線程的運(yùn)行狀態(tài)。
清單 5. 運(yùn)行 smtctl 查詢處理器對(duì) SMT 技術(shù)的支持和當(dāng)前的設(shè)置
$ smtctl
This system is SMT capable.
SMT is currently enabled.
SMT boot mode is not set.
SMT threads are bound to the same physical processor.
proc0 has 2 SMT threads.
Bind processor 0 is bound with proc0
Bind processor 1 is bound with proc0
proc2 has 2 SMT threads.
Bind processor 2 is bound with proc2
Bind processor 3 is bound with proc2
proc4 has 2 SMT threads.
Bind processor 4 is bound with proc4
Bind processor 5 is bound with proc4
proc6 has 2 SMT threads.
Bind processor 6 is bound with proc6
Bind processor 7 is bound with proc6
命令的結(jié)果說明了當(dāng)前系統(tǒng)支持 SMT 技術(shù)，而且當(dāng)前正在使用。后面的多行輸出中詳細(xì)說明了邏輯處理器和虛擬處理器之間的對(duì)應(yīng)關(guān)系。系統(tǒng)中有四個(gè)可用的虛擬處理器 (Virtual CPU)，因?yàn)殚_啟了 SMT (Simultaneous MultiThreading) 功能，可以識(shí)別出八個(gè)邏輯上的虛擬處理器 (Logical CPU)。
在缺省情況下，系統(tǒng)中的 SMT 應(yīng)被使用以增強(qiáng)性能。當(dāng)用戶需要調(diào)整系統(tǒng)的 SMT 設(shè)置時(shí)，同樣可以使用 smtctl 命令。具體參數(shù)請(qǐng)查閱命令說明。在負(fù)載分區(qū)情況下，SMT 設(shè)置不允許被直接修改。用戶需要對(duì)負(fù)載分區(qū)的宿主機(jī)修改 SMT 配置，這會(huì)對(duì)該系統(tǒng)中的所有負(fù)載分區(qū)生效。而在微分區(qū)環(huán)境下，用戶可以自主調(diào)整并行多線程的配置。
系統(tǒng)處理器負(fù)載的查詢和分析
在了解系統(tǒng)中并行多線程的設(shè)置以后，用戶需要得到不同時(shí)間段內(nèi)處理器的使用狀態(tài)。為此 AIX 系統(tǒng)提供了豐富的系統(tǒng)接口。用戶可以根據(jù)不同的情況選用他們，檢查和判斷系統(tǒng)中 CPU 的運(yùn)行狀態(tài)。本文僅以 lparstat 和 mpstat 為例進(jìn)行說明。
lparstat 命令
上文的例子代碼使用了 lparstat。這個(gè)命令可以在各種系統(tǒng)環(huán)境，如負(fù)載分區(qū)中使用，得到當(dāng)前系統(tǒng)的配置和部分運(yùn)行狀態(tài)，其中的部分內(nèi)容與 CPU 直接相關(guān)。在 AIX 6.1 操作系統(tǒng)中，lparstat 也可以用來顯示負(fù)載分區(qū) (Workload Partition) 的信息，比如負(fù)載分區(qū)使用的 CPU 資源。用戶可以查閱手冊(cè)得到該命令的詳細(xì)說明。
lparstat 命令非常適合獲得當(dāng)前系統(tǒng)或分區(qū)的配置信息，但是用來監(jiān)控 CPU 負(fù)載有兩個(gè)主要的不足。首先這條命令不能得到單個(gè)處理器的負(fù)載情況，所以不能用來直接確定多處理器負(fù)載不均的問題；其次這條命令在 AIX 6.1 系統(tǒng)上的支持的參數(shù)與 5.3 相比變化較大。所以本文主要介紹 mpstat 命令，用于檢測(cè) AIX 系統(tǒng)中的 CPU 狀態(tài)。
mpstat 命令
與 lparstat 命令相似，mpstat 可以自動(dòng)識(shí)別當(dāng)前的系統(tǒng)設(shè)置，比如是否開啟了 SMT 功能。與 lparstat 不同的是，mpstat 可以得到詳細(xì)的單個(gè)處理器的運(yùn)行狀況。
![]()
圖 1. 在沒有微分區(qū) (Micro Partition) 的系統(tǒng)上運(yùn)行 mpstat 獲得處理器負(fù)載
該命令檢測(cè)系統(tǒng)中全部處理器的利用情況，并且給出各項(xiàng)的總和。下面是幾個(gè)常用的輸出項(xiàng)
lcpu: 工作的邏輯處理器的個(gè)數(shù)
us: 運(yùn)行的用戶程序所占用的 CPU 百分比
sy: 運(yùn)行的內(nèi)核程序所占用的 CPU 百分比
wa: CPU 用來等待 IO 所占用的百分比
id: CPU 空閑且不等待 IO 所占用的百分比
通常情況下，CPU0 的負(fù)載會(huì)略高于其他處理器。在其他處理器負(fù)載相差不多而且 CPU0 的負(fù)載不太高的情況下，可以認(rèn)為是正常的情況。反之則可能存在系統(tǒng)或應(yīng)用程序上的分配問題。
在顯示的內(nèi)容中，如果 wa 的值過高，則表示應(yīng)用程序有過多的時(shí)間等待 IO 操作，外存的訪問存在性能瓶頸。如果 id 的值如果持續(xù)低于 30，而且 wa 不高，則表明 CPU 比較繁忙 , 可以考慮對(duì)應(yīng)用程序進(jìn)行優(yōu)化。如果是微分區(qū)或負(fù)載分區(qū)系統(tǒng)中，應(yīng)當(dāng)考慮是否需要分配更多的處理器資源。
mpstat 命令提供了參數(shù)，可以周期性的檢測(cè)并匯報(bào)系統(tǒng)狀態(tài)。在 mpstat 命令的輸出滿足用戶需要的情況下，用戶可以指定合適的間隔并以后臺(tái)運(yùn)行 mpstat，以實(shí)現(xiàn)對(duì)系統(tǒng) CPU 的持續(xù)監(jiān)控。下面的命令會(huì)在一天的時(shí)間內(nèi)每隔半小時(shí)自動(dòng)搜集一次系統(tǒng)信息。
mpstat 1800 48 > /tmp/mpstat_output &
用戶可以有策略的檢查輸出文件中的內(nèi)容，以確定系統(tǒng)的運(yùn)行狀態(tài)。
捕捉處理器異常狀態(tài)的代碼示例
下面一段 Perl 代碼測(cè)試于 AIX5.3 和 6.1 系統(tǒng)，首先運(yùn)行系統(tǒng)命令 smtctl 檢查并行多線程技術(shù)的開啟狀態(tài)，然后依次檢查 mpstat 命令輸出文件中的每行內(nèi)容，并把可能表示異常情況的行存入一個(gè)數(shù)組。
清單 6. 捕捉處理器異常狀態(tài)的代碼示例
my $output = `smtctl`;
# 如果 SMT 技術(shù)沒有被激活，通常我們需要激活它
if ($output =~ m/This system is SMT capable.*SMT is currently disabled/)
{
warn "This system can have SMT enabled, but has not. This means potential performance
issue in some applications. Command smtctl can be used to enable SMT. Notice that
change can NOT be directly done on workload partition.\n";
}
# 解析文本文件 /tmp/mpstat_output。用戶應(yīng)該先運(yùn)行 mpstat 并把輸出重定向來得到這個(gè)文件。
my $file = '/tmp/mpstat_output';
open (FILE, "<$file") or die "No mpstat output file available.
Please run mpstat first.\n";
my @output = <FILE>;
close FILE;
my @notice;
foreach my $line (@output)
{
chomp $line;
# 跳過空行和提示行
if ($line !~ /\S+/) {next;}
if ($line =~ m/System configuration/ || $line =~/cpu\s+min/) {next;}
# 刪除每行起始的空格
$line =~ s/^\s+//g;
my ($cpu, $min, $maj, $mpc, $int, $cs, $ics, $rq, $mig, $lpa, $sysc, $us, $sy,
$wt, $id, $pc);
= split /\s+/, $line;
# 通常系統(tǒng)中不應(yīng)有過長(zhǎng)的運(yùn)行隊(duì)列，過多的線程遷移，過長(zhǎng)的等待時(shí)間或過少的空閑時(shí)間
if ($rq > 5 || $mig > 5 || $wt > 5 || $id < 10)
{
push @notice, $line;
}
}
用戶可以根據(jù)自己系統(tǒng)的版本對(duì)例子代碼進(jìn)行修改，并且選擇如何處理這些異常。比較常見的處理有把異常內(nèi)容在標(biāo)準(zhǔn)輸出設(shè)備上輸出，或者發(fā)郵件給系統(tǒng)的管理員。為了能夠自動(dòng)的實(shí)現(xiàn)這一功能，用戶也可以把修改過的腳本定義成系統(tǒng)的 crontab 任務(wù)，實(shí)現(xiàn)在一定時(shí)間段內(nèi)的定時(shí)監(jiān)控。在發(fā)現(xiàn)了異常狀態(tài)以后，通常需要確定異常狀態(tài)是否與特定的進(jìn)程或程序相關(guān)，再進(jìn)一步對(duì)操作系統(tǒng)或特定進(jìn)程進(jìn)行判斷。在對(duì) AIX 系統(tǒng)中的 CPU 管理進(jìn)行介紹以后，下文的討論會(huì)以 Linux 為主。
|
|
免費(fèi)注冊(cè)
發(fā)表于 2012-05-03 21:52
Thanks