1. Собрать статистику утилизации CPU
2. Написать скрипт, который будет отдавать эту статистику в формате nagios
3. Настроить команды и сервисы nagios
4. Построить красивые графики

Собираем статистику утилизации CPU

Обязательным требованием при сборе любой статистики является время. Т.е. статистику нужно собирать в течение достаточно продолжительного периода времени, чтобы полученные данные отражали реально происходящие процессы, а не какие-то промежуточные состояния при одиночной проверке состояния. Или частота проверки должна примерно соответствовать частоте изменения данных. Для утилизации процессора это выглядит так: частота изменений утилизации процессора составляет доли секунд, частота проверки nagios – несколько минут. Обычный подход nagios “зайти и проверить” не подходит.

Можно подключиться к серверу по ssh/nrpe и запустить проверку, скажем на минуту. Такой вариант отвратителен. Остается другой способ – статистика уже должна быть на сервере, nagios только забирает ее. Для этого замечательно подходит утилита sar. Напишем небольшой скрипт, который будет создавать файл со статистикой. Скрипт запускаем через крон каждую минуту.

#!/bin/bash
LOCKFILE=/var/run/cpu-usage.sh.lock
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
if [ -f $LOCKFILE ]; then
        exit 0;
fi
printf $$ > $LOCKFILE
TIME=55
SARDATA=`sar -u $TIME | fgrep Average | awk '{print "user:" $3 ";system:" $5 ";iowait:" $6 ";idle:" $8}'`
SARFILE=/var/sar-cpu-usage
printf $SARDATA > $SARFILE
rm $LOCKFILE

В результате мы получим текстовый файл. Формат у файла очень простой, плагину nagios нужно будет только прочитать содержимое файла и вывести необходимые данные.

Пишем плагин для nagios

Сам скрипт достаточно прост, его нужно разместить на проверяемой машине.

#!/usr/bin/perl -w
use strict;
my $file = '/var/sar-cpu-usage';
my $line;                       

open FD, $file;
$line = ;
close FD;

my ($user, $system, $iowait, $idle, $nagios_data, $nagios_status, $exit_code);
my @arg;
@arg = split(/;/, $line);

# user
$arg[0] =~ /^user:(.*)$/;
$user = $1;
# system
$arg[1] =~ /^system:(.*)$/;
$system = $1;
# iowait
$arg[2] =~ /^iowait:(.*)$/;
$iowait = $1;
# idle
$arg[3] =~ /^idle:(.*)$/;
$idle = $1;

$nagios_data = sprintf("|user=%f;;; system=%f;;; iowait=%f;;; idle=%f;;; ",$user,$system,$iowait,$idle);
if ( $idle == 0 ) {
        $nagios_status = "CPU status: CRITICAL, idle $idle %";
        $exit_code = 2;
} elsif ( $idle < 5 ) {
        $nagios_status = "CPU status: WARNING, idle $idle %";
        $exit_code = 1;
} else {
        $nagios_status = "CPU status: OK, idle $idle %";
        $exit_code = 0;
}

print $nagios_status . $nagios_data;
exit $exit_code;

В результате получаем вот такой вывод скрипта:

Настраиваем nrpe и nagios

Первым делом нужно настроить nrpe на проверяемой машине, точнее добавить команду для проверки, так как я предполагаю, что сам nrpe уже был настроен. Добавляем в nrpe.cfg строчку:

command[check_cpu_usage]=/usr/nagios/libexec/check_cpu_usage

Теперь нужно настроить сервер nagios. Нужно добавить команду для проверки и сервис для проверяемого хоста.
Добавляем в описание команды и сервиса:

define command {
command_name check_nrpe_cpu_usage
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -p 5666 -t 60 -c check_cpu_usage
}

define service{
use template
host_name server.host-name.ru
service_description cpu usage
check_command check_nrpe_cpu_usage
}

На этом настройка nagios закончена. Напомню только, что use template требует определения шаблона под именем template. Но не спешите перегружать nagios.

Строим графики при помощи pnp4nagios

Я долгое время использовал nagios исключительно, как средство мониторинга текущего состояния, но в какой-то момент понял, что иногда хочу узнать что было с серверов в 5 часов утра. Из всех средств nagios предоставлял только логи алертов, чего, мягко говоря, мало. Пересмотрев несколько решений и попробовав написать свое, я остановился на php4nagios. Настройку его я пропущу здесь, расскажу только про настройку под рассматриваемую задачу.
Первым делом нужно создать файл настройки rrd базы, которую создаст php4nagios по данным от плагинов nagios. pnp ищет настройки в каталоге /etc/pnp/check_commands/ (так на gentoo). Файл настройки называется по имени команды (command_name) в настройках nagios. В нашем случае это check_nrpe_cpu_usage. Так что файл конфигурации будет называться /etc/pnp/check_commands/check_nrpe_cpu_usage.cfg :

CUSTOM_TEMPLATE = 0
DATATYPE = GAUGE,GAUGE,GAUGE,GAUGE

CUSTOM_TEMPLATE – определяет имя темплейта для построения графика из rrd файла. Цифры определяют имя темплейта. 0 – имя команды проверки, 1 – первый параметр команды. 2 – второй и так далее. Указываются через запятую.

CUSTOM_TEMPLATE=0,1,2

DATATYPE – определяет тип счетчика rrd, Счетчики передаются плагином nagios после пайпа (|)

|user=15.810000;;; system=1.430000;;; iowait=1.380000;;; idle=81.380000;;;

user – первый счетчик, system – второй и так далее. Плагин может возвращать данные и в таком формате user=15.810000;60;90;. 60 – значение для статуса проверки WARNING, 90 – для CRITICAL. Эти значения тоже могут быть использованы при построения графиков. Возвращаясь к DATATYPE. Каждое значение DATATYPE, которое тоже указывается через запятую, определяет один за другим типы счетчиков.

DATATYPE = GAUGE,GAUGE,GAUGE,GAUGE

В нашем случае все счетчики имеют тип GAUGE (подробнее про типа тут). Первый шаг сделан. Теперь нужно создать темплейт для отображения. Темплейты – это php файлы, в которых описаны команды, передаваемые rrdtool для генерации графиков. Для Gentoo они находятся в каталоге /usr/share/pnp/templates . Имя темплейта определяется по имени команды для проверки в настройках nagios, в нашем случае это будет опять check_nrpe_cpu_usage, и полный путь до файла будет /usr/share/pnp/templates/check_nrpe_cpu_usage.php. Рассказывать про rrdtool я не буду, так как это совсем отдельная тема, приведу файл, который использую я:

<?php
$opt[1] = "--slope-mode --vertical-label % --title \"CPU usage for $hostname\"";

$def[1] = "DEF:var1=$rrdfile:$DS[1]:AVERAGE " ;
$def[1] .= "DEF:var2=$rrdfile:$DS[2]:AVERAGE " ;
$def[1] .= "DEF:var3=$rrdfile:$DS[3]:AVERAGE " ;
$def[1] .= "DEF:var4=$rrdfile:$DS[4]:AVERAGE " ;

$def[1] .= "AREA:var4#00FF00:\"idle  \" ";
$def[1] .= "GPRINT:var4:MAX:\"\t%.1lf  max \" ";
$def[1] .= "GPRINT:var4:AVERAGE:\"%.1lf  average \" ";
$def[1] .= "GPRINT:var4:LAST:\"%.1lf  last \\n\" ";

$def[1] .= "AREA:var3#FF0000:\"iowait\" ";
$def[1] .= "GPRINT:var3:MAX:\"\t%.1lf  max \" ";
$def[1] .= "GPRINT:var3:AVERAGE:\"%.1lf  average \" ";
$def[1] .= "GPRINT:var3:LAST:\"%.1lf  last \\n\" ";

$def[1] .= "AREA:var1#FFFF00:\"user  \" ";
$def[1] .= "GPRINT:var1:MAX:\"\t%.1lf  max \" ";
$def[1] .= "GPRINT:var1:AVERAGE:\"%.1lf  average \" ";
$def[1] .= "GPRINT:var1:LAST:\"%.1lf  last \\n\" ";

$def[1] .= "AREA:var2#0000FF:\"system\" ";
$def[1] .= "GPRINT:var2:MAX:\"\t%.1lf  max \" ";
$def[1] .= "GPRINT:var2:AVERAGE:\"%.1lf  average \" ";
$def[1] .= "GPRINT:var2:LAST:\"%.1lf  last \\n\" ";

$def[1] .= "LINE1:var4#00FF00: ";
$def[1] .= "LINE1:var1#FFFF00: ";
$def[1] .= "LINE1:var2#0000FF: ";
$def[1] .= "LINE1:var3#FF0000: ";
?>

Теперь перезапускаем nrpe на проверяемой машине и nagios на сервера мониторинга, ждем какое-то время. В результате получается вот такая картинка: