100.0% sy с плохой производительностью диска

У меня есть RHEL 5.4 kernel 2.6.18-164.el5, и я испытываю очень плохую производительность диска, которая происходит случайным образом во время работы с Oracle.

В журналах ничего не появляется.

Когда это произойдет, я вижу, что одно ядро ​​процессора застряло на 100% системном времени top :

 Cpu0 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu1 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu2 : 1.0%us, 0.0%sy, 0.0%ni, 99.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu3 : 1.0%us, 0.0%sy, 0.0%ni, 99.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu4 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu5 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu6 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu7 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu8 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu9 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu10 : 0.0%us,100.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu11 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu12 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu13 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu14 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu15 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 8097368k total, 5761028k used, 2336340k free, 602024k buffers Swap: 2088440k total, 0k used, 2088440k free, 3070188k cached 

Проверка записи на диск с помощью dd Я получаю то же самое сверху, и он показывает:

 time dd if=/dev/zero of=1000 bs=2M count=500 conv=fdatasync 79+0 records in 79+0 records out 165675008 bytes (166 MB) copied, 279.746 seconds, 592 kB/s real 4m40.565s user 0m0.000s sys 4m40.521s PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 8557 root 25 0 65212 2640 2548 R 99.8 0.0 3:02.99 dd 

Во время обычных операций я получаю:

 500+0 records in 500+0 records out 1048576000 bytes (1.0 GB) copied, 9.24778 seconds, 113 MB/s real 0m9.249s user 0m0.001s sys 0m1.772s 

Диски представляют собой два SAS 15k RPM в конфигурации RAID1, управляемой контроллером MegaRAID SAS9261-8i.

Я уже обновил драйвер и прошивку контроллера.

Странная проблема заключается в том, что система может работать отлично в течение нескольких недель, и все тесты на диске показывают хорошие результаты.

Как можно отладить эту плохую производительность диска?

для запроса Патрика это выход во время 100% sy

 top - 14:12:57 up 13 days, 15:49, 3 users, load average: 1.28, 1.48, 1.17 Tasks: 424 total, 2 running, 422 sleeping, 0 stopped, 0 zombie Cpu0 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu1 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu2 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu3 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu4 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu5 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu6 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu7 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu8 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu9 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu10 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu11 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu12 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu13 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu14 : 0.0%us,100.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Cpu15 : 0.0%us, 1.0%sy, 0.0%ni, 99.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 8097368k total, 6167440k used, 1929928k free, 306644k buffers Swap: 2088440k total, 4k used, 2088436k free, 3638216k cached 

mpstat -P ВСЕ 3 1

 02:13:19 PM CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s 02:13:22 PM all 0.06 0.00 6.50 0.00 0.02 0.00 0.00 93.42 1077.00 02:13:22 PM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1001.33 02:13:22 PM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 2 0.00 0.00 0.00 0.00 0.33 0.00 0.00 99.67 43.67 02:13:22 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 4 0.00 0.00 0.00 0.33 0.00 0.00 0.00 99.67 16.33 02:13:22 PM 5 0.33 0.00 2.99 0.00 0.00 0.00 0.00 96.68 0.00 02:13:22 PM 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.33 02:13:22 PM 7 0.33 0.00 0.00 0.00 0.00 0.00 0.00 99.67 0.00 02:13:22 PM 8 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 9 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 02:13:22 PM 14 0.00 0.00 100.00 0.00 0.00 0.00 0.00 0.00 14.33 02:13:22 PM 15 0.66 0.00 1.00 0.00 0.00 0.00 0.00 98.34 0.00 Average: CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s Average: all 0.06 0.00 6.50 0.00 0.02 0.00 0.00 93.42 1077.00 Average: 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1001.33 Average: 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 2 0.00 0.00 0.00 0.00 0.33 0.00 0.00 99.67 43.67 Average: 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 4 0.00 0.00 0.00 0.33 0.00 0.00 0.00 99.67 16.33 Average: 5 0.33 0.00 2.99 0.00 0.00 0.00 0.00 96.68 0.00 Average: 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.33 Average: 7 0.33 0.00 0.00 0.00 0.00 0.00 0.00 99.67 0.00 Average: 8 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 9 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 Average: 14 0.00 0.00 100.00 0.00 0.00 0.00 0.00 0.00 14.33 Average: 15 0.66 0.00 1.00 0.00 0.00 0.00 0.00 98.34 0.00 

sar -I XALL 3 1 прерывания выше 0

 Average: INTR intr/s Average: 0 1000.33 Average: 51 7.33 Average: 59 1.00 Average: 75 23.33 Average: 218 61.67 Average: 233 0.33 

это не прерывает вопрос

2 Solutions collect form web for “100.0% sy с плохой производительностью диска”

время dd if = / dev / zero = 1000 bs = 2M count = 500 conv = fdatasync

реальный 4m40.565s

пользователь 0m0,000s

sys 4m40.521s

Ну, это, конечно, не имеет никакого отношения к тому факту, что вы обычно используете Oracle (NB, в то время как / dev / zero быстро генерирует вывод, записывая много нулевых байтов в файловую систему Unix, не очень хороший показатель из-за разреженной поддержки файлов – в этом случае производительность настолько плоха, что проблема все еще очевидна).

Даже ваши «нормальные» тайминги кажутся довольно медленными, но опять же между ними и огромным разрывом.

На старом, 2-ядерном ящике SATA я получаю:

 real 0m6.961s user 0m0.001s sys 0m1.459s 

Можете ли вы легко переключаться с конфигурацией вашего диска (например, обходить контроллер megaRAID и использовать рейд mdadm (software) »(NB У меня были некоторые серьезные проблемы с запуском MySQL поверх устройства md ранее, – хотя это может быть только я / старый теперь исправлены ошибки, я бы рекомендовал планировать наихудший результат при тестировании этого).

Случайная низкая производительность подсказывает, что диск может уходить в линию, а затем восстанавливаться – сообщается ли о каких-либо ошибках?

  • Как правильно запустить команду «сверху» через SSH?
  • SSH дважды и запустить команду, экранируя символ?
  • Как мне вернуть прежний макет проппс-нг (1) назад (pre-3.3.10)?
  • контролировать множественные пипы с верхним
  • Как работает FireFox на виртуальной машине, которая не имеет отображения?
  • iotop, но для конкретного диска?
  • grep верхнего вывода дает смешные символы при перенаправлении в файл
  • Как я могу отслеживать, что использует большинство процессоров?
  • Как iotop вычисляет относительную активность ввода-вывода?
  • `top` не освежающий экран при выходе
  • Top говорит, что используется 100% процессор, но 50% ядер простаивают?
  • Interesting Posts

    Надежное обнаружение файлов разработки Python 3

    Некоторые агенты Ossec не могут связываться с сервером OSSEC

    Как установить Google Chrome на Amazon Linux со всеми его зависимостями?

    Samba 4 действительно уважает Unix-файлы acls?

    Переименование пучки файлов с датой, измененной меткой времени в конце имени файла?

    Каков альтернативный модуль openldap pwdChecker?

    csh: Преобразование псевдонимов в команды, которые устанавливают эти

    Shell сценарий синтаксические ошибки messsages "неожиданный конец файла" и "неожиданный EOF при поиске соответствия` "'"

    Удаление пробелов из полей в файле с разделителями с запятой с использованием сценария оболочки

    массив awk, использующий число, поскольку значение не работает

    Проверка значения переменных среды в Makefile

    .profile не найден в Debian Wheezy LXDE

    amixer – Как изменить канал записи?

    Blueman: объект RecentConns «NoneType» не повторяется

    Потеря точности с постоянным током

    Linux и Unix - лучшая ОС в мире.