Intereting Posts
Usb Stick как hdd для установки kali linux и использования его на macbook rdiff-backup – папка резервной копии меньше оригинала / ошибка при восстановлении файлов Как удалить все программное обеспечение Почему bash даже анализирует / запускает материал, помещенный в переменную окружения? Загрузка Apache PHP – права собственности и разрешения Upstart: Как реагировать на запуск службы, которая не является частью Upstart? isolinux: Ошибка диска 01, AX = 0201, диск 80 На каком диске произошла ошибка ввода-вывода журнала? ddd не удается подключиться к X Window: это ошибка или локальная неправильная настройка? Установка letencrypt на FreeBSD не удалась gvim -p предел открытых вкладок? Недавно отформатированное USB-устройство хранения данных не монтируется Совместное использование рабочего стола с помощью Google Hangouts, двух мониторов и оболочки GNOME Скажите, скрыта ли папка / файл в Mac OS X Легкий и легкий в установке

Очень медленный SW-RAID 5 в Debian Squeeze

Я не знаю почему, но у меня большие проблемы со скоростью моего рейда.

У меня 4x WD RE4 7200RPM 500GB. Размер RAID 5 составляет 1000 ГБ. 1 жестких дисков – Spare.

Проблема здесь:

Every 1,0s: cat /proc/mdstat Mon Dec 31 10:01:11 2012 Personalities : [raid1] [raid6] [raid5] [raid4] md1 : active raid5 sdc2[0] sdb2[3](S) sdd2[2] sde2[1] 974812160 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU] [=>...................] check = 9.0% (44241152/487406080) finish=6696.5min speed=1102K/sec md0 : active raid1 sdc1[0] sdb1[3](S) sdd1[2] sde1[1] 975860 blocks super 1.2 [3/3] [UUU] unused devices: <none> 

Я начал эту проверку в 2 часа ночи, и я подумал, что это уже можно сделать. Это не так. Когда он был новым (2 месяца назад), для проверки рейда потребовалось всего около 150-300 минут.

 vmstat 1 shows: procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu---- rb swpd free buff cache si so bi bo in cs us sy id wa 2 1 0 168108 278152 6649192 0 0 385 705 0 1 47 13 33 7 1 1 0 168092 278152 6649236 0 0 0 1564 24426 42090 28 11 46 16 3 1 0 173424 278152 6649236 0 0 0 1204 23750 41592 30 7 48 15 1 2 0 173416 278160 6649228 0 0 24 592 23131 41252 25 5 47 23 2 1 0 173424 278160 6649260 0 0 0 2340 24750 42888 29 8 45 18 1 1 0 172928 278176 6649244 0 0 0 1408 23818 41362 30 8 42 21 1 0 0 172696 278176 6649304 0 0 0 471 23144 40932 25 7 58 10 1 0 0 172488 278176 6649304 0 0 0 275 26299 45241 27 17 52 5 1 2 0 172612 278184 6649304 0 0 0 1806 24572 41288 40 6 44 9 5 2 0 172752 278200 6649328 0 0 0 780 23541 41308 28 6 33 33 

Iostat 1 показывает:

 Linux 2.6.32-5-amd64 () 31.12.2012 _x86_64_ (4 CPU) avg-cpu: %user %nice %system %iowait %steal %idle 47,02 0,34 12,94 6,95 0,00 32,74 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn sda 7,68 17,48 3428,36 112980468 22156867512 sdb 0,00 0,00 0,00 748 2208 sdc 70,20 3506,35 1574,01 22660920204 10172547974 sdd 70,32 3528,74 1551,86 22805657128 10029430470 sde 71,11 3548,29 1538,53 22931965117 9943244782 md0 0,00 0,01 0,00 55936 5416 md1 356,51 3276,98 2594,09 21178557866 16765170392 avg-cpu: %user %nice %system %iowait %steal %idle 24,88 0,00 6,47 18,41 0,00 50,25 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn sda 0,00 0,00 0,00 0 0 sdb 0,00 0,00 0,00 0 0 sdc 164,00 80,00 2792,00 80 2792 sdd 116,00 1072,00 1248,00 1072 1248 sde 138,00 0,00 1864,00 0 1864 md0 0,00 0,00 0,00 0 0 md1 369,00 0,00 2952,00 0 2952 avg-cpu: %user %nice %system %iowait %steal %idle 30,71 0,00 6,88 14,50 0,00 47,91 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn sda 0,00 0,00 0,00 0 0 sdb 0,00 0,00 0,00 0 0 sdc 187,00 1040,00 1944,00 1040 1944 sdd 286,00 64,00 4616,00 64 4616 sde 231,00 1024,00 3056,00 1024 3056 md0 0,00 0,00 0,00 0 0 md1 601,00 0,00 4808,00 0 4808 avg-cpu: %user %nice %system %iowait %steal %idle 22,03 0,00 6,68 3,71 0,00 67,57 Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn sda 0,00 0,00 0,00 0 0 sdb 0,00 0,00 0,00 0 0 sdc 30,00 8,00 716,00 8 716 sdd 10,00 40,00 44,00 40 44 sde 33,00 0,00 740,00 0 740 md0 0,00 0,00 0,00 0 0 md1 92,00 0,00 736,00 0 736 

Позвольте мне задать следующие вопросы:

1) Есть ли проблема в полной мере моего рейда? (общий размер 916 ГБ, используется 505G, бесплатно 365G). 2) Есть ли проблема с «512k chunk»?

3) Оптимален ли EXT3 для SW RAID 5?

4) Есть ли возможность, как увеличить скорость моего SW рейда 5?

5) Можно ли добавить следующий диск в мой RAID, чтобы не спасти, чтобы увеличить скорость рейда?

6) Сколько CPU TIME потребляет SW Raid 5? в верхней части это только показывает: PID USER PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND 422 root 20 0 0 0 0 S 1 0.0 1743: 38 md1_raid5 Время работы сервера составляет 74 дня (с момента их изменения для старого).

TOP показывает:

 top - 10:18:43 up 74 days, 19:21, 3 users, load average: 2.33, 2.86, 2.94 Tasks: 147 total, 2 running, 145 sleeping, 0 stopped, 0 zombie Cpu(s): 22.6%us, 6.9%sy, 0.0%ni, 52.9%id, 17.1%wa, 0.1%hi, 0.4%si, 0.0%st Mem: 24743684k total, 24598984k used, 144700k free, 270604k buffers Swap: 0k total, 0k used, 0k free, 6664872k cached 

Я думаю, что слишком высокая аватарная нагрузка. Но почему? Я не вижу ничего потребляющего слишком много CPU.

Power TOP Показано следующее:

 Wakeups-from-idle per second : 6122,7 interval: 10,0s Top causes for wakeups: 74,0% (17652,4) kvm : sys_timer_settime (posix_timer_fn) 15,0% (3579,6) <kernel IPI> : Rescheduling interrupts 5,5% (1319,6) kvm : apic_reg_write (kvm_timer_fn) 1,8% (422,4) <interrupt> : ahci 1,0% (248,2) events/0 : flush_to_ldisc (delayed_work_timer_fn) 0,7% (178,6) worldserver : __mod_timer (process_timeout) 0,6% (153,4) <interrupt> : eth0 0,5% (118,4) <interrupt> : pata_atiixp 0,2% ( 43,6) kvm : __kvm_migrate_timers (kvm_timer_fn) 0,1% ( 20,0) md1_raid5 : __mod_timer (blk_unplug_timeout) 0,0% ( 11,2) authserver : __mod_timer (process_timeout) 

Некоторые дополнительные ответы на другие вопросы:

1) Есть ли проблема в полной мере моего рейда? (общий размер 916 ГБ, используется 505G, бесплатно 365G).

Нет, это правильно.

Во-первых, жесткий диск емкостью 500 ГБ не является большим 500 ГБ, поскольку производители жестких дисков решили, что 1 ГБ составляет 1 000 000 000 байт, а не 1099511627776 (1024 * 1024 * 1024 * 1024) байтов.

Таким образом, у вас есть сырая емкость ~ 931 ГБ. Поскольку вашей файловой системе необходимо сохранить некоторую метаинформацию о структуре и т. Д., Ей нужно некоторое пространство для себя, что приводит к ~ 916 ГБ полезного пространства на ext3-форматированном разделе.

Поскольку каждый файл занимает по крайней мере один блок (в основном 512 байт, но может также быть 4k байт или что-то еще), файл с 10 байтами также использует 512 байт на диске. Если у вас много маленьких файлов, у вас будет большая разница между размером всех файлов и занимаемым пространством на диске.

2) Есть ли проблема с «512k chunk»?

Нет. Но это также зависит от рабочей нагрузки и использования. Вы можете найти несколько сравнений производительности различных размеров блоков в Интернете.

3) Оптимален ли EXT3 для SW RAID 5?

Да, как и любая другая стандартная файловая система. С моей точки зрения, лучший вопрос: «Является ли RAID5 и / или EXT3 хорошим для моего использования / рабочей нагрузки?»

Например: если у вас только файловый сервер с несколькими пользователями, то RAID5 и ext3 в порядке. Если у вас есть большая база данных на ext3 с RAID5, было бы лучше иметь RAID10 и XFS.

5) Можно ли добавить следующий диск в мой RAID, чтобы не спасти, чтобы увеличить скорость рейда?

Конечно, вы можете иметь RAID5 из 4 дисков. Это, вероятно, приведет к повышению производительности чтения, но не к производительности записи.

Если вам нужно больше производительности записи, вам нужно получить RAID10.

Это справедливо только для последовательного чтения / записи, поскольку mdraid на Linux очень плохо при предоставлении высокопроизводительных IOPS. Поэтому, если вам это нужно для высокой нагрузки на ввод-вывод, например базы данных или виртуализации, вы должны получить аппаратный RAID или использовать ZFS (который недоступен в стандартном ядре Linux).

Рестайлинг / проверка RAID выполняется с более низким приоритетом ввода-вывода, чем обычный ввод-вывод. Если на этом диске много ввода-вывода, он будет работать с минимальной скоростью, которую вы можете изменить через /sys/block/md1/md/sync_speed_min