Выбор файловой системы кластера для чтения / записи большого количества небольших файлов

Я настраиваю небольшой кластер Linux для своей лаборатории. В настоящее время у нас есть узел входа для задания submit и 3 вычислительных узла, и они подключаются через Gigabit LAN (к сожалению, не бесконечно).

Сначала я просто использовал NFS для экспорта общего хранилища (домашней папки) для пользователей кластера. Но вскоре мы узнали, что NFS не работает хорошо под реальной полезной нагрузкой.

Оказалось, что мои пользователи кластера очень часто читают и записывают файлы большого размера (один – <100 КБ) в общем хранилище. NFS очень плохо работает для небольших файлов ввода-вывода.

У меня есть простой тест производительности NFS / CIFS / SSHFS для записи небольших файлов. Время для распаковки 20000 небольших файлов (всего около 600 МБ) для каждой файловой системы:

  • CIFS : 25-30
  • SSHFS : 45 ~ 55s
  • NFS (v3 / v4) : так медленно, что я не дождался (оценка 10 минут)

CIFS / SSHFS работает очень хорошо по сравнению с NFS. Но это не общая практика использования CIFS / SSHFS для домашних папок Linux в сценарии компьютерного кластера (а CIFS не является действительно совместимой с Postix файловой системой AFAIK).

Как вы относитесь к выбору сетевой файловой системы для загрузки небольших файлов? Должен ли я заменить NFS на другие кластерные / распределенные файловые системы? Или есть способ оптимизировать NFS для небольших файлов?

One Solution collect form web for “Выбор файловой системы кластера для чтения / записи большого количества небольших файлов”

Если бы у вас была достаточно большая настройка, я бы рекомендовал IBM Spectrum Scale (ранее GPFS), но, учитывая масштаб ваших операций, я предлагаю вам пойти с ZFS с помощью твиста: Set atime to off. Если вам не очень важно записывать время доступа к файлам, ZFS будет хорошо работать в вашем сценарии.

  • Различия между rsync на удаленном и rsync локальном на смонтированных sshfs?
  • Выполнять команду во всех открытых оболочках
  • sshfs разрывает символические ссылки с сервера SFTP
  • Обнаружение удаленных монстров sshfs на локальной машине
  • sshfs - не может размонтировать точку
  • Как смонтировать удаленный каталог sshfs на общедоступном сервере на недоступном клиентском компьютере?
  • Правильный способ установки umask для транзакций SFTP?
  • Перезагрузите консоль SSHFS без ее удаления
  • Пользовательский fstab для fusermount
  • Проблемы с монтированием и сбросом на внешнее хранилище (Mac) с выделенного сервера (Ubuntu)
  • Поддержка sshfs в режиме только для чтения
  • Interesting Posts

    Arch Linux: Должен ли я хранить службу dhcpd, если я использую connman?

    Захват вывода curl после строки в файл

    lsof – возраст файла

    Можно ли повторно добавить удаленное устройство iommu?

    Отключить классификаторы glob в zsh

    Предотвратить блокировку от плохого поведения вкладки браузера?

    Почему «cal» использует код странного 08 / ^ H / \ b для выделения и как это работает?

    Переименование нескольких файлов на основе их содержимого

    Как я могу настроить ядро ​​на общий своп?

    Соглашение об использовании версии Linux

    Добавить источники для apt-get для Debian Linux 2.4.27-3-286

    Как я могу убедиться, что сценарий запущен исключительно?

    Периодически запускать определенный скрипт во время загрузки

    Запуск скомпилированной программы на C ++ в фоновом режиме и отправка ввода при необходимости

    установить процесс по умолчанию и приоритет ввода-вывода в Linux для данного приложения / исполняемого файла

    Linux и Unix - лучшая ОС в мире.