7-Zip замедляется со временем на Ubuntu, но не Windows

У меня есть каталог под названием Pages из 2,2 миллиона файлов HTML (около 80 ГБ) на сервере Ubuntu. Я сжал его с помощью 7-Zip, используя следующую команду:

 7z a -mx=9 Pages.7z Pages 

Потребовалось около 5-6 часов, чтобы сжать (кажется чрезмерным). Сжатый размер составляет около 2,3 ГБ.

Затем я загрузил его на главный компьютер (Ubuntu, Intel® Xeon® CPU E5-1650 v2 @ 3,50 ГГц). Каждый раз, когда я пытаюсь извлечь данные, он начинается с неутешительной, но приемлемой скорости, но замедляется до ползания по мере того, как он продвигается дальше (бежал всю ночь, и когда я проснулся, он делал около 300 файлов в минуту).

Однако на моей Windows-машине (Intel® Xeon® CPU E5-2687W @ 3,10 ГГц 3,10 ГГц, что является лишь немного лучшей машиной, я извлек весь каталог за 15-20 минут, а также явно использовал несколько процессоров, которые Я не могу получить 7-Zip для Ubuntu.

Очевидно, что у меня не может быть добычи несколько дней, и я не должен.

Я имею в виду, что это связано с тем, что я не знаю о Ubuntu (я восстанавливаю пользователь Windows) или моей файловой системе, а не 7-Zip. Любая помощь будет чрезвычайно оценена.

Мой главный компьютер использует файловую систему ext4, а версия 7-Zip у меня – 9.20:

7-Zip [64] 9.20 p7zip Версия 9.20 (locale = en_US.UTF-8, Utf16 = on, HugeFiles = on, 12 CPU)

Обновить:

Я должен уточнить, что у меня на самом деле есть один диск на моей основной установке Ubuntu, которая является ext4 (мой ssd), хотя у меня есть еще один, который является ntfs (я думаю, что я помню, что это рекомендуется Ubuntu во время установки, возможно, b / c, я его установил как массив рейдов). Проблема замедления со временем происходила независимо от того, от чего я работал.

Следуя советам в комментариях, я использовал свою машину Windows для распаковки сжатого файла, реструктурирования каталога с 4096 подкаталогами и повторного zip-файла (хотя на этот раз я использовал уровень сжатия по умолчанию, а не максимум, и указанный lzma2). Затем я перевел его на свою машину Ubuntu (специально SS4) и распаковал. Он работал отлично, как и следовало ожидать, очень быстро.

Однако, как заметил еще один комментатор, часть проблемы здесь, скорее всего, заключается в том, что мои диски на машине Ubuntu не индексируются (они находятся в Windows), и мне, возможно, не придется вообще перестраивать каталоги, если я делаю индекс (который я ' вы все равно хотели этого сделать). В настоящее время я пытаюсь выяснить, как это сделать успешно и безопасно … и отчитается с любыми полезными результатами.

Я также попытался реструктурировать каталог уже на моей машине Ubuntu с помощью python, который идет неоправданно медленно. Возможно, это проблема python, а не Linux / ext4 / ntfs или, возможно, она также связана с индексированием, или, возможно, это b / c исходный каталог имеет 2,2 миллиона файлов в одном каталоге …:

 for fileName in series: if not os.path.exists('[...]/Pages2/' + fileName[:3] + '/' + fileName): shutil.copy('[...]/Pages/' + fileName, '[...]/Pages2/' + fileName[:3] + '/' + fileName) 

2 Solutions collect form web for “7-Zip замедляется со временем на Ubuntu, но не Windows”

вы говорите об одном каталоге с файлами 2.2mil? Внешние файловые системы любят замедляться при работе с таким количеством файлов.

Я, наконец, понял фактический ответ, когда прочитал запись в Википедии для XZ ( https://en.wikipedia.org/wiki/Xz ):

Можно подумать о xz как урезанной версии программы 7-Zip. xz имеет собственный формат файла, а не формат .7z, используемый 7-Zip (в котором отсутствует поддержка метаданных в файловой системе Unix [2]).

На самом деле все нормально иметь миллионы небольших файлов в одном каталоге, как представляется, на NTFS или EXT-4 с Ubuntu (возможно, это не рекомендуется по другим причинам). Не было ничего плохого в индексировании в моих файловых системах. Причина, по которой 7zip замедляется при попытке извлечь массивный каталог, имеет отношение к авторам 7zip, которые не заботятся о пользователях Linux / Unix.

Это частично заставляет меня задаться вопросом, так ли кто-то, кто пишет Nautilus, презрительно относится к пользователям Linux … b / c ему действительно не нравятся каталоги с большим количеством файлов, в то время как в Проводнике нет проблем с ним.

  • Установка Docker на Ubuntu 15.04, невозможность обновления
  • Инструмент сетевого мониторинга для Linux
  • Добавить репозиторий Ubuntu в Debian
  • USB Ubuntu с шифрованием всего диска
  • btrfs: установка субворота по другому пути не работает - нет такого файла или каталога
  • Как скомпрометировать скрипт prerm и preinst с сообщением об ошибке в пакете Debian
  • Обрезка длинной линии в Нано
  • перенаправить вывод команды в переменную (скрипт bash)
  • Отключить atd (и другие ненужные процессы запуска) в Ubuntu?
  • Возвратная перевозка не работает (Экран)
  • Поддельный MAC-адрес игнорируется wpa_supplicant?
  • Interesting Posts

    Использование переменных для хранения цветовых кодов терминала для PS1?

    Могу ли я писать на одном и том же ресурсе NFS из нескольких ОС?

    Какие хорошие инструменты для профилирования для Linux?

    Символы запуска оболочки для sh-c

    Подстановка команды в псевдониме разрешена в профиле bash?

    Как определить характеристики процессора на PowerPC и Power 8 (и выше)?

    Копирование каталога для нескольких домашних пользователей и изменение прав пользователя / группы

    Узнайте, какое приложение прослушивает определенные привязки клавиш?

    Возможно ли, чтобы nohup записывал выходные данные как в файл nohup.out AND, так и на экран / терминал?

    Почему для моей установки Arch требуется список зеркал?

    Java appletviewer на руке ubuntu

    Отдельный путь для файлов .zcompdump

    Исключить разделитель csplit

    Debian dns Запись «A», используемая другим доменом?

    Как запустить tmux автоматически в оболочке рыбы при подключении к удаленному серверу через ssh

    Linux и Unix - лучшая ОС в мире.