7-Zip замедляется со временем на Ubuntu, но не Windows

У меня есть каталог под названием Pages из 2,2 миллиона файлов HTML (около 80 ГБ) на сервере Ubuntu. Я сжал его с помощью 7-Zip, используя следующую команду:

 7z a -mx=9 Pages.7z Pages 

Потребовалось около 5-6 часов, чтобы сжать (кажется чрезмерным). Сжатый размер составляет около 2,3 ГБ.

Затем я загрузил его на главный компьютер (Ubuntu, Intel® Xeon® CPU E5-1650 v2 @ 3,50 ГГц). Каждый раз, когда я пытаюсь извлечь данные, он начинается с неутешительной, но приемлемой скорости, но замедляется до ползания по мере того, как он продвигается дальше (бежал всю ночь, и когда я проснулся, он делал около 300 файлов в минуту).

Однако на моей Windows-машине (Intel® Xeon® CPU E5-2687W @ 3,10 ГГц 3,10 ГГц, что является лишь немного лучшей машиной, я извлек весь каталог за 15-20 минут, а также явно использовал несколько процессоров, которые Я не могу получить 7-Zip для Ubuntu.

Очевидно, что у меня не может быть добычи несколько дней, и я не должен.

Я имею в виду, что это связано с тем, что я не знаю о Ubuntu (я восстанавливаю пользователь Windows) или моей файловой системе, а не 7-Zip. Любая помощь будет чрезвычайно оценена.

Мой главный компьютер использует файловую систему ext4, а версия 7-Zip у меня – 9.20:

7-Zip [64] 9.20 p7zip Версия 9.20 (locale = en_US.UTF-8, Utf16 = on, HugeFiles = on, 12 CPU)

Обновить:

Я должен уточнить, что у меня на самом деле есть один диск на моей основной установке Ubuntu, которая является ext4 (мой ssd), хотя у меня есть еще один, который является ntfs (я думаю, что я помню, что это рекомендуется Ubuntu во время установки, возможно, b / c, я его установил как массив рейдов). Проблема замедления со временем происходила независимо от того, от чего я работал.

Следуя советам в комментариях, я использовал свою машину Windows для распаковки сжатого файла, реструктурирования каталога с 4096 подкаталогами и повторного zip-файла (хотя на этот раз я использовал уровень сжатия по умолчанию, а не максимум, и указанный lzma2). Затем я перевел его на свою машину Ubuntu (специально SS4) и распаковал. Он работал отлично, как и следовало ожидать, очень быстро.

Однако, как заметил еще один комментатор, часть проблемы здесь, скорее всего, заключается в том, что мои диски на машине Ubuntu не индексируются (они находятся в Windows), и мне, возможно, не придется вообще перестраивать каталоги, если я делаю индекс (который я ' вы все равно хотели этого сделать). В настоящее время я пытаюсь выяснить, как это сделать успешно и безопасно … и отчитается с любыми полезными результатами.

Я также попытался реструктурировать каталог уже на моей машине Ubuntu с помощью python, который идет неоправданно медленно. Возможно, это проблема python, а не Linux / ext4 / ntfs или, возможно, она также связана с индексированием, или, возможно, это b / c исходный каталог имеет 2,2 миллиона файлов в одном каталоге …:

 for fileName in series: if not os.path.exists('[...]/Pages2/' + fileName[:3] + '/' + fileName): shutil.copy('[...]/Pages/' + fileName, '[...]/Pages2/' + fileName[:3] + '/' + fileName) 

2 Solutions collect form web for “7-Zip замедляется со временем на Ubuntu, но не Windows”

вы говорите об одном каталоге с файлами 2.2mil? Внешние файловые системы любят замедляться при работе с таким количеством файлов.

Я, наконец, понял фактический ответ, когда прочитал запись в Википедии для XZ ( https://en.wikipedia.org/wiki/Xz ):

Можно подумать о xz как урезанной версии программы 7-Zip. xz имеет собственный формат файла, а не формат .7z, используемый 7-Zip (в котором отсутствует поддержка метаданных в файловой системе Unix [2]).

На самом деле все нормально иметь миллионы небольших файлов в одном каталоге, как представляется, на NTFS или EXT-4 с Ubuntu (возможно, это не рекомендуется по другим причинам). Не было ничего плохого в индексировании в моих файловых системах. Причина, по которой 7zip замедляется при попытке извлечь массивный каталог, имеет отношение к авторам 7zip, которые не заботятся о пользователях Linux / Unix.

Это частично заставляет меня задаться вопросом, так ли кто-то, кто пишет Nautilus, презрительно относится к пользователям Linux … b / c ему действительно не нравятся каталоги с большим количеством файлов, в то время как в Проводнике нет проблем с ним.

  • Как смонтировать вложенную папку общей папки?
  • Сделайте KVM / libvirt дождитесь подключения к сети перед запуском гостей
  • Ubuntu 11.04 Вводная аппликация vs /etc/init.d
  • Почему debian и ubuntu по умолчанию для runlevel 2?
  • Как изменить имя пользователя в Ubuntu 10.10?
  • как перейти на архитектуру докеров?
  • Как я могу войти в свой Linux-ноутбук, если забыл как логин, так и пароль?
  • Система утверждает, что мой USB установлен, когда я вставляю его, и я не могу (un) смонтировать его. Как это исправить?
  • Как MIME-тип «text / html» зарегистрирован в shared-mime-info? Где находится файл * .xml?
  • Как отображать скрытые символы при вводе текста?
  • install failing для libpcap: рецепт для целевого pcap-linux.o не удалось
  • Linux и Unix - лучшая ОС в мире.