7-Zip замедляется со временем на Ubuntu, но не Windows

У меня есть каталог под названием Pages из 2,2 миллиона файлов HTML (около 80 ГБ) на сервере Ubuntu. Я сжал его с помощью 7-Zip, используя следующую команду:

 7z a -mx=9 Pages.7z Pages 

Потребовалось около 5-6 часов, чтобы сжать (кажется чрезмерным). Сжатый размер составляет около 2,3 ГБ.

Затем я загрузил его на главный компьютер (Ubuntu, Intel® Xeon® CPU E5-1650 v2 @ 3,50 ГГц). Каждый раз, когда я пытаюсь извлечь данные, он начинается с неутешительной, но приемлемой скорости, но замедляется до ползания по мере того, как он продвигается дальше (бежал всю ночь, и когда я проснулся, он делал около 300 файлов в минуту).

Однако на моей Windows-машине (Intel® Xeon® CPU E5-2687W @ 3,10 ГГц 3,10 ГГц, что является лишь немного лучшей машиной, я извлек весь каталог за 15-20 минут, а также явно использовал несколько процессоров, которые Я не могу получить 7-Zip для Ubuntu.

Очевидно, что у меня не может быть добычи несколько дней, и я не должен.

Я имею в виду, что это связано с тем, что я не знаю о Ubuntu (я восстанавливаю пользователь Windows) или моей файловой системе, а не 7-Zip. Любая помощь будет чрезвычайно оценена.

Мой главный компьютер использует файловую систему ext4, а версия 7-Zip у меня – 9.20:

7-Zip [64] 9.20 p7zip Версия 9.20 (locale = en_US.UTF-8, Utf16 = on, HugeFiles = on, 12 CPU)

Обновить:

Я должен уточнить, что у меня на самом деле есть один диск на моей основной установке Ubuntu, которая является ext4 (мой ssd), хотя у меня есть еще один, который является ntfs (я думаю, что я помню, что это рекомендуется Ubuntu во время установки, возможно, b / c, я его установил как массив рейдов). Проблема замедления со временем происходила независимо от того, от чего я работал.

Следуя советам в комментариях, я использовал свою машину Windows для распаковки сжатого файла, реструктурирования каталога с 4096 подкаталогами и повторного zip-файла (хотя на этот раз я использовал уровень сжатия по умолчанию, а не максимум, и указанный lzma2). Затем я перевел его на свою машину Ubuntu (специально SS4) и распаковал. Он работал отлично, как и следовало ожидать, очень быстро.

Однако, как заметил еще один комментатор, часть проблемы здесь, скорее всего, заключается в том, что мои диски на машине Ubuntu не индексируются (они находятся в Windows), и мне, возможно, не придется вообще перестраивать каталоги, если я делаю индекс (который я ' вы все равно хотели этого сделать). В настоящее время я пытаюсь выяснить, как это сделать успешно и безопасно … и отчитается с любыми полезными результатами.

Я также попытался реструктурировать каталог уже на моей машине Ubuntu с помощью python, который идет неоправданно медленно. Возможно, это проблема python, а не Linux / ext4 / ntfs или, возможно, она также связана с индексированием, или, возможно, это b / c исходный каталог имеет 2,2 миллиона файлов в одном каталоге …:

 for fileName in series: if not os.path.exists('[...]/Pages2/' + fileName[:3] + '/' + fileName): shutil.copy('[...]/Pages/' + fileName, '[...]/Pages2/' + fileName[:3] + '/' + fileName) 

2 Solutions collect form web for “7-Zip замедляется со временем на Ubuntu, но не Windows”

вы говорите об одном каталоге с файлами 2.2mil? Внешние файловые системы любят замедляться при работе с таким количеством файлов.

Я, наконец, понял фактический ответ, когда прочитал запись в Википедии для XZ ( https://en.wikipedia.org/wiki/Xz ):

Можно подумать о xz как урезанной версии программы 7-Zip. xz имеет собственный формат файла, а не формат .7z, используемый 7-Zip (в котором отсутствует поддержка метаданных в файловой системе Unix [2]).

На самом деле все нормально иметь миллионы небольших файлов в одном каталоге, как представляется, на NTFS или EXT-4 с Ubuntu (возможно, это не рекомендуется по другим причинам). Не было ничего плохого в индексировании в моих файловых системах. Причина, по которой 7zip замедляется при попытке извлечь массивный каталог, имеет отношение к авторам 7zip, которые не заботятся о пользователях Linux / Unix.

Это частично заставляет меня задаться вопросом, так ли кто-то, кто пишет Nautilus, презрительно относится к пользователям Linux … b / c ему действительно не нравятся каталоги с большим количеством файлов, в то время как в Проводнике нет проблем с ним.

  • Служба Systemd: не удалось выполнить вызов метода: сбой службы службы
  • Ubuntu on dell chomebook 11 сбой при установке *
  • Почему существуют оба сценария Upstart и сценарий init.d для нескольких демонов?
  • Почему apt-get в Ubuntu по-прежнему хочет установить Python 2.7?
  • Сессия XFCE не загружается при запуске через LightDM
  • Тонны неизвестных соединений в нетогах
  • Почему gnustep-config ничего не выводит ни на какой параметр?
  • Как остановить работу в минуту cron?
  • odroid / ubuntu - запуск wlan
  • Сделайте KVM / libvirt дождитесь подключения к сети перед запуском гостей
  • Kernel Panic - не синхронизация: VFS: невозможно монтировать root fs после компиляции нового ядра
  • Linux и Unix - лучшая ОС в мире.