Почему удаление файлов по названию мучительно медленное, а также исключительно быстрое?

Faux pas: «Быстрый» метод, о котором я упоминал ниже, не в 60 раз быстрее медленного. Это в 30 раз быстрее. Я буду обвинять ошибку в часе (3 утра не лучшее время дня для ясного мышления 🙂 ..

Обновление: я добавил сводку времени тестирования (см. Ниже).
Кажется, есть два вопроса, связанных с коэффициентом скорости:

• ext4, почему 70k-файл занимает 88 блоков
• Каковы последствия наличия большого количества файлов в каталоге в файловой системе ext4?
• selinux на squashfs с overlayfs
• Самый быстрый способ получить список всех размеров файлов
• Удаляются ли ссылки между файлом inode и data файла при удалении файла?

• Выбор используемой команды (сравнение времени, показанное ниже)
• Характер большого количества файлов в каталоге … Кажется, что «большой плохой». Вещи становятся все более медленными, поскольку цифры увеличиваются.

Все тесты были выполнены с 1 миллионом файлов.
(реальные, пользовательские и sys-времена находятся в тестовых сценариях)
Сценарии тестирования можно найти на странице paste.ubuntu.com

# # 1 million files # =============== # # |time |new dir |Files added in ASCENDING order # +---- +------- +------------------------------------------------- # real 01m 33s Add files only (ASCENDING order) ...just for ref. # real 02m 04s Add files, and make 'rm' source (ASCENDING order) # Add files, and make 'rm' source (DESCENDING order) # real 00m 01s Count of filenames # real 00m 01s List of filenames, one per line # ---- ------- ------ # real 01m 34s 'rm -rf dir' # real 01m 33s 'rm filename' via rm1000filesPerCall (1000 files per 'rm' call) # real 01m 40s 'rm filename' via ASCENDING algorithm (1000 files per 'rm' call) # real 01m 46s 'rm filename' via DESCENDING algorithm (1000 files per 'rm' call) # real 21m 14s 'rm -r dir' # real 21m 27s 'find dir -name "hello*" -print0 | xargs -0 -n 1000 rm' # real 21m 56s 'find dir -name "hello*" -delete' # real 23m 09s 'find dir -name "hello*" -print0 | xargs -0 -P 0 rm' # real 39m 44s 'rm filename' (one file per rm call) ASCENDING # real 47m 26s 'rm filename' (one file per rm call) UNSORTED # 

Недавно я создал и удалил 10 миллионов пустых тестовых файлов. Удаляя файлы по имени по имени (т. rm filename ), я обнаружил, что существует трудная разница между двумя разными способами …

Оба метода используют ту же самую команду rm filename .

Обновление: как оказалось, команды были не совсем одинаковыми … Один из них отправлял 1000 имен файлов одновременно в «rm» … Это была проблема расширения расширений оболочки, в которой я думал, что каждое имя файла написано к файлу фидера на отдельной строке, но на самом деле это было 1000 на строку

Имена файлов предоставляются через «файл фидера» в цикл while read while.
Файл фидера – это выход ls -1 -f
Методы идентичны во всех аспектах, за исключением одного:

• медленный метод использует файл несортированного фидера прямо от ls -1 -f
• быстрый метод использует отсортированную версию того же несортированного файла

Я не уверен, что здесь проблема сортировки, или возможно, что отсортированный файл фидера просто соответствует последовательности, в которой были созданы файлы (я использовал простой восходящий целочисленный алгоритм)

Для 1 миллиона файлов метод быстрого rm filename в 60 раз быстрее, чем медленный метод … опять же, я не знаю, является ли это проблемой сортировки или проблемой хэш-таблицы за кадром … Я подозреваю, что это не простая проблема сортировки, потому что почему ls -1 -f преднамеренно дает мне несортированный список недавно добавленной «отсортированной» последовательности имен файлов …

Мне просто интересно, что здесь происходит, поэтому мне не нужны дни (да дни), чтобы удалить следующие 10 миллионов файлов 🙂 …. Я говорю «дни», потому что я пробовал так много альтернатив, и в разы увеличилось непропорционально количество задействованных файлов. Поэтому я только проверил 1 млн. подробностей

BTW: Удаление файлов через «отсортированный список» имен на самом деле быстрее, чем rm -rf , в 2 раза.
и: rm -r был в 30 раз медленнее, чем метод «отсортированного списка»

… но «отсортирован» здесь? или он больше связан с хешированием (или каким-либо другим) методом хранения, используемым ext4?

Меня совершенно озадачивает то, что каждый вызов rm filename имеет отношения к предыдущему .. (ну, по крайней мере, так происходит с точки зрения «bash»)

Я использую Ubuntu / bash / 'ext4' / SATA II.

 for i in $(seq 1 1000); do touch file.$i; done 

 function bucklocate() { hash=$(echo -n "$1"|md5sum|cut -f1); echo -n "${hash:1:1}/${hash:7:1}/${hash:9:2}/$1"; } hexdig="{0,1,2,3,4,5,6,7,8,9,a,b,c,d,e,f}" eval mkdir -p $hexdig/$hexdig/$hexdig$hexdig for i in $(seq 1 1000); do touch $(bucklocate file.$i); done 

 mkdir -pv {0,1,2,3,4,5,6}/{0,1,2,3,4,5,6,7,8,9,10,12} for a in $(seq 1 100); do i=$RANDOM; echo touch "$(($i%7))/$(($i%13))/file.$i"; done