Tag: parallelism

Делать разные экраны на разных ядрах процессора?

Я подключаюсь к серверу (osX) со многими процессорами. Я хочу запустить свою программу для разных входных файлов. Прямо сейчас я запускаю один за другим: for input in "${inputs[@]}" do .<my-program.sh> –input $input done Это очень медленно и не использует полную мощность процессора, поэтому я хотел бы работать параллельно. Я хотел бы открыть новый отдельный экран […]

Утилита, полезная для работы с памятью, возвращает N первых отсортированных значений

Я хотел бы реализовать очень популярный пример MapReduce, используя только существующие программы, работающие на UNIX-пути. Проблема состоит в том, чтобы найти N наиболее частых значений в огромном количестве данных. Общее решение на любом языке программирования общего назначения: Сопоставьте каждое значение из списка с кортежем (значение, 1). Группируйте одинаковые значения, суммируя их количество. Сортировка значений по […]

Необходимо отформатировать 5 дисков параллельно

Я попробовал это xargs -p 5 -n1 mke2fs -t ext4 /dev/sd[dp]1 и получил это [/dev/mapper]# seq 1 15 | xargs -p 5 -n 1 mke2fs -t ext4 /dev/sd[bp]1 5 -n 1 mke2fs -t ext4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/sdi1 /dev/sdj1 /dev/sdk1 /dev/sdl1 /dev/sdm1 /dev/sdn1 /dev/sdo1 /dev/sdp1 1 2 3 4 5 6 […]

Как разбить массив в наборе из пяти файлов и загрузить их параллельно?

Я пытаюсь скопировать файлы из testMachineB и testMachineC в testMachineA поскольку я запускаю свой сценарий оболочки на testMachineA . Если файла нет в testMachineB , то он обязательно должен быть в testMachineC . Поэтому я сначала попытаюсь скопировать файл из testMachineB , если его нет в testMachineB тогда я testMachineC к testMachineC чтобы скопировать те […]

Можете ли вы создать пул процессов со сценариями оболочки?

Скажем, у меня есть большое количество заданий (десятки или сотни), которые нужно делать, но они интенсивно работают в ЦП, и только немногие могут запускаться сразу. Есть ли простой способ запуска X заданий сразу и начать новый, когда он закончит? Единственное, что я могу придумать, это что-то вроде ниже (псевдокод): jobs=(…); MAX_JOBS=4; cur_jobs=0; pids=(); # hash/associative […]

Запуск параллельных заданий по Ubuntu – различия между конфликтами ввода / вывода между Perl и Java

Извините, если это не относится к теме – это касается относительной эффективности параллельных сценариев Perl / Java в режиме ввода-вывода параллельно в системе Ubuntu. Я написал две простые версии сценария копирования файлов (Perl и Java) – см. Ниже. Когда я запускаю скрипты в 15-гигабайтном файле, каждый занимает столько же времени на 48-ядерном компьютере, на котором […]

Запустить fgrep multicore mac os x

Я выполняю эту команду на своей Mac OS X на 8 ядрах: for i in $(cat file1);do grep "$i" file2; done > output.txt Мой файл2 составляет 9 миллионов строк, поэтому требуется много времени. Можно ли использовать все ядра для разделения работы и сделать все быстрее?

сценарий оболочки для чтения из нескольких файлов параллельно

Мне нужно написать скрипт, который выполняется параллельно и ищет строку в нескольких файлах. Я попробовал много вариантов, но они замедляют скорость моего процессора.

Можно ли одновременно запускать две команды в сценарии оболочки?

Я знаю, что в командной строке я могу использовать & для запуска команды в фоновом режиме. Но мне интересно, могу ли я сделать это в сценарии. У меня есть сценарий: date_stamp=$(date +"%Y-%m-%d" –date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh ./stay/get_it_mix.sh cd stay zip ../stay_$date_stamp.zip ./*201* rm ./stay/!(*py|*sh) И я хочу запустить sh ./stay/get_it_ios.sh […]

Как определить максимальное число, которое нужно передать, чтобы сделать -j опцией?

Я хочу скомпилировать как можно быстрее. Идите фигуру. И хотелось бы автоматизировать выбор номера после опции -j . Как я могу программным образом выбрать это значение, например, в сценарии оболочки? Является ли выход nproc эквивалентным числу потоков, которые я имею в наличии для компиляции? make -j1 make -j16

Interesting Posts
Linux и Unix - лучшая ОС в мире.