Tag: параллелизм

Загружать данные параллельно

Мне нужно загрузить 20G данных с помощью ftp. Могу ли я сделать это параллельно (gnu?) Вот некоторые из ссылок на данные. ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030893/ERR030893.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_1.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_2.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030894/ERR030894.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_1.fastq.gz ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_2.fastq.gz Благодаря,

Запускайте два сценария одновременно

Я хочу запустить два сценария одновременно. Как именно я это делаю? Если у меня есть переменная, называемая foo в script1 и измените ее значение на 5, и если я использую переменную с тем же именем в script2 (которая выполняется одновременно с script1 ), будет ли значение переменной foo в script2 также стать 5?

Параллелизировать рекурсивное удаление с помощью find

Я хочу рекурсивно удалить все файлы, которые заканчиваются на .in . Это занимает много времени, и у меня много ядер, поэтому я хотел бы распараллелить этот процесс. Из этой xargs , похоже, можно использовать xargs или make чтобы распараллелить find . Можно ли распараллелить это приложение поиска? Вот моя текущая последовательная команда: find . -name […]

одновременно выполнять одну и ту же команду для нескольких файлов

Мне нужно одновременно запускать ту же команду отдельно для каждого файла. я пробовал for file in *.txt; do ./script <"$file"; done но он начинает первый и ждет, пока он не закончит, а затем перейдет к следующему. Мне нужно начать все вместе.

«Нет имени пользователя PostgreSQL» – возможные проблемы параллелизма?

Для моей диссертации я выполняю ту же самую cronjob примерно на 300 машинах, которая: 10,25,40,55 * * * * /path/to/db_script.sh 1>/dev/null Этот скрипт получает некоторые значения из системы (независимо от того, кто-то вошел в систему), а затем запускает инструкцию INSERT в удаленной базе данных PostgreSQL. В моем сценарии я указываю местоположение файла .pgpass для аутентификации, […]

Микрокомпьютерный кластер для стресс-тестирования

Я ищу для создания микрокомпьютерного кластера при работе для стресс-тестирования одного из наших приложений, и, хотя у меня есть небольшая финансовая свобода, я хотел бы поддерживать низкую стоимость и высокую вычислительную способность. Я также очень новичок в идее параллельных вычислений, и небольшое исследование, которое я сделал до сих пор, довольно подавляющее. Вот что я хочу […]

Управление заданиями: как сохранить вывод фонового задания в переменной

Использование Bash в OSX. Мой сценарий имеет следующие две строки: nfiles=$(rsync -auvh –stats –delete –progress –log-file="$SourceRoot/""CopyLog1.txt" "$SourceTx" "$Dest1Tx" | tee /dev/stderr | awk '/files transferred/{print $NF}') & nfiles2=$(rsync -auvh –stats –delete –progress –log-file="$SourceRoot/""CopyLog2.txt" "$SourceTx" "$Dest2Tx" | tee /dev/stderr | awk '/files transferred/{print $NF}') Когда я использую & после первой строки (для одновременной работы двух команд […]

Использовать файлы из команды find в параллельных пакетах

У меня есть этот код для поиска dirs в текущей папке, а затем tar it find . -type d -maxdepth 1 -mindepth 1 -print -exec tar czf {}.tar.gz {} \; У меня есть 100s папок, и в настоящее время он делает по одной папке. Возможно ли, что я могу запустить партию из 5 параллельно

Две команды GNU Parallel, выполненные на одном компьютере

Я использую GNU Parallel, чтобы автоматически запускать большое количество заданий и распространять их на ядрах машины. Одна работа на ядро. parallel python3 program.py ::: inputs1* Когда один набор заданий близок к завершению, оставшиеся задания используют только подмножество доступных ядер. Было бы неплохо запустить следующий набор входов с parallel чтобы использовать только неиспользуемые ядра. Итак, сначала […]

Параллельный список файлов скручиваний

первая запись извините, если я немного побеспокоил здесь =) Использование версии сервера 64bits Ubuntu 14.04lts. У меня есть список ( url.list ) с загружаемыми только URL-адресами, по одному в строке, который выглядит так: http://domain.com/teste.php?a=2&b=3&name=1 http://domain.com/teste.php?a=2&b=3&name=2 … http://domain.com/teste.php?a=2&b=3&name=30000 Как видите, в файле много файлов (в данном случае 30000). Из-за этого я использую трюк, чтобы загрузить много […]

Linux и Unix - лучшая ОС в мире.