Параллельное выполнение сценария bash

У меня есть таблица URL_Experiment в моей базе данных ( база данных mySQL ). У меня есть 2 миллиона ссылок URL в этой таблице.

Для каждого URL-адреса я проверяю, присутствует ли какой-либо конкретный текст в URL-адресе и обновляется информация в моей таблице URL_Experiment .

Теперь мне нужно, чтобы скрипт работал быстро. Легкое решение, которое приходит мне на ум:

разделите URL_Experiment на 10 таблиц (каждый с 200 000 строк) и запустите сценарий 10 раз одновременно. Таким образом, я могу обеспечить, чтобы обновления происходили должным образом. Но для этого мне нужно сохранить 10 скриптов, каждый из которых получает правильную таблицу (мне нужно переименовать таблицы от 1 до 10).

Хотя вышеизложенное кажется довольно опрятным решением, я ищу более сложное решение. То, что будет выполнять один и тот же скрипт одновременно (параллельно) в виде 10 процессов. Меня беспокоит время исполнения. Я не хочу, чтобы ресурсы были потрачены впустую, когда они могут быть использованы.

  • Извлечь два значения из вывода команды
  • поиск и увеличение значений между символом второй тильды и символом третьей тильды в каждой строке файла txt
  • Выполните параллельные команды запуска и дождитесь завершения одной группы команд до начала следующего
  • Разбиение последовательности на фиксированную ширину
  • Как подключить и отключить соединение openvpn в сценарии bash?
  • Как запустить «find -exec <script> {} \;
  • Почему цикл while пропускает и читает только первую строку?
  • Где я могу найти документацию по синтаксису сценария оболочки для использования регулярного выражения внутри переменной?
  • One Solution collect form web for “Параллельное выполнение сценария bash”

    Вы можете попробовать GNU параллельно. Многие примеры можно найти здесь и здесь .

    Я член команды Swift, и мы делаем именно такие вещи для крупных исследовательских проектов.

    Linux и Unix - лучшая ОС в мире.