Как получить список URL-адресов из URL рекурсивно с фильтрацией

Я хочу получить список URL-адресов, которые содержат vimeo.com с веб-сайта рекурсивно командой, так что я могу передать его на vimeo_downloader.sh .

Я предпочитаю использовать wget , но также я доволен другими вариантами.

пример

index.html

 <a href="01.html">01</a> <a href="02.html">02</a> <a href="03.html">03</a> <a href="04.html">04</a> <a href="05.html">05</a> <a href="06.html">06</a> 

01.html

 ... ... src="//player.vimeo.com/video/xxxxxxxxxx?api=1" ... ... 

Аналогично, от 02.html до 06.html есть URL-адрес vimeo. Как получить все URL-адреса vimeo с 01~06.html ?

One Solution collect form web for “Как получить список URL-адресов из URL рекурсивно с фильтрацией”

Вам нужно получить список URL-адресов, затем разобрать ссылки для подачи на скачивание. Поскольку вы используете внешнюю программу для загрузки, а не wget вам действительно не нужны параметры рекурсивной загрузки wget .

Предполагая, что GNU grep позволяет печатать только соответствующий текст, вы можете захватить URL-адреса vimeo с помощью:

 wget -q -O - -i urllist.txt | grep -oi "http://vimeo.com/[0-9]\+" 

Затем передать это в загрузчик

 urls=$(wget -q -O - -i urllist.txt | grep -oi "http://vimeo.com/[0-9]\+") for url in $urls; do echo "Downloading [$url]" vimeo_downloader.sh "$url" done 
  • Сценарий оболочки для захвата одного или нескольких видео Wistia
  • Как загрузить адрес электронной почты, который вызывается на веб-странице с помощью wget?
  • как загрузить личную электронную таблицу google из командной строки linux?
  • загрузить несколько файлов из sourceforge
  • Как я могу преобразовать все html-файлы, которые я получаю в текстовые файлы после команды wget?
  • Извлечение каталога из stdout из wget
  • Как оптимизировать скрипт загрузки wget
  • curl wget - 403 Запрещено
  • curl download отлично работает, но wget не работает с помощью ssl
  • Owncloud не показывает файлы, которые загружаются через SSH
  • wget не может войти в ftp
  • Interesting Posts

    Как запустить streamripper и mplayer в терминале X с раздельным экраном, используя один скрипт

    Как вырвать определенную строку, не перемещая курсор в vim?

    Фильтрация для «DEBUG» в меньшем количестве не показывает результатов на некоторых машинах. Зачем?

    Как выбрать адекватный дистрибутив Linux для данного оборудования?

    Требуется установка DVD-диска Debian 6

    Как применять макеты окон для стандартных утилит XFCE4 в Awesome WM

    Не удается войти в Root User

    / dev / kvm отсутствует в системе, поддерживающей kvm-виртуализацию

    Активировать команды PHP при входе в систему

    openvpn –config conf.ovpn приводит к ответам «RTNETLINK: файл существует»

    Почему мне нужно использовать newgrp или su (или выйти из системы и войти снова), чтобы применить новые членства в группах?

    RHEL: FDE без пароля – загрузка с ключа на раздел

    Ошибка Grub 'несовместимая лицензия'

    Объединение операторов awk

    Есть ли преемник Ytalk IM?

    Linux и Unix - лучшая ОС в мире.