Что такое «статья 2001 года» для блокировки «автоматизированных поисковых программ», на которые ссылается страница wget man?

На странице wget man указано это в разделе параметра --random-wait :

  Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer platform provided code to perform this analysis on the fly. Its author suggested blocking at the class C address level to ensure automated retrieval programs were blocked despite changing DHCP-supplied addresses. 

Я хочу получить копию этой статьи для чтения и попробовал много поисков в Интернете, чтобы определить статью. Тем не менее, все, что я могу найти с этими поисками, – это страница man для wget размещенная на разных сайтах; и некоторые другие исследовательские работы, не имеющие отношения к этой теме.

Кто-нибудь знает, к какой статье относятся, и где я могу получить копию?

2 Solutions collect form web for “Что такое «статья 2001 года» для блокировки «автоматизированных поисковых программ», на которые ссылается страница wget man?”

Несмотря на то, что не прямой ответ, git blame и git log показывают, что этот раздел был введен в commit 2c41d783 коммиттером , называемым hniksic , который оказывается Hrvoje Niksic. Его e-mail-адрес можно найти в файле ChangeLog wget (я не буду публиковать его здесь по очевидным причинам). Я предлагаю спросить его прямо, так как он может быть лучшим, чтобы дать более адекватный ответ. В то время как вы можете рассмотреть вопрос о том, не возражает ли он соответствующим образом обновлять справочную страницу. 😉

Я думаю, что это может быть эта статья:

Создание значимых данных из веб-журналов с использованием базы SAS

В параграфе обсуждается блокировка диапазонов класса C:

После того как IP-адрес будет разделен на его компоненты, фильтрация диапазонов IP-адресов проста. Фильтр класса B выполняется против первых двух октетов, например 168.126.xx.xx. Это переменная Onetwo в приведенном выше примере кода. Диапазоны класса C чаще используются, поскольку они нацелены на целые серверы и используют три из четырех октетов, например 168.126.56.xx. В приведенном выше примере кода это поле Three указывает, что Usrhost является значением TCP / IP-адреса веб-журнала.

И одно упоминание wget в блокировке на основе пользовательского агента:

Наш предпочтительный метод идентификации идентификатора пользовательского агента использует функцию сопоставления шаблонов индекса. Например:

 if index(lowcase(agentstr), 'keynote') or index(lowcase(agentstr), 'sureseeker') or index(lowcase(agentstr), 'wget') or 

Это был пятый результат в Googling для «log analysis wget» за 2001 год .

  • Как загрузить openSUSE 12.1 через `wget -c`?
  • Файлы труб, загруженные с помощью wget в функцию
  • Как загрузить все html-файлы из каталога URL с помощью wget?
  • Как загрузить все изображения размером> 100 КБ на веб-странице?
  • замена внутри параллельной командной строки
  • Получить все изображения с веб-сайта
  • Как загрузить файлы и папки из Onedrive с помощью wget?
  • wget duplicate files
  • Как загрузить архив и извлечь его, не сохраняя архив на диск?
  • WGET - проверка подлинности root и всех дочерних папок
  • Как проверить, поддерживает ли `wget` определенную функцию программно?
  • Interesting Posts

    udev GROUP и MODE для символической ссылки не действуют

    Проблема DMX с шрифтами

    Являются ли периоды (".") Действительными символами в именах файлов или папок?

    Судебно-медицинский анализ: найти все файлы, модифицированные вокруг известного

    Поворот страниц в формате pdf: 90 градусов для четных страниц и -90 градусов для нечетных страниц

    Не удается получить «файлы спрятанные-спрятать» для работы

    Сортировка нескольких файлов csv на основе двух столбцов в каталоге

    Настройте ноутбук Linux, чтобы отключить экран, но в остальном он работает при закрытой крышке

    как отключить тестовые программы в кросс-компиляции glib

    Кто платит за хранение и пропускную способность репозиториев?

    Привод mount iscsi при загрузке – остановка системы

    Как получить дамп всех расширенных атрибутов для файла?

    Могу ли я иметь условные операторы на основе сервера в файле .htaccess?

    Советы по использованию Linux без раздела подкачки

    Взаимодействие с ленточной библиотекой CentOS 7 через mtx

    Linux и Unix - лучшая ОС в мире.