Поиск в корзине s3 с журналами

Как найти строку внутри большого количества файлов .gz в подпапке Amazon S3? Я попытался установить его с помощью s3fs и zgrep, но он слишком медленный. Используете ли вы какие-либо другие методы?

Может быть, есть ли какая-нибудь услуга Amazon, которую я мог бы использовать для быстрого zgrep?

  • Incrontab не обнаруживает модификаций на mount s3fs
  • s3fs жалуется на SSH-ключ или сертификат SSL - как исправить?
  • One Solution collect form web for “Поиск в корзине s3 с журналами”

    Я считаю, что самый быстрый способ – скопировать их локально сначала, а затем сделать локальный zgrep:

    aws s3 cp s3://bucket/containing/the/logs . --recursive

    Это скопирует ( cp ) все журналы в ваш текущий каталог ( . ) И включит также все подпапки ( --recursive ).

    Тогда локальный zgrep :

    zgrep "search words" *.gz

    Или для рекурсивного поиска вспомогательных каталогов:

    find -name \*.gz -print0 | xargs -0 zgrep "STRING"

    (Взято из unix.stackexchange.com .)

    Interesting Posts

    Проблема пунктуации с использованием grep для получения n слов вокруг токена

    Не удается заставить беспроводную связь работать

    Каков наилучший способ создать uwsgi папку «/ run / uwsgi» при перезагрузке?

    Сохранять значения глобальных переменных через функции

    Последние версии всех приложений в Ubuntu 12.10

    Как найти удобочитаемую информацию о типах файлов, распознанных `file`?

    Инструменты инкрементного резервного копирования командной строки

    комбинировать поиск с другими командами: когда использовать -exec и когда использовать трубу?

    Смогу ли я установить элементарные ОС с этими спецификациями?

    Numlock по умолчанию для Linux Kali

    неуправляемые vps centos6.4 должны открыть порт 20/21

    Как передать файлы на сервер SunOS через sftp с помощью FileZilla?

    sed: заменить 1 слово, не повторяя остальные предложения

    compgen: игнорируя случай

    Удаление повторяющихся строк после сравнения первого шаблона и специального шаблона

    Linux и Unix - лучшая ОС в мире.