Поиск в корзине s3 с журналами

Как найти строку внутри большого количества файлов .gz в подпапке Amazon S3? Я попытался установить его с помощью s3fs и zgrep, но он слишком медленный. Используете ли вы какие-либо другие методы?

Может быть, есть ли какая-нибудь услуга Amazon, которую я мог бы использовать для быстрого zgrep?

  • s3fs жалуется на SSH-ключ или сертификат SSL - как исправить?
  • Incrontab не обнаруживает модификаций на mount s3fs
  • One Solution collect form web for “Поиск в корзине s3 с журналами”

    Я считаю, что самый быстрый способ – скопировать их локально сначала, а затем сделать локальный zgrep:

    aws s3 cp s3://bucket/containing/the/logs . --recursive

    Это скопирует ( cp ) все журналы в ваш текущий каталог ( . ) И включит также все подпапки ( --recursive ).

    Тогда локальный zgrep :

    zgrep "search words" *.gz

    Или для рекурсивного поиска вспомогательных каталогов:

    find -name \*.gz -print0 | xargs -0 zgrep "STRING"

    (Взято из unix.stackexchange.com .)

    Linux и Unix - лучшая ОС в мире.