Поиск в корзине s3 с журналами

Как найти строку внутри большого количества файлов .gz в подпапке Amazon S3? Я попытался установить его с помощью s3fs и zgrep, но он слишком медленный. Используете ли вы какие-либо другие методы?

Может быть, есть ли какая-нибудь услуга Amazon, которую я мог бы использовать для быстрого zgrep?

    One Solution collect form web for “Поиск в корзине s3 с журналами”

    Я считаю, что самый быстрый способ – скопировать их локально сначала, а затем сделать локальный zgrep:

    aws s3 cp s3://bucket/containing/the/logs . --recursive

    Это скопирует ( cp ) все журналы в ваш текущий каталог ( . ) И включит также все подпапки ( --recursive ).

    Тогда локальный zgrep :

    zgrep "search words" *.gz

    Или для рекурсивного поиска вспомогательных каталогов:

    find -name \*.gz -print0 | xargs -0 zgrep "STRING"

    (Взято из unix.stackexchange.com .)

    Interesting Posts

    Управление питанием ноутбуков для улучшения срока службы батареи Linux

    Разбор строки с несколькими специальными символами звездочки

    Мне интересно, как обеспечивается атомарность writev ()

    Как передать текст для тела электронной почты Mutt, а затем отредактировать электронную почту в интерактивном режиме?

    Активность дискового диска FreeBSD 10

    Sudo в качестве другого пользователя, чтобы сохранить свой домашний каталог в txt-файле

    Есть ли способ восстановить несохраненные аннотации в Okular после сбоя системы

    Разрешить доступ только для чтения user2 к подкаталогу user1

    новая установка Apache2 не запускается

    Управление (добавление / удаление и т. Д.) Пользователей в squashfs (файловая система RO) с небольшим R / W-разделом

    Нестабильность часов в Debian 9 (растяжка)

    Как использовать параметры pass-in для сценария оболочки?

    Как завершить работу с consolekit без sysvinit (но с systemd)

    открытие ошибки kcheckpass / var / log / faillog

    cd в исходное местоположение при записи сеанса с командой «script»

    Linux и Unix - лучшая ОС в мире.