Заменить строку, содержащую новую строку в огромном файле

Это действительно тривиально в Perl, вы не должны ненавидеть его!

 perl -i.bak -pe 's/>\n/>/' file 

объяснение

• -i : отредактировать файл на месте и создать резервную копию оригинала с именем file.bak . Если вам не нужна резервная копия, просто используйте perl -i -pe .
• -pe : прочитать файл ввода строки за строкой и распечатать каждую строку после применения сценария, указанного как -e .
• s/>\n/>/ : подстановка, как и sed .

И вот подход awk :

 awk '{if(/>$/){printf "%s",$0}else{print}}' file2 

Решение perl :

 $ perl -pe 's/(?<=>)\n//' 

Explaination

• s/// используется для замены строк.
• (?<=>) <=> (?<=>) – это шаблон lookbehind.
• \n соответствует новой строке.

Все значения шаблона удаляют всю новую строку, которая имеет > перед ней.

Как насчет этого:

 sed ':loop />$/ { N s/\n// b loop }' file 

Для GNU sed вы также можете попробовать добавить опцию -u ( --unbuffered ) в соответствии с вопросом. GNU sed также доволен этим как простой однострочный:

 sed ':loop />$/ { N; s/\n//; b loop }' file 

Вы должны иметь возможность использовать sed с помощью команды N , но трюк будет заключаться в том, чтобы удалить одну строку из пространства шаблонов каждый раз, когда вы добавляете другую (чтобы пространство шаблонов всегда содержало только две последовательные строки, вместо того, чтобы читать весь файл) – попробуйте

 sed ':a;$!N;s/>\n/>/;P;D;ba' 

РЕДАКТИРОВАТЬ: после перечитывания знаменитых одноразовых песен Питера Круминьса, я считаю, что лучшее решение sed будет

 sed -e :a -e '/>$/N; s/\n//; ta' 

который добавляет следующую строку только в том случае, если в конце он уже сделал > совпадение, и должен условно вернуться назад, чтобы обработать случай последовательных совпадающих строк (это 39% Крюмина). Добавьте строку к следующей, если она заканчивается обратная косая черта «\» точно, за исключением замены символа > для \ в качестве символа объединения, и того факта, что символ соединения сохраняется на выходе).

sed не предоставляет способ испускать выход без окончательной новой строки. Ваш подход с использованием N принципе работает, но хранит неполные строки в памяти и, следовательно, может терпеть неудачу, если линии становятся слишком длинными (sed implentations обычно не предназначены для обработки очень длинных строк).

Вместо этого вы можете использовать awk.

 awk '{if (/<$/) printf "%s", $0; else print}' 

Альтернативным подходом является использование tr для замены символа новой строки «скучным», часто встречающимся символом. Пространство может работать здесь – выберите персонажа, который имеет тенденцию появляться на каждой строке или, по крайней мере, большую часть строк в ваших данных.

 tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n' 

как насчет использования ed?

 ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw' 

(через http://wiki.bash-hackers.org/howto/edit-ed )

Я закончил использование gsar, как описано в этом ответе следующим образом:

 gsar -F '-s>:x0A' '-r>' 

Есть много способов сделать это, и большинство из них действительно хороши, но я думаю, что это мой любимый:

 tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/' 

Или даже:

 tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'