Скрипты — Нормализатор верстки и оформления текстового документа

Добрый вечер, дорогие друзья! Я думаю, все мы сталкивались порой с молодыми блондинками/тетеньками-бухгалтерами 50 лет, которые строят ужасный, вырвиглазный абзац в прямом и переносном смысле слова, пользуясь текстовым процессором как печатной машинкой. Да-да, верстка при помощи и пробел, в лучшем случае табуляции, игнорирование банальных функций вроде выравнивания по краю страницы... Да кому я рассказываю, все вы это видели хотя бы раз.

Так вышло, что я занимаюсь составлением в сборник статей таких тетушек. Увидев то, что они творят с текстом, я понял, что человечество созрело для скрипта, который будет превращать кашу из символов в правильно-отформатированный текст, который нужно будет просто оформить в любимом текстовом процессоре до общего стандарта данного типа документов. Ну, или по своему вкусу, при отсутствии такового. (Стандарта, а не вкуса, о боже мой!) О том, как я создал решение, читайте далее.



Итак, первым делом я пролистал кучу таких работ и переписал все типичные ошибки в составлении текста. Они перед вами:
1) Верстка вертикальных отступов текста при помощи вместо расстояния до/после абзаца.
2) Неправильно расставленные пробелы вокруг запятой ,например так , так,или даже так.
3) Аналогичные ситуации с точкой.
4) Многоточие в виде трех точек, вместо специального типографского символа '…' (критично для книгоиздания).
5) Множественные пробелы между словами (два, три пробела, иногда после каждого слова, что замещает ламеру разрядку между словами).
6) Верстка отступа пробелами вместо адекватных средств вроде красной строки и выравниваний по краю.
7) Использование дефиса '-', там где по правилам русского языка должно стоять длинное тире '—'.
8) Использование пары значков дюйма вместо принятых в русском языке кавычек-ёлочек '«»' или кавычек-лапок '„“'
9) Лишние символы отступа после логического конца строки. Они остаются как результат полета мысли и многочисленных правок и особенно уродуют вывод, если мы используем выравнивание по ширине.
10) Безвкусное, некорректное и даже, зачастую, нечитабельная комбинация шрифтов, цветов, заливок, стилей, размеров, обликов, подчеркиваний и начертаний.

Все это решает следующий скрипт, написанный мной сегодня в порыве ненависти к извращенцам и насильникам текстовых процессоров:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

#!/usr/bin/perl #text-normalizer by William Meth #©2010, WTFPL, screw Stallman #Send you comments, patches and improvements to veyko2002'at'gmailDOTcom use warnings; use strict; use utf8; use open qw(:std :utf8); while (<>) { s/^\v$//g; s/,/, /g; s/ ,/,/g; s/\.\.\./…/g; s/\./\. /g; s/ \./\./g; s/\h+/ /g; s/^ +//g; s/ - / — /g; s/"(\S+)"/«$1»/g; #Для любителей лапок закомментировать строку выше, и открыть оную ниже #s/"(\S+)"/„$1“/g; s/\h+$//g; print "$_"; }

Пара слов о том, что и как в этом скрипте. Он читает стандартный ввод, исправляет 9 проблем и выдает исправление на стандартный вывод. Десятая проблема решается способом использования. Скопируйте весь текст в текстовый документ, запустите скрипт в формате normalizer.pl /path/to/file.txt (хотя не возбраняется и (cat file ИЛИ echo текст) с конвейером, дело вкуса. Потом полученный текст с практически идеальным форматированием, полный типографских символов, мы вставляем в совершенно новый документ и оформляем как хотим. Вам такой подход кажется чересчур радикальным? Отнюдь. Если бы мы правили вручную, без скрипта, нам все равно бы пришлось сбросить оформление 90% форматированного текста, помучить поля, поправить в каждом абзаце отступы красной строки, изменять практически все параметры документа и проч, я прошел через это, так что поверьте мне, выходит куда дольше, чем начать заново, не сбрасывая на умолчания то, что хорошо само по-себе.

Давайте сравним "до" и "после" :) На примере женщины, приславшей работу с бескрайних степей Азии, как наиболее яркой.

До:


После:


Все это было полностью отформатировано скриптом, мне оставалось только установить отступ красной строки и объявить заголовки. Разве не чудесно?

И напоследок извиняюсь, если никому кроме меня скрипт не покажется нужным, если у каждого уже лежит самописный скрипт в 10 раз круче, но вы не шлете его сюда, т.к. не считаете нужным слать такую элементарщину, если текстовые процессоры по вашему мнению не нужны, если вы все нормализуете через функции emacs, оформляете в postscript и делаете PDF, если вы бы такое писали на sed, а perl R.I.P., ну и прочие частные случаи гуру локалхоста. (фуух, такое пиршество троллям подпортил перечислением:) Я просто хотел оживить такой вот ИМХО полезной мелочью полудохлый раздел скриптов.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

#!/usr/bin/perl -w

use warnings;
use strict;
use utf8;
use open qw(:std :utf8);

while(<>)
{
  # strip the html away
  s/\<.*\>//g;
  s/\<.*\/\>//g;
  s/\<\/.*\>//g;
  s/\©/©/g;

  s/\n//g;
  s/ {5}/\n/g;
  print "$_";
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

#!/usr/bin/perl
use warnings;
use strict;
use Text::Iconv;

my $converter = Text::Iconv->new("cp1251", "utf8");
while (<>) {
  $_ = $converter->convert($_);
  s/(.+)\n$/$1 /g;
  s/^ +/\n\n/g;
  s/--/—/g;
  s/ +/ /g;
  s/\<.*\>//g;
  s/\<.*\/\>//g;
  s/\<\/.*\>//g;
  print $_;
}