Автор: Maxim Smirnov, <ms@compression.ru>
SPb, 12 февраля 2003 года в 17:43:44
В ответ на : таблицы от Олег Набатов
в 10 февраля 2003 года в 22:50:30:
> Существуют ли фильтры или специализированные архиваторы для txt-файлов содержащих таблицы?afair этим занимался Тейлор, но, вроде
как, оконченной реализации не было.
Больше ничего не знаю.
А, вру. Еще Павлов, автор 7-zip,
говорил о необходимости учета таких
особенностей. Не знаю, ушло дело
дальше потенциального желания :-) > Их паковать лучше не в естественном порядке байт, т.е. по строкам, а по колонкам, но сначала нужно эти колонки найти. Есть какие-то проблемы?
Например, делаем так.
Вводим какую-нибудь разумную метрику
для посимвольного различия строк.
Скажем, модуль разности кодов символов.
Считаем посимвольные разности
строк. Складываем модули разностей.
Получаем функцию сумм модулей
разностей.
Четкие минимумы и перепады будут
соответствовать правым границам
колонок. (иллюстрация, цифры вымышленные)
xxddfd fdfd frgrgrg
ddff dfd dfd
df we ererer
rere ww eer
---------------------
444321056420453.... Что касается способа моделирования,
то лучше учитывать двумерный контекст.
Конечно, это зависит от данных, но
выигрыш в среднем должен быть
существенным.
|