Удаление дублей из текстового файла с помощью perl

Автор: Igor Kirsanov

Дубли удаляются из текстового файла с помощью perl буквально одной строчкой которую можно просто скопировать


perl -i.0 -ne "print if !$k{$_}++" dubli.txt
По скорости работы алгоритм в тестах немного уступает python но тем не менее практически так же быстр.
При обработке файла размером в 150 мб разница в скорости составляет примерно 1 секунду. На малых объемах информации различие при удалении дублей из текстового файла практически не ощутимо.

По скорости среди языков программирования на данный момент удаление дублей из текстовых файлов происходит быстрее всего с помощью

  1. pyhton
  2. perl
  3. c++
  4. php

именно так распределяются места по обработке дублей известными алгоритмами.