Удаление дублей из текстового файла с помощью perl
Дубли удаляются из текстового файла с помощью perl буквально одной строчкой которую можно просто скопировать
perl -i.0 -ne "print if !$k{$_}++" dubli.txt
По скорости работы алгоритм в тестах немного уступает python но тем не менее практически так же быстр.
При обработке файла размером в 150 мб разница в скорости составляет примерно 1 секунду. На малых объемах информации различие при удалении дублей из текстового файла практически не ощутимо.
По скорости среди языков программирования на данный момент удаление дублей из текстовых файлов происходит быстрее всего с помощью
- pyhton
- perl
- c++
- php
именно так распределяются места по обработке дублей известными алгоритмами.