Переместить 1000 строк из текстового файла в новый файл с помощью команд оболочки Unix
Я хочу скопировать первые 1000 строк в текстовый файл, содержащий более 50 миллионов записей, в другой новый файл, а также удалить эти строки из исходного файла.
Есть ли способ сделать то же самое с одной командой оболочки в Unix?
Ответ 1
head -1000 input > output && sed -i '1,+999d' input
head -1000 file.txt > first100lines.txt
tail --lines=+1001 file.txt > restoffile.txt
Ответ 3
Из любопытства я нашел коробку с версией GNU sed (v4.1.5) и протестировал (без кэша) производительность двух подходов, предложенных до сих пор, используя текстовый файл строки 11M:
$ wc -l input
11771722 input
$ time head -1000 input > output; time tail -n +1000 input > input.tmp; time cp input.tmp input; time rm input.tmp
real 0m1.165s
user 0m0.030s
sys 0m1.130s
real 0m1.256s
user 0m0.062s
sys 0m1.162s
real 0m4.433s
user 0m0.033s
sys 0m1.282s
real 0m6.897s
user 0m0.000s
sys 0m0.159s
$ time head -1000 input > output && time sed -i '1,+999d' input
real 0m0.121s
user 0m0.000s
sys 0m0.121s
real 0m26.944s
user 0m0.227s
sys 0m26.624s
Это Linux, с которым я работал:
$ uname -a
Linux hostname 2.6.18-128.1.1.el5 #1 SMP Mon Jan 26 13:58:24 EST 2009 x86_64 x86_64 x86_64 GNU/Linux
Для этого теста, по крайней мере, он выглядит как sed медленнее, чем подход tail (27 сек против ~ 14 секунд).
Ответ 4
Это однострочный, но использует четыре атомарные команды: