Git: найти дубликаты blob (файлов) в этом дереве

Это продолжение следующего этого вопроса.

Если есть несколько блоков с одним и тем же содержимым, они сохраняются только один раз в репозитории git, потому что их SHA-1 будет идентичным. Как можно найти все повторяющиеся файлы для данного дерева?

Вам нужно было бы ходить по дереву и искать повторяющиеся хэши, или git предоставлять обратные ссылки из каждого блоба ко всем файлам в дереве, которые ссылаются на него?

Ответ 1

Запуск этого на базе кода, над которым я работаю, был откровением, который я могу вам сказать!

#!/usr/bin/perl

# usage: git ls-tree -r HEAD | $PROGRAM_NAME

use strict;
use warnings;

my $sha1_path = {};

while (my $line = <STDIN>) {
    chomp $line;

    if ($line =~ m{ \A \d+ \s+ \w+ \s+ (\w+) \s+ (\S+) \z }xms) {
        my $sha1 = $1;
        my $path = $2;

        push @{$sha1_path->{$sha1}}, $path;
    }
}

foreach my $sha1 (keys %$sha1_path) {
    if (scalar @{$sha1_path->{$sha1}} > 1) {
        foreach my $path (@{$sha1_path->{$sha1}}) {
            print "$sha1  $path\n";
        }

        print '-' x 40, "\n";
    }
}

Ответ 2

[alias]
    # find duplicate files from root
    alldupes = !"git ls-tree -r HEAD | cut -c 13- | sort | uniq -D -w 40"

    # find duplicate files from the current folder (can also be root)
    dupes = !"cd `pwd`/$GIT_PREFIX && git ls-tree -r HEAD | cut -c 13- | sort | uniq -D -w 40"

Ответ 3

Просто сделал однострочный слой, который выделяет дубликаты, отображаемые git ls-tree.
Может быть полезно

git ls-tree -r HEAD |
    sort -t ' ' -k 3 |
    perl -ne '$1 && / $1\t/ && print "\e[0;31m" ; / ([0-9a-f]{40})\t/; print "$_\e[0m"'

Ответ 4

Ответы на скрипты из вашего связанного вопроса в значительной степени применимы и здесь.

Попробуйте выполнить следующую команду git из корня вашего репозитория git.

git ls-tree -r HEAD

Это генерирует рекурсивный список всех "blobs" в текущем HEAD, включая их путь и их идентификатор sha1.

git не поддерживает обратные ссылки из блоба в дерево, поэтому задача создания скриптов (perl, python?) должна анализировать вывод git ls-tree -r и создавать сводный отчет обо всех sha1, которые появляются более одного раза в списке.

Ответ 5

Больше общего:

( for f in `find .`; do test -f $f && echo $(wc -c <$f) $(md5 -q $f)   ; done ) |sort |uniq -c |grep -vE '^\s*1\b' |sed 's/.* //' > ~/dup.md5 ; \
( for f in `find .`; do test -f $f && echo $(wc -c <$f) $(md5 -q $f) $f; done ) |fgrep -f ~/dup.md5 |sort