Подтвердить что ты не робот

Найти неиспользуемые модули "use'd" Perl

Я работаю над очень большой, очень старой "исторически выращенной" кодовой базой. Раньше люди часто думали: "О, мне может понадобиться этот и этот модуль, поэтому я просто включил его...", а позже люди часто "кэшировали" данные внутри модулей ( "Use ThisAndThat" нуждаются в нескольких секунд, чтобы загрузить несколько сотен МБ из БД в ОЗУ, да, это действительно глупая идея, мы тоже работаем над этим), и поэтому часто у нас есть небольшой модуль, который использует 20 или 30 модулей, из которых 90% полностью неиспользуемый в самом источнике, и из-за "кэширования" в нескольких используемых подмодулях модули, как правило, занимают одну минуту, чтобы загрузить или даже больше, что, конечно, неприемлемо.

Итак, я пытаюсь сделать это лучше. Прямо сейчас, мой путь просматривает все модули, понимая их как можно больше, и я смотрю на все модули, включая их, и вижу, нужны они или нет.

Есть ли более простой способ? Я имею в виду: есть функции, возвращающие все подмножества, которые модуль имеет как

...
return grep { defined &{"$module\::$_"} } keys %{"$module\::"}

так что, нет ли какой-либо простой способ увидеть, какие из них экспортируются по умолчанию и какие из них поступают откуда и используются в других модулях?

Простым примером является Data:: Dumper, который включен почти в каждый файл, даже если все debug-предупреждения и печати и т.д. arent в script больше. Но все же модуль должен загрузить Data:: Dumper.

Есть ли простой способ проверить это?

Спасибо!

4b9b3361

Ответ 1

Следующий код может быть частью вашего решения - он покажет вам, какие символы импортируются для каждого экземпляра use:

package traceuse;
use strict;
use warnings;
use Devel::Symdump;

sub import {
  my $class = shift;
  my $module = shift;

  my $caller = caller();

  my $before = Devel::Symdump->new($caller);

  my $args = \@_;
  # more robust way of emulating use?
  eval "package $caller; require $module; $module\->import(\@\$args)";

  my $after = Devel::Symdump->new($caller);

  my @added;
  my @after_subs = $after->functions;
  my %before_subs = map { ($_,1) } $before->functions;
  for my $k (@after_subs) {
    push(@added, $k) unless $before_subs{$k};
  }

  if (@added) {
    warn "using module $module added: ".join(' ', @added)."\n";
  } else {
    warn "no new symbols from using module $module\n";
  }
}
1;

Затем просто замените "use module..." на "use traceuse module...", и вы получите список импортируемых функций.

Пример использования:

package main;

sub foo { print "debug: foo called with: ".Dumper(\@_)."\n"; }

use traceuse Data::Dumper;

Это выведет:

using module Data::Dumper added: main::Dumper

то есть. вы можете определить, какие функции были импортированы надежным способом. И вы можете легко расширить это, чтобы сообщать о импортированных скалярных, массивных и хэш-переменных - проверить документы на Devel::Symdump.

Определить, какие функции фактически используются, - это другая половина уравнения. Для этого вам, возможно, удастся избежать простого grep вашего исходного кода, то есть Dumper появится в исходном коде модуля, а не в строке use. Это зависит от того, что вы знаете о своем исходном коде.

Примечания:

  • может быть модуль, который делает то, что делает traceuse - я не проверял

  • может быть лучший способ эмулировать "использование" из другого пакета

Ответ 2

Я как-то получил его, чтобы он работал с ИЦП. Это выглядит так:

#!/usr/local/bin/perl
use strict;
use warnings;

use Data::Dumper;
use Term::ANSIColor;

use PPI;
use PPI::Dumper;

my %doneAlready = ();
$" = ", ";

our $maxDepth = 2;
my $showStuffOtherThanUsedOrNot = 0;

parse("/modules/Test.pm", undef, undef, 0);

sub parse {
        my $file = shift;
        my $indent = shift || 0;
        my $caller = shift || $file;
        my $depth = shift || 0;

        if($depth && $depth >= $maxDepth) {
                return;
        }
        return unless -e $file;
        if(exists($doneAlready{$file}) == 1) {
                return;
        }
        $doneAlready{$file} = 1;
        my $skript = PPI::Document->new($file);

        my @included = ();

        eval {
                foreach my $x (@{$skript->find("PPI::Statement::Include")}) {
                        foreach my $y (@{$x->{children}}) {
                                push @included, $y->{content} if (ref $y eq "PPI::Token::Word" && $y->{content} !~ /^(use|vars|constant|strict|warnings|base|Carp|no)$/);
                        }
                }
        };

        my %double = ();

        print "===== $file".($file ne $caller ? " (Aufgerufen von $caller)" : "")."\n" if $showStuffOtherThanUsedOrNot;
        if($showStuffOtherThanUsedOrNot) {
                foreach my $modul (@included) {
                        next unless -e createFileName($modul);
                        my $is_crap = ((exists($double{$modul})) ? 1 : 0);
                        print "\t" x $indent;
                        print color("blink red") if($is_crap);
                        print $modul;
                        print color("reset") if($is_crap);
                        print "\n";
                        $double{$modul} = 1;
                }
        }

        foreach my $modul (@included) {
                next unless -e createFileName($modul);
                my $anyUsed = 0;
                my $modulDoc = parse(createFileName($modul), $indent + 1, $file, $depth + 1);
                if($modulDoc) {
                        my @exported = getExported($modulDoc);
                        print "Exported: \n" if(scalar @exported && $showStuffOtherThanUsedOrNot);
                        foreach (@exported) {
                                print(("\t" x $indent)."\t");
                                if(callerUsesIt($_, $file)) {
                                        $anyUsed = 1;
                                        print color("green"), "$_, ", color("reset") if $showStuffOtherThanUsedOrNot;
                                } else {
                                        print color("red"), "$_, ", color("reset") if $showStuffOtherThanUsedOrNot;
                                }
                                print "\n" if $showStuffOtherThanUsedOrNot;
                        }

                        print(("\t" x $indent)."\t") if $showStuffOtherThanUsedOrNot;
                        print "Subs: " if $showStuffOtherThanUsedOrNot;
                        foreach my $s (findAllSubs($modulDoc)) {
                                my $isExported = grep($s eq $_, @exported) ? 1 : 0;
                                my $rot = callerUsesIt($s, $caller, $modul, $isExported) ? 0 : 1;
                                $anyUsed = 1 unless $rot;
                                if($showStuffOtherThanUsedOrNot) {
                                        print color("red") if $rot;
                                        print color("green") if !$rot;
                                        print "$s, ";
                                        print color("reset");
                                }
                        }
                        print "\n" if $showStuffOtherThanUsedOrNot;
                        print color("red"), "=========== $modul wahrscheinlich nicht in Benutzung!!!\n", color("reset") unless $anyUsed;
                        print color("green"), "=========== $modul in Benutzung!!!\n", color("reset") if $anyUsed;
                }
        }

        return $skript;
}


sub createFileName {
        my $file = shift;
        $file =~ s#::#/#g;
        $file .= ".pm";
        $file = "/modules/$file";
        return $file;
}

sub getExported {
        my $doc = shift;

        my @exported = ();
        eval {
                foreach my $x (@{$doc->find("PPI::Statement")}) {
                        my $worthATry = 0;
                        my $isMatch = 0;
                        foreach my $y (@{$x->{children}}) {
                                $worthATry = 1 if(ref $y eq "PPI::Token::Symbol");
                                if($y eq '@EXPORT') {
                                        $isMatch = 1;
                                } elsif($isMatch && ref($y) ne "PPI::Token::Whitespace" && ref($y) ne "PPI::Token::Operator" && $y->{content} ne ";") {
                                        push @exported, $y->{content};
                                }
                        }
                }
        };

        my @realExported = ();
        foreach (@exported) {
                eval "\@realExported = $_";
        }

        return @realExported;
}

sub callerUsesIt {
        my $subname = shift;
        my $caller = shift;

        my $namespace = shift || undef;
        my $isExported = shift || 0;

        $caller = `cat $caller`;

        unless($namespace) {
                return 1 if($caller =~ /\b$subname\b/);
        } else {
                $namespace = createPackageName($namespace);
                my $regex = qr#$namespace(?:::|->)$subname#;
                if($caller =~ $regex) {
                        return 1;
                }
        }
        return 0;
}

sub findAllSubs {
        my $doc = shift;

        my @subs = ();

        eval {
                foreach my $x (@{$doc->find("PPI::Statement::Sub")}) {
                        my $foundName = 0;
                        foreach my $y (@{$x->{children}}) {
                                no warnings;
                                if($y->{content} ne "sub" && ref($y) eq "PPI::Token::Word") {
                                        push @subs, $y;
                                }
                                use warnings;
                        }
                }
        };

        return @subs;
}

sub createPackageName {
        my $name = shift;
        $name =~ s#/modules/##g;
        $name =~ s/\.pm$//g;
        $name =~ s/\//::/g;
        return $name;
}

Его действительно уродливый и, возможно, не 100% работающий, но, похоже, с тестами, которые Ive сделал сейчас, это хорошо для начала.