Как я могу пройти файловую систему с генератором?

Я пытаюсь создать класс утилиты для перемещения всех файлов в каталоге, в том числе внутри подкаталогов и под-подкаталогов. Я пытался использовать генератор, потому что генераторы классные; однако, я попал в ловушку.


def grab_files(directory):
    for name in os.listdir(directory):
        full_path = os.path.join(directory, name)
        if os.path.isdir(full_path):
            yield grab_files(full_path)
        elif os.path.isfile(full_path):
            yield full_path
        else:
            print('Unidentified name %s. It could be a symbolic link' % full_path)

Когда генератор достигает директории, он просто дает ячейку памяти нового генератора; это не дает мне содержимое каталога.

Как заставить генератор выводить содержимое каталога вместо нового генератора?

Если у вас уже есть простая библиотечная функция для рекурсивного перечисления всех файлов в структуре каталогов, расскажите мне об этом. Я не собираюсь реплицировать библиотечную функцию.

Ответ 1

Зачем изобретать колесо, когда вы можете использовать os.walk

import os
for root, dirs, files in os.walk(path):
    for name in files:
        print os.path.join(root, name)

os.walk - это генератор, который дает имена файлов в дереве каталогов, идя по дереву сверху вниз или снизу вверх

Ответ 2

Я согласен с решением os.walk

Для чисто педантичной цели попробуйте выполнить итерацию по объекту генератора, вместо того, чтобы возвращать его напрямую:


def grab_files(directory):
    for name in os.listdir(directory):
        full_path = os.path.join(directory, name)
        if os.path.isdir(full_path):
            for entry in grab_files(full_path):
                yield entry
        elif os.path.isfile(full_path):
            yield full_path
        else:
            print('Unidentified name %s. It could be a symbolic link' % full_path)

Ответ 3

Начиная с Python 3.4, вы можете использовать модуль Pathlib:

In [48]: def alliter(p):
   ....:     yield p
   ....:     for sub in p.iterdir():
   ....:         if sub.is_dir():
   ....:             yield from alliter(sub)
   ....:         else:
   ....:             yield sub
   ....:             

In [49]: g = alliter(pathlib.Path("."))                                                                                                                                                              

In [50]: [next(g) for _ in range(10)]
Out[50]: 
[PosixPath('.'),
 PosixPath('.pypirc'),
 PosixPath('.python_history'),
 PosixPath('lshw'),
 PosixPath('.gstreamer-0.10'),
 PosixPath('.gstreamer-0.10/registry.x86_64.bin'),
 PosixPath('.gconf'),
 PosixPath('.gconf/apps'),
 PosixPath('.gconf/apps/gnome-terminal'),
 PosixPath('.gconf/apps/gnome-terminal/%gconf.xml')]

Это важная объектно-ориентированная версия ответа sjthebats. Обратите внимание, что шаблон Path.glob ** возвращает только каталоги!

Ответ 4

Начиная с Python 3.4, вы можете использовать метод glob() из встроенного модуля pathlib:

import pathlib
p = pathlib.Path('.')
list(p.glob('**/*'))    # lists all files recursively

Ответ 5

Вы можете использовать path.py. К сожалению, веб-сайт автора больше не существует, но вы все равно можете загрузить код из PyPI. Эта библиотека представляет собой оболочку вокруг функций пути в модуле os.

path.py предоставляет метод walkfiles(), который возвращает генератор, повторяющийся рекурсивно по всем файлам в каталоге:

>>> from path import path
>>> print path.walkfiles.__doc__
 D.walkfiles() -> iterator over files in D, recursively.

        The optional argument, pattern, limits the results to files
        with names that match the pattern.  For example,
        mydir.walkfiles('*.tmp') yields only files with the .tmp
        extension.

>>> p = path('/tmp')
>>> p.walkfiles()
<generator object walkfiles at 0x8ca75a4>
>>>

Ответ 6

дополнение к ответу геррита. Я хотел сделать что-то более гибкое.

список всех файлов в pth, соответствующих заданному pattern, также может отображать список, если only_file есть False

from pathlib import Path

def walk(pth=Path('.'), pattern='*', only_file=True) :
    """ list all files in pth matching a given pattern, can also list dirs if only_file is False """
    if pth.match(pattern) and not (only_file and pth.is_dir()) :
        yield pth
    for sub in pth.iterdir():
        if sub.is_dir():
            yield from walk(sub, pattern, only_file)
        else:
            if sub.match(pattern) :
                yield sub