Как создать массив numpy из генератора?

Как я могу построить массив numpy из объекта генератора?

Позвольте мне проиллюстрировать проблему:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

В этом случае gimme() является генератором, выход которого я бы хотел превратить в массив. Однако конструктор массива не выполняет итерацию по генератору, он просто хранит сам генератор. Поведение, которое я желаю, это то, что из numpy.array(list (gimme())), но я не хочу оплачивать издержки памяти, имея промежуточный список и конечный массив в памяти одновременно. Есть ли более экономичный способ?

Ответ 1

Массивы Numpy требуют, чтобы их длина была задана явно во время создания, в отличие от списков python. Это необходимо, так что пространство для каждого элемента может быть последовательно выделено в памяти. Последовательное распределение является ключевой особенностью массивов numpy: это в сочетании с встроенной реализацией кода, если операции над ними выполняются намного быстрее, чем обычные списки.

Помня об этом, технически невозможно взять объект-генератор и превратить его в массив, если вы тоже:

может предсказать, сколько элементов оно даст при запуске:
```
my_array = numpy.empty(predict_length())
for i, el in enumerate(gimme()): my_array[i] = el
```
готовы хранить свои элементы в промежуточном списке:
```
my_array = numpy.array(list(gimme()))
```
может создавать два одинаковых генератора, запускать первый, чтобы найти общую длину, инициализировать массив, а затем снова запустить генератор, чтобы найти каждый элемент:
```
length = sum(1 for el in gimme())
my_array = numpy.empty(length)
for i, el in enumerate(gimme()): my_array[i] = el
```

1 - это, вероятно, то, что вы ищете. 2 неэффективно, а 3 неэффективно (вам нужно пройти через генератор дважды).

Ответ 2

Один из google за этим результатом stackoverflow, я обнаружил, что есть numpy.fromiter(data, dtype, count). По умолчанию count=-1 извлекаются все элементы из итерабельного. Это требует, чтобы dtype был установлен явно. В моем случае это сработало:

numpy.fromiter(something.generate(from_this_input), float)

Ответ 3

Хотя вы можете создать массив 1D из генератора с помощью numpy.fromiter(), вы можете создать массив N-D из генератора с помощью numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Это также работает для одномерных массивов:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Обратите внимание, что numpy.stack использует генератор изнутри и создает промежуточный список с помощью arrays = [asanyarray(arr) for arr in arrays]. Реализация может быть найдена здесь.

Ответ 4

Несколько тангенциально, но если ваш генератор - это понимание списка, вы можете использовать numpy.where для более эффективного получения результата (я обнаружил это в своем собственном коде после просмотра этого сообщения)

Ответ 5

Функции vstack, hstack и dstack могут принимать в качестве входных генераторов, которые выдают многомерные массивы.