Pandas: Разница между точкой поворота и поворотным столом. Почему работает только pivot_table?

Ответ 1

Я не уверен, что понимаю, но я попробую. Я обычно использую stack/unstack вместо pivot, это ближе к тому, что вы хотите?

df.set_index(['struct_id','resNum','score_type_name']).unstack()

                  score_value                                              
score_type_name        fa_dun fa_dun_dev fa_dun_rot fa_dun_semi     omega   
struct_id  resNum                                                           
4294967297 1         2.185618   0.000027        NaN    2.185591  0.064840   
           2         1.378923   0.028560   1.350362         NaN  0.222345   
           3         0.020352   0.025507  -0.005156         NaN  0.005106   
           4         4.218029   0.003712        NaN    4.214317  0.212160   
           5         3.663050   0.004953        NaN         NaN  0.061867   


score_type_name     p_aa_pp      rama       ref  
struct_id  resNum                                
4294967297 1            NaN       NaN -1.191180  
           2      -0.442467 -0.795161  0.249477  
           3      -0.096847  0.267443  0.979644  
           4      -0.462765 -1.403292 -1.960940  
           5            NaN -0.600053       NaN  

Я не уверен, почему ваш стержень не работает (вроде бы мне кажется, что это должно быть, но я могу ошибаться), но похоже, что он работает (или, по крайней мере, не дает ошибки), если я останусь 'struct_id. Конечно, это не очень полезное решение для полного набора данных, где у вас есть несколько разных значений для struct_id.

df.pivot(columns='score_type_name',values='score_value',index='resNum')

score_type_name    fa_dun  fa_dun_dev  fa_dun_rot  fa_dun_semi     omega  
resNum                                                                     
1                2.185618    0.000027         NaN     2.185591  0.064840   
2                1.378923    0.028560    1.350362          NaN  0.222345   
3                0.020352    0.025507   -0.005156          NaN  0.005106   
4                4.218029    0.003712         NaN     4.214317  0.212160   
5                3.663050    0.004953         NaN          NaN  0.061867   

score_type_name   p_aa_pp      rama       ref  
resNum                                         
1                     NaN       NaN -1.191180  
2               -0.442467 -0.795161  0.249477  
3               -0.096847  0.267443  0.979644  
4               -0.462765 -1.403292 -1.960940  
5                     NaN -0.600053       NaN  

Изменить для добавления: reset_index() преобразует из многоиндексного (иерархического) в более плоский стиль. В именах столбцов все еще есть иерархия, иногда самый простой способ избавиться от них - это просто сделать df.columns=['var1','var2',...], хотя есть более сложные способы, если вы выполните некоторые поиски.

df.set_index(['struct_id','resNum','score_type_name']).unstack().reset_index()

                  struct_id resNum score_value                            
score_type_name                         fa_dun fa_dun_dev fa_dun_rot   
0                4294967297      1    2.185618   0.000027        NaN   
1                4294967297      2    1.378923   0.028560   1.350362   
2                4294967297      3    0.020352   0.025507  -0.005156   
3                4294967297      4    4.218029   0.003712        NaN   
4                4294967297      5    3.663050   0.004953        NaN   

Ответ 2

Для тех, кто все еще интересуется разницей между pivot и pivot_table, в основном существуют две отличия:

• pivot_table является обобщением pivot, который может обрабатывать повторяющиеся значения для одной пары с поворотом index/column. В частности, вы можете дать pivot_table список функций агрегации, используя аргумент ключевого слова aggfunc. Значение по умолчанию aggfunc pivot_table равно numpy.mean.
• pivot_table также поддерживает использование нескольких столбцов для индекса и столбца таблицы с поворотом. Иерархический индекс будет автоматически сгенерирован для вас.

REF: pivot и pivot_table

Ответ 3

Я немного отлаживал его.

• DataFrame.pivot() и DataFrame.pivot_table() отличаются.
• pivot() не принимает список для индекса.
• pivot_table() принимает.

Внутри, оба из них используют функцию reset_index()/stack()/unstack() для выполнения задания.

pivot() - это просто сокращение для простого использования, я думаю.

Ответ 4

Другая оговорка:

pivot_table будет разрешать только числовые типы как "values ​​=", тогда как pivot будет принимать типы строк как "values ​​=".

Ответ 5

Чтобы получить фрейм данных, полученный из вызова pivot_table, в нужном формате:

pivoted.columns.name=None  ## remove the score_type_name
result = pivoted.reset_index()  ## puts index columns back into dataframe body

Ответ 6

pivot() используется для поворота без агрегирования. Поэтому он не может иметь дело с дублирующимися значениями для одной пары индекс/столбец.

Так как здесь ваш index=['struct_id','resNum'] имеет несколько дубликатов, следовательно, pivot не работает.

Однако pivot_table будет работать, потому что он будет обрабатывать дублирующиеся значения путем их агрегирования.

Ответ 7

Данный фрагмент может помочь вам в дальнейшем выравнивании внешнего вида вашего фрейма данных

df.set_index(['struct_id','resNum','score_type_name']).unstack().reset_index()
df.loc[:,['struct_id','resNum','fa_dun','fa_dun_dev','fa_dun_rot']]

Ответ 8

Перед вызовом сводной таблицы необходимо убедиться, что в наших данных нет строк с повторяющимися значениями для указанных столбцов.

Пивот с дубликатом дают

Index contains duplicate entries, cannot reshape

Если мы не можем этого гарантировать, нам, возможно, придется использовать метод pivot_table.

Пожалуйста, найдите ссылку ниже для более подробного объяснения

https://nikgrozev.com/2015/07/01/reshaping-in-pandas-pivot-pivot-table-stack-and-unstack-explained-with-pictures/