В новой версии Pandas для загрузки файлов Excel используется следующий интерфейс:
read_excel('path_to_file.xls', 'Sheet1', index_col=None, na_values=['NA'])
но что, если я не знаю доступных листов?
Например, я работаю с файлами excel, что следующие листы
Данные 1, данные 2..., данные N, foo, bar
но я не знаю N априори.
Есть ли способ получить список листов из документа excel в Pandas?
Вы все равно можете использовать класс ExcelFile (и атрибут sheet_names):
xl = pd.ExcelFile('foo.xls')
xl.sheet_names # see all sheet names
xl.parse(sheet_name) # read a specific sheet to DataFrame
см. docs для синтаксического анализа для получения дополнительных параметров...
Вы должны явно указать второй параметр (имя листа) как None. например:
df = pandas.read_excel("/yourPath/FileName.xlsx", None);
"df" - все листы в качестве словаря DataFrames, вы можете проверить его, запустив это:
df.keys()
выполните следующие действия:
[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']
обратитесь к pandas doc за дополнительной информацией: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html
Это самый быстрый способ, который я нашел, вдохновленный ответом @divingTobi. Все ответы, основанные на xlrd, openpyxl или pandas, медленны для меня, так как все они сначала загружают весь файл.
from zipfile import ZipFile
from bs4 import BeautifulSoup # you also need to install "lxml" for the XML parser
with ZipFile(file) as zipped_file:
summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]
Опираясь на ответ @dhwanil_shah, вам не нужно извлекать весь файл. С zf.open можно читать из заархивированного файла напрямую.
import xml.etree.ElementTree as ET
import zipfile
def xlsxSheets(f):
zf = zipfile.ZipFile(f)
f = zf.open(r'xl/workbook.xml')
l = f.readline()
l = f.readline()
root = ET.fromstring(l)
sheets=[]
for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
sheets.append(c.attrib['name'])
return sheets
Два последовательных readline ужасны, но содержание только во второй строке текста. Не нужно разбирать весь файл.
Это решение кажется намного быстрее, чем версия read_excel, и, скорее всего, также быстрее, чем полная версия извлечения.
Я пробовал xlrd, pandas, openpyxl и другие подобные библиотеки, и все они, кажется, занимают экспоненциальное время по мере увеличения размера файла, когда он читает весь файл. Другие решения, упомянутые выше, где они использовали on_demand, не помогли мне. Если вы просто хотите сначала получить имена листов, следующая функция работает для файлов xlsx.
def get_sheet_details(file_path):
sheets = []
file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
# Make a temporary directory with the file name
directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
os.mkdir(directory_to_extract_to)
# Extract the xlsx file as it is just a zip file
zip_ref = zipfile.ZipFile(file_path, 'r')
zip_ref.extractall(directory_to_extract_to)
zip_ref.close()
# Open the workbook.xml which is very light and only has meta data, get sheets from it
path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
with open(path_to_workbook, 'r') as f:
xml = f.read()
dictionary = xmltodict.parse(xml)
for sheet in dictionary['workbook']['sheets']['sheet']:
sheet_details = {
'id': sheet['@sheetId'],
'name': sheet['@name']
}
sheets.append(sheet_details)
# Delete the extracted files directory
shutil.rmtree(directory_to_extract_to)
return sheets
Поскольку все xlsx являются в основном заархивированными файлами, мы извлекаем базовые данные xml и читаем имена листов непосредственно из книги, что занимает доли секунды по сравнению с функциями библиотеки.
Бенчмаркинг: (на файле 6 МБ xlsx с 4 листами)
Панды, xlrd: 12 секунд
openpyxl: 24 секунды
Предлагаемый метод: 0,4 секунды
Так как моим требованием было просто чтение имен листов, ненужные накладные расходы на чтение все время доставляли мне неприятности, поэтому я выбрал этот путь.