Подтвердить что ты не робот

Бинарные данные POST Python

Я пишу код для интерфейса с redmine, и мне нужно загрузить некоторые файлы как часть процесса, но я не уверен, как делать POST-запрос из python, содержащий двоичный файл.

Я пытаюсь имитировать команды здесь:

curl --data-binary "@image.png" -H "Content-Type: application/octet-stream" -X POST -u login:password http://redmine/uploads.xml

В python (ниже), но он не работает. Я не уверен, что проблема связана с кодированием файла или что-то не так с заголовками.

import urllib2, os

FilePath = "C:\somefolder\somefile.7z"
FileData = open(FilePath, "rb")
length = os.path.getsize(FilePath)

password_manager = urllib2.HTTPPasswordMgrWithDefaultRealm()
password_manager.add_password(None, 'http://redmine/', 'admin', 'admin')
auth_handler = urllib2.HTTPBasicAuthHandler(password_manager)
opener = urllib2.build_opener(auth_handler)
urllib2.install_opener(opener)
request = urllib2.Request( r'http://redmine/uploads.xml', FileData)
request.add_header('Content-Length', '%d' % length)
request.add_header('Content-Type', 'application/octet-stream')
try:
    response = urllib2.urlopen( request)
    print response.read()
except urllib2.HTTPError as e:
    error_message = e.read()
    print error_message

У меня есть доступ к серверу, и он выглядит как ошибка кодирования:

...
invalid byte sequence in UTF-8
Line: 1
Position: 624
Last 80 unconsumed characters:
7z¼¯'ÅÐз2^Ôøë4g¸R<süðí6kĤª¶!»=}jcdjSPúá-º#»ÄAtD»H7Ê!æ½]j):

(further down)

Started POST "/uploads.xml" for 192.168.0.117 at 2013-01-16 09:57:49 -0800
Processing by AttachmentsController#upload as XML
WARNING: Can't verify CSRF token authenticity
  Current user: anonymous
Filter chain halted as :authorize_global rendered or redirected
Completed 401 Unauthorized in 13ms (ActiveRecord: 3.1ms)
4b9b3361

Ответ 1

В основном то, что вы делаете, является правильным. Глядя на документы redmine, с которыми вы связаны, кажется, что суффикс после точки в URL-адресе обозначает тип опубликованных данных (.json для JSON,.xml для XML), который согласуется с ответом, который вы получаете - Processing by AttachmentsController#upload as XML. Я думаю, может быть, есть ошибка в документах и ​​для публикации двоичных данных вы должны попробовать использовать http://redmine/uploads url вместо http://redmine/uploads.xml.

Кстати, я очень рекомендую очень хорошую и очень популярную библиотеку Requests для http в Python. Это намного лучше, чем в стандартном lib (urllib2). Он также поддерживает аутентификацию, но я пропустил его для краткости здесь.

import requests

data = open('./x.png', 'rb').read()
res = requests.post(url='http://httpbin.org/post',
                    data=data,
                    headers={'Content-Type': 'application/octet-stream'})

# let check if what we sent is what we intended to send...
import json
import base64

assert base64.b64decode(res.json()['data'][len('data:application/octet-stream;base64,'):]) == data

ОБНОВЛЕНИЕ

Чтобы узнать, почему это работает с запросами, но не с urllib2, мы должны изучить разницу в том, что отправляется. Чтобы увидеть это, я отправляю трафик на http-прокси (Fiddler), работающий на порту 8888:

Использование запросов

import requests

data = 'test data'
res = requests.post(url='http://localhost:8888',
                    data=data,
                    headers={'Content-Type': 'application/octet-stream'})

мы видим, что

POST http://localhost:8888/ HTTP/1.1
Host: localhost:8888
Content-Length: 9
Content-Type: application/octet-stream
Accept-Encoding: gzip, deflate, compress
Accept: */*
User-Agent: python-requests/1.0.4 CPython/2.7.3 Windows/Vista

test data

и используя urllib2

import urllib2

data = 'test data'    
req = urllib2.Request('http://localhost:8888', data)
req.add_header('Content-Length', '%d' % len(data))
req.add_header('Content-Type', 'application/octet-stream')
res = urllib2.urlopen(req)

получаем

POST http://localhost:8888/ HTTP/1.1
Accept-Encoding: identity
Content-Length: 9
Host: localhost:8888
Content-Type: application/octet-stream
Connection: close
User-Agent: Python-urllib/2.7

test data

Я не вижу никаких различий, которые могли бы гарантировать различное поведение, которое вы наблюдаете. Сказав, что для HTTP-серверов нередко проверять заголовок User-Agent и изменять поведение на основе его значения. Попытайтесь поменять заголовки, отправленные Запросами один за другим, делая их такими же, как те, которые отправляются urllib2 и видят, когда он перестает работать.

Ответ 2

Это не имеет ничего общего с неправильной загрузкой. Ошибка HTTP явно указывает 401 неавторизованных и указывает, что токен CSRF недопустим. Попробуйте отправить действительный токен CSRF с загрузкой.

Подробнее о токенах csrf здесь:

Что такое токен CSRF? Каково его значение и как оно работает?

Ответ 3

вам нужно добавить заголовок Content-Disposition, smth вроде этого (хотя я использовал mod-python здесь, но принцип должен быть одинаковым):

request.headers_out['Content-Disposition'] = 'attachment; filename=%s' % myfname

Ответ 4

Вы можете использовать unirest, он обеспечивает простой способ отправки запроса. `

import unirest

def callback(response):
 print "code:"+ str(response.code)
 print "******************"
 print "headers:"+ str(response.headers)
 print "******************"
 print "body:"+ str(response.body)
 print "******************"
 print "raw_body:"+ str(response.raw_body)

# consume async post request
def consumePOSTRequestASync():
 params = {'test1':'param1','test2':'param2'}

 # we need to pass a dummy variable which is open method
 # actually unirest does not provide variable to shift between
 # application-x-www-form-urlencoded and
 # multipart/form-data

 params['dummy'] = open('dummy.txt', 'r')
 url = 'http://httpbin.org/post'
 headers = {"Accept": "application/json"}
 # call get service with headers and params
 unirest.post(url, headers = headers,params = params, callback = callback)


# post async request multipart/form-data
consumePOSTRequestASync()

`

Вы можете проверить полный пример в http://stackandqueue.com/?p=57