Подтвердить что ты не робот

Разбор multipart данных формы HTTP с файлом загрузки содержимого с помощью Scala

Есть много multipart/form-data для загрузки файлов, но я не смог найти бесплатную версию для Scala.

Play2 имеет эту функциональность как часть фреймворка, а Spray также поддерживает данные многостраничной формы. К сожалению, обе эти функции, по-видимому, довольно интегрированы в остальные инструменты (я могу ошибаться здесь).

Мой сервер был разработан с использованием Finagle (который в настоящее время не поддерживает данные мультиплатформенной формы), и, если возможно, я хотел бы использовать бесплатное решение lib или "roll my own".

Это типичное сообщение multipart/form-data:

--*****org.apache.cordova.formBoundary
Content-Disposition: form-data; name="value1"

First parameter content
--*****org.apache.cordova.formBoundary
Content-Disposition: form-data; name="value2"

Second parameter content
--*****org.apache.cordova.formBoundary
Content-Disposition: form-data; name="file"; filename="image.jpg"
Content-Type: image/jpeg

$%^&#$%^%#$
--*****org.apache.cordova.formBoundary--

В этом примере *****org.apache.cordova.formBoundary является границей формы, поэтому многостраничная загрузка содержит 2 текстовых параметра и одно изображение (я конкатенировал данные изображения для ясности).

Если кто-то, кто знает Scala лучше меня, может немного рассказать о том, как подойти к разбору этого контента, я буду очень благодарен.

Для начала я подумал, что быстро разделил контент на три:

data.split("\\Q--*****org.apache.cordova.formBoundary\\E") foreach println

Но выполнение заметно медленное (обновление - это было вызвано разминкой). Есть ли более эффективный способ разделить детали? Моя стратегия состоит в том, чтобы разделить содержимое на части и разделить части на части. Это дрянной подход? Я видел, как подобные проблемы решаются с помощью государственных машин? Что такое хороший функциональный подход. Имейте в виду, я пытаюсь изучить правильный подход к Scala, пытаясь решить проблему.

Update:

Я действительно думал, что решение этой проблемы будет состоять из строки или двух в Scala. Если кто-то споткнется об этом вопросе с помощью гладкого решения, пожалуйста, найдите время, чтобы записать его. Из моего понимания можно было разобрать это сообщение, используя сопоставление шаблонов, разбор комбинаторов, извлечение или просто разделение строки. Я пытаюсь найти лучший способ решить эту проблему, так как проект, который я работаю, включает в себя много естественного разбора языка, и мне нужно написать собственные инструменты для анализа. Я хорошо понимаю Scala, но ничто не сравнится с советом эксперта.

Это не только решение проблемы, но и поиск наилучшего (и, надеюсь, простейшего) возможного способа решения этой проблемы.

4b9b3361

ОТВЕТЫ

Ответ 1

Это, пожалуй, самое худшее возможное решение, а не масштабируемое каким-либо образом, но чтобы быстро получить данные изображения из многостраничного запроса, я сделал следующее (если кто-то даст лучший ответ, я отменим мой ответ):

// Take the request and split it into parts
var requestParts = request.content.toString(UTF_8).split("\\Q--*****org.apache.cordova.formBoundary\\E")
// Split the third part at the blank line
val imageParts = requestParts(3).split("\\n\\s*\\n")
// The part above the blank line is the header text
val imageHeader = imageParts(0)
// The part below the blank line is the image body
val imageBodyString = imageParts(1)

Я попытаюсь улучшить это позже, но сейчас нужно продвигаться вперед. Еще один день, другой проект: -o

Ответ 2

Мне интересно, насколько медленным является ваш "заметно медленный". Я написал следующую небольшую функцию для генерации фальшивых сообщений:

def generateFakeMessage(n: Int) = {
  val rand = new scala.util.Random(1L)
  val maxLines = 100
  val maxLength = 100

  (1 to n).map(i =>
    "--*****org.apache.cordova.formBoundary\n" +
    "Content-Disposition: form-data; name=\"value%d\"\n\n".format(i) +
    (0 to rand.nextInt(maxLines)).map(_ =>
      (0 to rand.nextInt(maxLength)).map(_ => rand.nextPrintableChar).mkString
    ).mkString("\n")
  ).mkString("\n") + "\n--*****org.apache.cordova.formBoundary--"
}

Затем я создал достаточно большое сообщение для тестирования:

val data = generateFakeMessage(10000)

В итоге он содержит чуть более полумиллиона строк. Затем я попробовал ваше регулярное выражение:

data.split("\\Q--*****org.apache.cordova.formBoundary\\E").size

И он возвращается более или менее мгновенно. Возможно, вы можете немного настроить регулярное выражение, и есть более чистые подходы, которые вы могли бы использовать, если ваши данные были Iterable[String] по строкам сообщения, но я не думаю, что вы получите лучшую производительность от руки -rolled state machine для разбора одного большого String.

Ответ 3

Для первого предложения этот вопрос дает два предложения: один использует конечный автомат, а другой - с помощью комбинаторов-парсеров. Я бы обратил особое внимание на ответ с помощью комбинаторов парсеров, поскольку они обеспечивают очень простой способ создания такого анализатора. Синтаксис, приведенный в ответе Даниэля, должен очень легко адаптироваться к вашей ситуации.

Кроме того, вы можете предоставить более конкретные сопоставления в Scala для вашей конкретной грамматики, если потребуется. Где Даниэль:

def field = (fieldName < ~ ":" ) ~ fieldBody < ~ CRLF ^^ {имя случая ~ body = > имя → тело}

вы можете заменить это на шаблон чередования по нескольким полям (contentType|contentDisposition|....) и сопоставить каждый из них по отдельности в своих объектах Scala.

Извиняется за то, что у нас нет времени для написания более детального решения, но это, надеюсь, укажет вам в правильном направлении!

Ответ 4

Я думаю, что ваше решение:

data.split("\\Q--*****org.apache.cordova.formBoundary\\E") foreach println

который является O (n) по сложности, является лучшим и самым простым, что вы можете получить. Как ранее сказал Тревис, эта манипуляция не медленная. Как всегда с многостраничной формой HTTP, вам придется анализировать ее так или иначе, и лучше делать O (n) представляется сложным.

Кроме того, поскольку split предоставляет вам Iterable, он действительно идеален для любого соответствия, лечения...