Загрузка большого файла с сервера с использованием шаблона REST Java Spring MVC

Ответ 1

Вот как я это делаю. Основано на подсказках из этого номера Spring Jira.

RestTemplate restTemplate // = ...;

// Optional Accept header
RequestCallback requestCallback = request -> request.getHeaders()
        .setAccept(Arrays.asList(MediaType.APPLICATION_OCTET_STREAM, MediaType.ALL));

// Streams the response instead of loading it all in memory
ResponseExtractor<Void> responseExtractor = response -> {
    // Here I write the response to a file but do what you like
    Path path = Paths.get("some/path");
    Files.copy(response.getBody(), path);
    return null;
};
restTemplate.execute(URI.create("www.something.com"), HttpMethod.GET, requestCallback, responseExtractor);

Из вышеупомянутого вопроса Джира:

Обратите внимание, что вы не можете просто вернуть InputStream из экстрактора, потому что к моменту возврата метода execute базовое соединение и поток уже закрыты.

Обновление для весны 5

Spring 5 представил класс WebClient который разрешает асинхронные (например, неблокирующие) http-запросы. Из документа:

По сравнению с RestTemplate, WebClient является:

• не блокирует, реагирует и поддерживает более высокий параллелизм с меньшими аппаратными ресурсами.
• предоставляет функциональный API, который использует преимущества лямбда-кода Java 8.
• поддерживает как синхронные, так и асинхронные сценарии.
• поддерживает потоковую передачу вверх или вниз с сервера.

Ответ 2

Это предотвращает загрузку всего запроса в память.

SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
requestFactory.setBufferRequestBody(false);
RestTemplate rest = new RestTemplate(requestFactory);

Для java.lang.OutOfMemoryError: Java-кучу пространства можно решить, добавив больше памяти в JVM:

-Xmxn Задает максимальный размер пула распределения памяти в байтах. Это значение должно быть кратно 1024 больше, чем 2 МБ. Добавить буквы k или K, чтобы указать килобайты, или m или M, чтобы указать мегабайты. Значение по умолчанию выбирается во время выполнения на основе конфигурации системы.

Для развертывания сервера, -Xms и -Xmx часто устанавливаются одинаковые значения. См. Эргономику коллекционера мусора в http://docs.oracle.com/javase/7/docs/technotes/guides/vm/gc-ergonomics.html

Примеры:

-Xmx83886080
-Xmx81920k
-Xmx80m

Вероятно, проблема у вас не связана с запросом, который вы пытаетесь выполнить (загрузить большой файл), но недостаточно памяти для этого процесса.

Ответ 3

Лучшей версией вышеуказанного правильного ответа может быть следующий код. Этот метод отправляет запрос на загрузку в другое приложение или службу, действующую в качестве фактического источника правды для загруженной информации.

public void download(HttpServletRequest req, HttpServletResponse res, String url)
            throws ResourceAccessException, GenericException {
        try {
            logger.info("url::" + url);
            if (restTemplate == null)
                logger.info("******* rest template is null***********************");
            RequestCallback requestCallback = request -> request.getHeaders()
                    .setAccept(Arrays.asList(MediaType.APPLICATION_OCTET_STREAM, MediaType.ALL));

            // Streams the response instead of loading it all in memory
            ResponseExtractor<ResponseEntity<InputStream>> responseExtractor = response -> {

                String contentDisposition = response.getHeaders().getFirst("Content-Disposition");
                if (contentDisposition != null) {
                    // Temporary location for files that will be downloaded from micro service and
                    // act as final source of download to user
                    String filePath = "/home/devuser/fileupload/download_temp/" + contentDisposition.split("=")[1];
                    Path path = Paths.get(filePath);
                    Files.copy(response.getBody(), path, StandardCopyOption.REPLACE_EXISTING);

                    // Create a new input stream from temporary location and use it for downloading
                    InputStream inputStream = new FileInputStream(filePath);
                    String type = req.getServletContext().getMimeType(filePath);
                    res.setHeader("Content-Disposition", "attachment; filename=" + contentDisposition.split("=")[1]);
                    res.setHeader("Content-Type", type);

                    byte[] outputBytes = new byte[100];
                    OutputStream os = res.getOutputStream();
                    int read = 0;
                    while ((read = inputStream.read(outputBytes)) != -1) {
                        os.write(outputBytes, 0, read);
                    }
                    os.flush();
                    os.close();
                    inputStream.close();
                }
                return null;
            };
            restTemplate.execute(url, HttpMethod.GET, requestCallback, responseExtractor);
        } catch (Exception e) {
            logger.info(e.toString());
            throw e;
        }
    }

Ответ 4

Вы должны использовать вложение многостраничного файла, поэтому поток файлов не загружается в память. В этом примере я использую службу отдыха, реализованную с Apache CXF.

...
import org.apache.cxf.jaxrs.ext.multipart.Attachment;
...

@Override
@Path("/put")
@Consumes("multipart/form-data")
@Produces({ "application/json" })
@POST
public SyncResponseDTO put( List<Attachment> attachments) {
    SyncResponseDTO response = new SyncResponseDTO();
    try {
        for (Attachment attr : attachments) {
            log.debug("get input filestream: " + new Date());
            InputStream is = attr.getDataHandler().getInputStream();