Ошибка памяти Java: невозможно создать новый собственный поток

Ответ 1

Только что получил следующую информацию: Это ограничение, наложенное моим хост-провайдером. Это не имеет ничего общего с программированием или linux.

Ответ 2

Основная операционная система (в этом случае Debian Linux) не позволяет процессу создавать больше потоков. См. Здесь, как повысить максимальную сумму: Максимальное количество потоков для процесса в Linux?

Я читал в Интернете, что моя программа должна обрабатывать что-то вроде 5000 или около того.

Это зависит от ограничений, установленных для ОС, количества запущенных процессов и т.д. С помощью правильных настроек вы можете легко достичь этого количества потоков. Я запускаю Ubuntu на своем собственном компьютере, и я могу создать около 32000 потоков, прежде чем нажимать лимит на одной программе Java со всеми моими "нормальными вещами", работающими на фоне (это было сделано с помощью тестовой программы, которая только что создала потоки, которые спал немедленно в бесконечном цикле). Естественно, что большое количество потоков, фактически занимающихся чем-то, вероятно, быстро закричало бы потребительское оборудование.

Ответ 3

Можете ли вы попробовать ту же команду с меньшим размером стека "-Xss64k" и передать результаты?

Ответ 4

Я начинаю подозревать, что "Native Posix Thread Library" отсутствует.

>getconf GNU_LIBPTHREAD_VERSION

Должно вывести что-то вроде:

NPTL 2.13

Если нет, установка Debian будет испорчена. Я не уверен, как это исправить, но установка Ubuntu Server кажется хорошим шагом...

для ulimit -n 100000; (open fd: s) следующая программа должна иметь возможность обрабатывать 32 000 потоков или около того.

Попробуйте:

package test;

import java.io.InputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.ArrayList;
import java.util.concurrent.Semaphore;

public class Test {

    final static Semaphore ss = new Semaphore(0);


    static class TT implements Runnable {

        @Override
        public void run() {
            try {
                Socket t = new Socket("localhost", 47111);
                InputStream is = t.getInputStream();
                for (;;) {
                    is.read();
                }

            } catch (Throwable t) {
                System.err.println(Thread.currentThread().getName() + " : abort");
                t.printStackTrace();
                System.exit(2);
            }

        }
    }

    /**
     * @param args
     */
    public static void main(String[] args) {
        try {

            Thread t = new Thread() {
                public void run() {
                    try {
                        ArrayList<Socket> sockets = new ArrayList<Socket>(50000);
                        ServerSocket s = new ServerSocket(47111,1500);
                        ss.release();

                        for (;;) {
                            Socket t = s.accept();
                            sockets.add(t);
                        }
                    } catch (Exception e) {
                        e.printStackTrace();
                        System.exit(1);

                    }
                }
            };


            t.start();
            ss.acquire();


            for (int i = 0; i < 30000; i++) {

                Thread tt = new Thread(new TT(), "T" + i);
                tt.setDaemon(true);
                tt.start();
                System.out.println(tt.getName());
                try {
                    Thread.sleep(1);
                } catch (InterruptedException e) {
                    return;
                }
            }

            for (;;) {
                System.out.println();
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    return;
                }
            }

        } catch (Throwable t) {
            t.printStackTrace();
        }
    }
}

Ответ 5

В вашей JVM не удается выделить стек или некоторую другую память в потоке. Уменьшение размера стека с помощью -Xss поможет увеличить количество потоков, которые вы можете создать до возникновения OOM (но JVM не позволит вам установить произвольно малый размер стека).

Вы можете подтвердить, что это проблема, видя, как количество созданных потоков изменяется при настройке -Xss или путем запуска strace на вашей JVM (вы почти наверняка увидите mmap() возвращающий ENOMEM до того, как будет создано исключение).

Проверьте также свой ulimit на виртуальный размер, т.е. ulimit -v. Увеличение этого ограничения должно позволить вам создавать больше потоков с одинаковым размером стека. Обратите внимание, что ограничение размера резидентного набора (ulimit -m) неэффективно в текущем ядре Linux.

Кроме того, уменьшение -Xmx может помочь, оставив больше памяти для стеков потоков.

Ответ 6

Его выход из памяти.

Также нужно изменить ulimit. Если ваша ОС не дает вашему приложению достаточно памяти -Xmx, я полагаю, это не имеет никакого значения.

Я думаю, что -Xmx500m не имеет никакого эффекта.

Попробуйте

ulimit -m 512m  с -Xmx512m