Максимальный объем памяти на процесс Java в Windows?

Ответ 1

Нет ничего лучше эмпирического эксперимента, чтобы ответить на ваш вопрос. Я написал программу Java и запустил ее, указав флаг XMX (также использовал XMS = XMX, чтобы заставить JVM предварительно выделить всю память). Для дополнительной защиты от JVM-оптимизации я активно выделяю X-номер 10 МБ объектов. Я запускаю ряд тестов на нескольких JVM, увеличивая значение XMX вместе с увеличением количества выделенных MB в разных 32-битных операционных системах, использующих как JVM Sun, так и IBM, здесь сводка результатов:

ОС: Windows XP SP2, JVM: Sun 1.6.0_02, максимальный размер кучи: 1470 МБ
ОС: Windows XP SP2, JVM: IBM 1.5, Макс. Размер кучи: 1810 МБ
ОС: Windows Server 2003 SE, JVM: IBM 1.5, Макс. Размер кучи: 1850 МБ
ОС: Linux 2.6, JVM: IBM 1.5, Макс. Размер кучи: 2750 МБ

Здесь подробный прогон выполняется вместе с исходным кодом класса размещения класса:

WinXP SP2, SUN JVM:

C:>java -version
java version "1.6.0_02"
Java(TM) SE Runtime Environment (build 1.6.0_02-b06)
Java HotSpot(TM) Client VM (build 1.6.0_02-b06, mixed mode)

java -Xms1470m -Xmx1470m Класс1 142 ... о создании объекта 141 созданный объект 141

C: > java -Xms1480m -Xmx1480m Class1 145 Ошибка при инициализации виртуальной машины Не удалось зарезервировать достаточно места для кучи объектов Не удалось создать виртуальную машину Java.

 
C:>c:\ibm\jdk\bin\java.exe -version
java version "1.5.0"
Java(TM) 2 Runtime Environment, Standard Edition (build pwi32devifx-20070323 (if
ix 117674: SR4 + 116644 + 114941 + 116110 + 114881))
IBM J9 VM (build 2.3, J2RE 1.5.0 IBM J9 2.3 Windows XP x86-32 j9vmwi3223ifx-2007
0323 (JIT enabled)
J9VM - 20070322_12058_lHdSMR
JIT  - 20070109_1805ifx3_r8
GC   - WASIFIX_2007)
JCL  - 20070131

c:\ibm\jdk\bin\java.exe -Xms1810m -Xmx1810m Класс1 178 ... около объекта 177 созданный объект 177

C: > c:\ibm\jdk\bin\java.exe -Xms1820m -Xmx1820m Класс1 179 JVMJ9VM015W Ошибка инициализации библиотеки j9gc23 (2): не удалось создать экземпляр ап. 1820 млн. Запросов Не удалось создать виртуальную машину Java.

C:>"C:\IBM\java" -Xms1850m -Xmx1850m Class1
sleeping for 5 seconds.
Done.

C: > "C:\IBM\java" -Xms1880m -Xmx1880m  Class1 JVMJ9VM015W Ошибка инициализации библиотеки j9gc23 (2): не удалось создать экземпляр ап. 1880M запрошено Не удалось создать виртуальную машину Java.

[[email protected] ~]# /opt/ibm/java2-i386-50/bin/java -version
java version "1.5.0"
Java(TM) 2 Runtime Environment, Standard Edition (build pxi32dev-20060511 (SR2))
IBM J9 VM (build 2.3, J2RE 1.5.0 IBM J9 2.3 Linux x86-32 j9vmxi3223-20060504 (JIT enabled)
J9VM - 20060501_06428_lHdSMR
JIT  - 20060428_1800_r8
GC   - 20060501_AA)
JCL  - 20060511a

/opt/ibm/java2-i386-50/bin/java -Xms2750m -Xmx2750m Класс1 270

[root @myMachine ~] #/opt/ibm/java2-i386-50/bin/java -Xms2800m -Xmx2800m Класс1 270 JVMJ9VM015W Ошибка инициализации библиотеки j9gc23 (2): Не удалось создать экземпляр кучи. Запрошено 2800M Не удалось создать виртуальную машину Java.

Здесь код:

import java.util.StringTokenizer;


public class Class1 {

        public Class1() {}

        private class BigObject {
                byte _myArr[];
                public BigObject() {
                        _myArr = new byte[10000000];
                }
        }
    public static void main(String[] args) {
                (new Class1()).perform(Integer.parseInt(args[0]));
        }
        public void perform(int numOfObjects) {
                System.out.println("creating 10 MB arrays.");
                BigObject arr[]  = new BigObject[numOfObjects];
                for (int i=0;i <numOfObjects; i++) {
                        System.out.println("about to create object "+i);
                        arr[i] = new BigObject();
                        System.out.println("object "+i+" created");
                }
                System.out.println("sleeping for 5 seconds.");
                try {
                Thread.sleep(5000);
                }catch (Exception e) {e.printStackTrace();}
                System.out.println("Done.");
    }

}

Ответ 2

Для большого файла я предлагаю вам использовать файл с отображением памяти. Это не использует кучу пространства (или очень мало), поэтому максимальный размер кучи не должен быть проблемой в этом случае.

Ответ 3

Недавно мы портировали с Windows на Linux (из-за проблем с размерами VM).

Я слышал о большом количестве номеров, брошенных в прошлом для размера виртуальной машины Windows (1200, 1400, 1600, 1800). На наших Windows Servers (2003), в нашей среде, с нашими приложениями... Я никогда не использовал более 1280 МБ. Кроме того, наше приложение начало демонстрировать проблемы с GC и OOM.

Каждый раз, когда у меня появилась новая версия VM, я пытался изменить номер, и он никогда не менялся.

Теперь у вас есть файл 900 Мбайт, что, если файл увеличивается до 1300 МБ? Что вы будете делать?

У вас есть несколько вариантов

• Порт для Linux/Solaris. Для этого требуется только аппаратное/программное обеспечение и то, что часто представляет собой простое упражнение по переносу.
• Использовать 64-битную Windows. Возможно, это не исключает проблемы с GC, но я слышал о разных историях с 64-битным vms.
• Редизайн приложения для обработки файла по-разному. Можете ли вы каким-то образом разбить файл логически, можете ли вы прочитать файл в кусках и обработать его по-другому и т.д.?

Другие люди, использующие OpenMap, должны были столкнуться с этой проблемой. Можете ли вы использовать их знания и не изобретать какие-либо колеса?

Ответ 4

Как отмечено в вопросе, упомянутом в комментарии, существует практический предел, около 1200 Мб.

Однако ситуация, о которой вы описываете, имеет больше глубины, чем объем памяти.

Когда вы читаете двоичные данные из 910 MB и строите из него сетевые объекты (в отличие от просто сохранения данных в виде массива байтов), вы в конечном итоге потребляете гораздо больше памяти, чем 910 MB. Разумная оценка будет заключаться в том, что представление в памяти будет потреблять вдвое больше памяти - потому что (1) каждый объект содержит дополнительный указатель (к классу объекта); и (2) там много бухгалтерских данных. Например, если вы используете HashMap для управления вашими объектами, то в дополнение к каждому объекту вы также выделяете объект Map.Entry, который может легко потреблять 16 или 20 байтов (зависит от реализации).

С другой стороны, все еще есть надежда: вам действительно нужно поддерживать все 910 MB в памяти? Разве вы не можете просто создать что-то, что читает данные ленивым образом? В сочетании с WeakReferences я думаю, что вы можете снять это.

Ответ 5

В 32-битной Windows по умолчанию каждое приложение может использовать до 2-х виртуальных адресных пространств. Думаю, это делает -Xmx2048M. Однако, если у вас больше установленной ОЗУ, вы можете увеличить виртуальное адресное пространство до 3 GB с использованием параметров времени загрузки.

В boot.ini вы можете создать новые параметры загрузки, например:

[boot loader]<br>
timeout=5<br>
default=multi(0)disk(0)rdisk(0)partition(1)\WINDOWS<br>
[operating systems]<br>
multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional - magyar" /noexecute=optin /fastdetect /usepmtimer<br>
multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional - magyar 3GB" /noexecute=optin /fastdetect /usepmtimer /3GB /USERVA=2800<br>

Здесь, отрегулировав параметр /USERVA = 2800, вы можете настроить свой аппарат. Но имейте в виду, что некоторым конфигурациям не нравятся высокие значения в этом параметре - ожидается сбой.