Я использую Grails 1.1 beta2. Мне нужно импортировать большое количество данных в мое приложение Grails. Если я повторно создаю экземпляр класса домена grails и затем сохраню его, производительность будет неприемлемо медленной. Например, импортируйте людей из телефонной книги:
for (each person in legacy phone book) {
// Construct new Grails domain class from legacy phone book person
Person person = new Person(...)
person.save()
}
Это оказывается болезненно медленным. Кто-то из списка рассылки Grails предлагает доработку транзакций. Итак, теперь у меня есть:
List batch = new ArrayList()
for (each person in legacy phone book) {
// Construct new Grails domain class from legacy phone book person
Person person = new Person(...)
batch.add(person)
if (batch.size() > 500) {
Person.withTransaction {
for (Person p: batch)
p.save()
batch.clear()
}
}
}
// Save any remaining
for (Person p: batch)
p.save()
Это работает быстрее, по крайней мере, изначально. Каждая транзакция сохраняет 500 записей. Со временем транзакции занимают больше времени и дольше. Первые несколько транзакций занимают около 5 секунд, после чего они просто ползут оттуда. После примерно 100 транзакций каждый из них занимает минуту, что еще раз неприемлемо. Хуже всего то, что в конечном итоге у Grails в конечном итоге закончится память кучи Java. Я могу увеличить размер кучи JVM, но это просто задерживает исключение OutOfMemoryError
.
Любые идеи, почему это так? Это похоже на то, что некоторые внутренние ресурсы не выпускаются. Производительность ухудшается, память удерживается, а затем, в конце концов, в системе заканчивается память.
В соответствии с документацией Grails, withTransaction
передает закрытие объекту Spring TransactionStatus
. Я не мог найти ничего в TransactionStatus
, чтобы закрыть/завершить транзакцию.
Изменить: Я запускаю это из консоли Grails (grails console
)
Изменить: Здесь исключение из памяти:
Exception thrown: Java heap space
java.lang.OutOfMemoryError: Java heap space
at org.hibernate.util.IdentityMap.entryArray(IdentityMap.java:194)
at org.hibernate.util.IdentityMap.concurrentEntries(IdentityMap.java:59)
at org.hibernate.event.def.AbstractFlushingEventListener.prepareEntityFlushes(AbstractFlushingEventListener.java:113)
at org.hibernate.event.def.AbstractFlushingEventListener.flushEverythingToExecutions(AbstractFlushingEventListener.java:65)
at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:26)
at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1000)
at org.hibernate.impl.SessionImpl.managedFlush(SessionImpl.java:338)
at org.hibernate.transaction.JDBCTransaction.commit(JDBCTransaction.java:106)
at org.springframework.orm.hibernate3.HibernateTransactionManager.doCommit(HibernateTransactionManager.java:655)
at org.springframework.transaction.support.AbstractPlatformTransactionManager.processCommit(AbstractPlatformTransactionManager.java:732)
at org.springframework.transaction.support.AbstractPlatformTransactionManager.commit(AbstractPlatformTransactionManager.java:701)
at org.springframework.transaction.support.TransactionTemplate.execute(TransactionTemplate.java:140)