Android SQLite и огромные наборы данных

Ответ 1

какие параметры у нас есть при запросе и отображение десятков тысяч строки данных в Android?

Вы имеете в виду, кроме того, что вы говорите, что чтение 20 000+ строк на 3,5-дюймовом ЖК-экране - это бит-гуано, сумасшедший? -)

Похоже, что CursorWindow, который используется где-то под обложками, имеет проблемы с управлением > 17 000 строк. Это может быть одной из двух вещей:

• Вы находитесь вне кучи. С 16-мегабайтной некомпактной кучей и тем, что a Cursor содержит весь набор результатов в куче, это не может быть и речи.
• CursorWindow поддерживает только 1 Мбайт данных, что является сообщением об ошибке более прямым.

Если существует логический способ разделить ваши запросы на дискретные куски, вы можете делать инкрементные запросы и использовать CursorJoiner, чтобы сшить их вместе и посмотреть, помогает ли это.

Но, со всей серьезностью, 20 000+ строк на 3,5-дюймовом экране, на устройстве, которое наиболее близко напоминает 12-летний компьютер в лошадиных силах, действительно много спрашивают.

Ответ 2

Если вам действительно нужно, вы также можете разделить свои данные и прочитать фрагменты следующим образом:

   int limit = 0;
   while (limit + 100 < numberOfRows) {
       //Compose the statement
       String statement = "SELECT * FROM Table ORDER someField LIMIT '"+ limit+"', 100";
       //Execute the query
       Cursor cursor = myDataBase.rawQuery(statement, null);
       while (cursor.moveToNext()) {
           Product product = new Product();
           product.setAllValuesFromCursor(cursor);
           productsArrayList.add(product);
      }
      cursor.close();
      limit += 100;
 }

 //Compose the statement
 String statement = "SELECT * FROM Table ORDER someField LIMIT '"+  (numberOfRows - limit)+"', 100";
 //Execute the query
 Cursor cursor = myDataBase.rawQuery(statement, null);

 while (cursor.moveToNext()) {
     Product product = new Product();
     product.setAllValuesFromCursor(cursor);
     productsArrayList.add(product);
 }
 cursor.close();

Он работает под 2 с для строк 5k, если вы указали таблицу.

Спасибо, Arkde

Ответ 3

По моему опыту, ограничивающие запросы заставляют намного больше времени получать результаты, потому что запуск новых курсоров дорог для низких лимитов. Я попытался сделать 62k строк с 1k и даже 10k ограничением только сейчас, и он очень медленный и непригодный, так как я должен запустить более 6 курсоров. Я просто придерживаюсь не поддержки 2.3.3.... Это последняя сборка, в которой я получаю CursorWindow ERROR вместо WARN.

Вот что я сделал. Это, наверное, лучший алгоритм, который я думаю. Не нужно делать запросы дважды и т.д. Однако он может быть довольно медленным с большими запросами и небольшими ограничениями, поэтому вам нужно проверить, что работает лучше всего. В моем случае он не достаточно быстрый для моих целей, так как он не обрабатывает строки 62k.

int cursorCount = 0;
int limit = 1000; //whatever you want
while (true)
{
    Cursor cursor = builder.query(mDatabaseHelper.getReadableDatabase(), columns, selection, selectionArgs, null, null, null, Integer.toString(limit));
    if (cursor == null) {
        return null;
    } else if (!cursor.moveToFirst()) { //if it is empty, return null
        return null;
    }
    cursorCount = cursor.getCount();
    if (cursorCount % limit != 0)
    {
        return cursor;
    }
    limit+=1000; //same amount as the one above
}