Я создал пример RecyclerView на основе руководства по созданию списков и карт. Мой адаптер имеет реализацию шаблона только для раздувания макета.
Проблема в плохой прокрутке. Это в RecycleView только с 8 элементами.
В некоторых тестах я проверял, что в Android L такой проблемы не возникает. Но в версии KitKat снижение производительности очевидно.