Абстрактная проблема: у меня есть график около 250 000 узлов, а средняя связь - около 10. Поиск соединений node - длительный процесс (скажем, через 10 секунд). Сохранение node в базе данных также занимает около 10 секунд. Я могу проверить, действительно ли node уже присутствует в db. Разрешая concurrency, но не имея более 10 длинных запросов за раз, как бы вы пересекли график, чтобы получить максимальный охват быстрее.
Конкретная проблема: я пытаюсь очистить страницы пользователя веб-сайта. Чтобы узнать новых пользователей, я получаю список друзей от уже известных пользователей. Я уже импортировал около 10% графика, но я постоянно зацикливаюсь или слишком много памяти запоминаю слишком много узлов.
Моя текущая реализация:
def run() :
import_pool = ThreadPool(10)
user_pool = ThreadPool(1)
do_user("arcaneCoder", import_pool, user_pool)
def do_user(user, import_pool, user_pool) :
id = user
alias = models.Alias.get(id)
# if its been updates in the last 7 days
if alias and alias.modified + datetime.timedelta(days=7) > datetime.datetime.now() :
sys.stderr.write("Skipping: %s\n" % user)
else :
sys.stderr.write("Importing: %s\n" % user)
while import_pool.num_jobs() > 20 :
print "Too many queued jobs, sleeping"
time.sleep(15)
import_pool.add_job(alias_view.import_id, [id], lambda rv : sys.stderr.write("Done Importing %s\n" % user))
sys.stderr.write("Crawling: %s\n" % user)
users = crawl(id, 5)
if len(users) >= 2 :
for user in random.sample(users, 2) :
if (user_pool.num_jobs() < 100) :
user_pool.add_job(do_user, [user, import_pool, user_pool])
def crawl(id, limit=50) :
'''returns the first 'limit' friends of a user'''
*not relevant*
Проблемы текущей реализации:
- Возвращается в клики, которые я уже импортировал, тем самым теряя время, а импортирующие потоки простаивают.
- Будет добавлено больше, поскольку они будут указаны.
Итак, маргинальные улучшения приветствуются, а также полные перезаписи. Спасибо!
