Я иду в эту статью http://cs.stanford.edu/~quocle/paragraph_vector.pdf
и он утверждает, что
"Вектор вектора вектора и слова являются усредненными или конкатенированными предсказать следующее слово в контексте. В экспериментах мы используем конкатенация как метод объединения векторов."
Как работает конкатенация или усреднение?
Пример(если в абзаце 1 содержатся слова 1 и слово2):
word1 vector =[0.1,0.2,0.3]
word2 vector =[0.4,0.5,0.6]
concat method
does paragraph vector = [0.1+0.4,0.2+0.5,0.3+0.6] ?
Average method
does paragraph vector = [(0.1+0.4)/2,(0.2+0.5)/2,(0.3+0.6)/2] ?
Также из этого изображения:
Утверждается, что:
Фрагмент абзаца можно рассматривать как другое слово. Он действует как память, которая запоминает то, что отсутствует в текущем контексте, или тема этого параграфа. По этой причине мы часто называем эту модель модель распределенной памяти векторов абзацев (PV-DM).
Является ли токен абзаца равным вектору абзаца, равным on?
