Доклад посвящен двум недавно предложенным лог-линейным архитектурам для построения векторных представлений слов Skip-gram и Continuous Bag of Words, авторская реализация которых известна как word2vec. Эти архитектуры интересны по целому ряду причин: во-первых, на данный момент это самый быстрый метод построения представлений для слов, к примеру, английская википедия может быть обработана на одной машине всего за пару часов. Во-вторых, полученные представления сохраняют большое количество семантической информации (близкие по смыслу слова имеют близкие представления) и могут быть использованы в огромном числе приложений. В-третьих, обе архитектуры были получены не путем усложнения существующих подходов, как это часто бывает, а, напротив, упрощения. В докладе будут разобраны обе архитектуры, а также некоторые их расширения, например, для построения представлений на уровне абзацев и предложений.

Докладчик: Сергей Бартунов

Презентация: word2vec_ispras