Применение линейной алгебры в машинном обучении

Ответ 1

Линейная алгебра обеспечивает вычислительный движок для большинства алгоритмов машинного обучения.

Например, возможно, наиболее заметное и наиболее частое применение ML это механизм рекомендаций.

Помимо поиска данных, реальная суть этих алгоритмов часто "реконструкция" смехотворно разреженных данных, используемых в качестве входных данных для этих двигателей. Исходные данные, предоставленные для R/E от Amazon.com, являются (возможно) массивными матрица данных, в которой представлены пользователи, и ее продукты представлены в столбцах. Поэтому, чтобы органично заполнить эту матрицу, каждый клиент должен был бы купите каждый продукт, который продает Amazon.com. Здесь используются методы на основе линейных алгебр.

Все методы, используемые в настоящее время, включают в себя некоторый тип матричного разложения, фундаментальный класс методов линейной алгебры (например, неотрицательная матричная аппроксимация и аппроксимация с положительным максимумом-маржи-матрицей (ссылка для ссылки на pdf!), возможно, являются двумя наиболее распространенными)

Во-вторых, многие, если не большинство методов ML, основаны на методе численной оптимизации. Например, большинство контролируемых алгоритмов ML включают создание обученного классификатора/регрессора путем минимизации дельта между значением, вычисленным зарождающимся классификатором и фактическое значение из данных обучения. Это можно сделать либо итеративно, либо используя линейную алгебру методы. Если последнее, то техника обычно SVD или какой-то вариант.

В-третьих, спектральные разложения - PCA (анализ основных компонентов) и PCA ядра - это, пожалуй, наиболее часто используемые методы уменьшения размеров, часто применяемый на этапе предварительной обработки только перед алгоритмом ML в потоке данных, например, PCA часто используется на карте Kohonen для инициализации решетки. Основное понимание этих методов заключается в том, что собственные векторы ковариационной матрицы (квадратная симметричная матрица с нулями вниз по главной диагонали, подготовленная из исходной матрицы данных) являются единичной длиной и ортогональны друг другу.

Ответ 2

Сингулярная декомпозиция значений (SVD) - это классический метод, широко используемый в Machine Learning.

Я считаю, что эта статья довольно проста, объясняя систему рекомендаций на основе SVD, см. http://www.igvita.com/2007/01/15/svd-recommendation-system-in-ruby/.

И книга линейной алгебры Strang содержит раздел о применении SVD для ранжирования веб-страниц (алгоритм HITS), см. Google Books.

Ответ 3

В машинном обучении мы обычно имеем дело с данными в виде векторов/матриц. Любой используемый статистический метод включает линейную алгебру в качестве ее неотъемлемой части. Кроме того, он полезен при интеллектуальном анализе данных.
SVD и PCA - известные методы уменьшения размерности, связанные с линейной алгеброй.
Байесовская теория принятия решений также включает значительное количество LA. Вы также можете попробовать.