Линейная регрессия является одним из наиболее фундаментальных алгоритмов машинного обучения. Он известен своей простотой и интерпретируемостью. Но для его работы данные должны удовлетворять некоторым предположениям. Одно из предположений, которым должны удовлетворять данные, заключается в том, что нет существует какая-либо мультиколлинеарность между предикторами. Но зачем нужно это предположение? что произойдет, если в данных существуют некоторые коллинеарные переменные? Коллинеарность увеличивает дисперсию коэффициентов и затрудняет проверку определенной гипотезы относительно данных, например, важно ли предиктор быть включенным в модель. Мы можем иметь дело с нарушение этого предположения с использованием некоторых вариантов регрессии, таких как Лассо и Ридж.
В этом посте я попытаюсь дать краткий обзор регрессии Риджа. Идея состоит в том, чтобы минимизировать следующую функцию потерь:
Здесь первый член — это обычная функция потерь, которую мы используем для получения коэффициентов множественной линейной регрессии, а второй член используется для штрафа за коэффициенты. Здесь лямбда — это параметр настройки, который мы выбираем на основе перекрестной проверки. Теперь, поскольку лямбда — это гиперпараметр, мы можем исправить его заранее, до обучения. Теперь предположим, что мы принимаем лямбда как очень большое число, скажем, 10000. Теперь для чтобы функция потерь была минимизирована, она должна заставить коэффициенты быть очень маленькими, поскольку она не может уменьшить лямбда, и, следовательно, наши коэффициенты регуляризованы. Когда большинство предикторов фактически влияют на ответ, тогда использование гребневой регрессии является хорошей практикой, поскольку она не заставляйте коэффициенты быть точно нулевыми, а некоторым очень небольшим числом. Ридж-регрессия сжимает предикторы больше, которые имеют меньшую дисперсию. Например, предположим, что у нас есть два коррелированных предиктора, скажем, X1 и X2, и предположим, что дисперсия (X1) ‹ дисперсия (X2) , то наша модель гребневой регрессии должна уменьшить коэффициент X1 больше, чем X2. Если вас интересует математика, почему это происходит, то почитайте этот блог. обучающие данные, в этом случае они регулируют коэффициент, который увеличивает смещение модели и уменьшает дисперсию.
