Регуляризация машинного обучения, объясненная примерами

Гетти Изображения

Регуляризация в машинном обучении — это набор методов, используемых для обеспечения возможности обобщения модели машинного обучения на новые данные в одном и том же наборе данных. Эти методы могут помочь уменьшить влияние зашумленных данных, выходящих за пределы ожидаемого диапазона закономерностей. Регуляризация также может улучшить модель, упрощая обнаружение соответствующих крайних случаев в задаче классификации.

Рассмотрим алгоритм, специально обученный для выявления спам-сообщений. В этом сценарии алгоритм обучен классифицировать электронные письма, которые кажутся отправленными из известной сети аптек в США и содержат только одно изображение, как спам. Однако такой узкий подход рискует разочаровать постоянных клиентов сети, которые с нетерпением ждали уведомлений о последних распродажах магазина. Более эффективный алгоритм учитывал бы другие факторы, такие как время отправки электронных писем, использование изображений и типы ссылок, встроенных в электронные письма, чтобы точно маркировать электронные письма как спам.

Однако эта более сложная модель также должна будет учитывать влияние, которое каждая из этих мер оказывает на алгоритм. Без регуляризации новый алгоритм рискует оказаться слишком сложным, подверженным предвзятости и неспособным обнаружить дисперсию. Ниже мы подробно остановимся на этих понятиях.

Короче говоря, регуляризация подталкивает модель к снижению ее сложности по мере ее обучения, объяснил Брет Гринштейн, руководитель отдела данных, искусственного интеллекта и аналитики в PwC.

«Регуляризация действует как своего рода штраф, который добавляется к функции потерь или значению, которое используется для определения важности особенностей модели», — сказал Гринштейн. «Этот штраф не позволяет модели находить параметры, которые могут переоценить важность ее функций».

Таким образом, регуляризация является важным инструментом, который может использоваться специалистами по обработке данных для улучшения обучения модели для достижения лучшего обобщения или для повышения шансов на то, что модель будет работать хорошо при воздействии на неизвестные примеры.

Аднан Масуд, главный архитектор искусственного интеллекта и машинного обучения в консалтинговой компании по цифровой трансформации UST, сказал, что его фирма регулярно использует регуляризацию, чтобы найти баланс между сложностью модели и производительностью, умело избегая как недостаточного, так и переобучения.

Переоснащение, как описано выше, происходит, когда модель слишком сложна и изучает шум в обучающих данных. Недостаточная подгонка возникает, когда модель слишком проста для отражения базовых закономерностей данных.

«Регуляризация дает возможность найти оптимальный баланс между этими двумя крайностями», — сказал Масуд.

Рассмотрим еще один пример использования регуляризации в розничной торговле. В этом сценарии компания хочет разработать модель, которая сможет предсказать, когда определенный продукт может отсутствовать на складе. Для этого компания разработала набор обучающих данных со многими функциями, такими как данные о прошлых продажах, сезонность, рекламные мероприятия и внешние факторы, такие как погода или праздники.

Однако это может привести к переобучению, если модель слишком тесно привязана к конкретным закономерностям в обучающих данных и, как следствие, может быть менее эффективным при прогнозировании дефицита на основе новых, невидимых данных.

«Без регуляризации наша модель машинного обучения потенциально может слишком хорошо изучить обучающие данные и стать чрезмерно чувствительной к шуму или колебаниям исторических данных», — сказал Масуд.

В этом случае специалист по данным может применить модель линейной регрессии, чтобы минимизировать сумму квадратной разницы между фактическими и прогнозируемыми случаями дефицита. Это не позволяет модели придавать слишком большое значение какой-либо одной функции.

Кроме того, они могут назначить лямбда-параметр для определения силы регуляризации. Более высокие значения этого параметра увеличивают регуляризацию и снижают коэффициенты модели (веса модели).

Когда эта регуляризованная модель будет обучена, она будет балансировать подгонку обучающих данных и сохранение небольших весов модели. В результате получается модель, которая потенциально менее точна на обучающих данных и более точна при прогнозировании дефицита на новых, невидимых данных.