bilim.techО проекте

Метод наименьших квадратов

Как по разбросанным замерам износа шины предсказать день замены? Ставь точки, двигай свою прямую и сравни площадь квадратиков с лучшей прямой.

01 Что это такое

Метод наименьших квадратов проводит через разбросанные замеры самую подходящую прямую.

Замеры никогда не ложатся ровно на линию: мешают ошибки прибора, разные дороги, разная загрузка. Через облако точек можно провести много прямых. Какая лучше? Для каждой прямой считаем, насколько каждая точка промахнулась мимо нее по вертикали. Эти промахи называют остатками. Каждый остаток возводим в квадрат, чтобы минусы не гасили плюсы и большие промахи весили сильнее, и все складываем. Лучшая прямая та, у которой сумма квадратов меньше всех.

пробег, тыс. кмизнос, ммпредел 40 ммзамена около 90 тыс. км90
Восемь замеров износа. Зеленые квадратики: квадраты остатков. Прямая выбрана так, чтобы их общая площадь была наименьшей. Где прямая пересечет предел, там и планируют замену шины.
k, b
Наклон и сдвиг прямой y = kx + b. Наклон показывает, на сколько растет y при росте x на единицу, сдвиг: чему равен y при x = 0.
eᵢ
Остаток. На сколько замер yᵢ выше или ниже прямой при том же xᵢ. На рисунке это вертикальный отрезок.
R²
Коэффициент детерминации. Какую долю разброса замеров объясняет прямая: 1 значит все точки на прямой, 0 значит прямая не помогает.
02 Опыт
Двигай точки и свою прямую. Попробуй сделать площадь квадратиков меньше. РАСЧЕТ В РЕАЛЬНОМ ВРЕМЕНИ
ВЕРОЯТНОСТЬ И СТАТИСТИКА

Метод наименьших квадратов

Рис. 7.4
ЗАМЕРЫ
Лучшая прямая
Сумма квадратов Q
Коэффициент R²

ⓘ Замеры созданы на компьютере: настоящая прямая плюс случайный шум с нормальным распределением. Площадь квадратика нарисована в масштабе оси y, поэтому сумма площадей пропорциональна Q. Квадратики у правого края поля разворачиваются влево, чтобы не уходить за рамку.

03 Формулы по буквам

Сумма квадратов, наклон и R²

Первая формула говорит, что именно делаем наименьшим. Вторая дает готовый ответ: наклон и сдвиг лучшей прямой. Третья оценивает, насколько прямая вообще подходит к точкам. Под каждой формулой числа из опыта.

Насколько прямая промахивается?

Q = Σ (yᵢ − (k·xᵢ + b))²

Для каждого замера берем разницу между измеренным yᵢ и тем, что предсказывает прямая. Возводим в квадрат и складываем по всем точкам. Это и есть общая площадь квадратиков в опыте.

xᵢ, yᵢ
i-й замер: например, пробег и износ
k·xᵢ + b
что предсказывает прямая при том же xᵢ
Σ
сумма по всем замерам от 1 до n

Какие k и b дают наименьшее Q?

k = nΣxy − Σx·ΣynΣx² − (Σx)², b = Σy − kΣxn

Подбирать прямую на глаз не нужно: ответ дают суммы замеров. Посчитай Σx, Σy, Σx² и Σxy, подставь, и получишь наклон. Сдвиг выбирается так, чтобы прямая прошла через среднюю точку облака.

n
число замеров
Σxy
сумма произведений xᵢ · yᵢ по всем точкам
Σx²
сумма квадратов xᵢ

Можно ли верить прямой?

R² = 1 − Σ(yᵢ − ŷᵢ)²Σ(yᵢ − ȳ)²

В знаменателе разброс замеров вокруг их среднего, то есть Q для горизонтальной прямой без наклона. В числителе Q лучшей прямой. Если прямая убрала почти весь разброс, дробь мала и R² близок к 1.

ŷᵢ
значение на прямой: k·xᵢ + b
ȳ
среднее всех yᵢ
R²
от 0 до 1; для прогноза износа хорошо выше 0,9

Откуда берутся формулы для k и b

Сумма квадратов Q зависит от двух чисел, k и b. Если зафиксировать b и менять k, то Q растет как парабола в обе стороны от лучшего значения: каждое слагаемое (yᵢ − kxᵢ − b)² это квадрат, а сумма парабол снова парабола. У параболы одна низшая точка, и в ней наклон касательной равен нулю.

Поэтому берем производные Q по k и по b и приравниваем их к нулю. Получаются два простых уравнения: k·Σx² + b·Σx = Σxy и k·Σx + b·n = Σy. Решаем их, как обычную систему из двух уравнений, и получаем формулы из второй карточки.

Второе уравнение, если поделить его на n, говорит: ȳ = k·x̄ + b. Лучшая прямая всегда проходит через среднюю точку облака. А из того, что остатки возводятся в квадрат, следует и слабость метода: точка, которая промахнулась в 5 раз сильнее остальных, весит в 25 раз больше. Один выброс может повернуть всю прямую.

∂Q/∂b = 0
сумма остатков равна нулю: плюсы и минусы уравновешены
∂Q/∂k = 0
сумма остатков, умноженных на xᵢ, тоже ноль
ȳ = k·x̄ + b
прямая проходит через среднюю точку
квадрат
большие промахи наказываются сильнее, выбросы опасны
наклон kсумма квадратов Qхужехужеk* = 0,4наклон 0
Q от наклона k: парабола. В низшей точке касательная горизонтальна, производная равна нулю. Там и лежит лучший наклон.
04 Где и зачем это применяют

Везде, где по замерам нужен закон

Допущения модели+

Метод ищет именно прямую. Если зависимость изогнута, прямая будет систематически промахиваться: остатки идут не вразброс, а дугой. Считается, что ошибка есть только в y, а x измерен точно, поэтому остатки берутся по вертикали. Шум у всех точек одинаковый и случайный, без систематического сдвига; о его распределении подробно в теме «Нормальное распределение». Прогноз за пределами замеров, как дата замены шины, верен только если темп износа не изменится. Если в данных есть выбросы, их сначала проверяют и убирают, иначе прямая уйдет в их сторону.

Еще в направлении «Математика»

Все темы направления «Математика» →