Коротко о главном
Проверяйте прогноз по версии, сохранённой до начала прогнозируемого периода. Для одинакового горизонта сопоставьте каждое предсказание с фактом, посчитайте абсолютную ошибку и отдельно её направление. Совпадение общей суммы продаж не означает точности по неделям: недопрогноз и перепрогноз могут взаимно погаситься. Ниже — рабочий порядок проверки одного товара с расчётным примером.
- Сохраняйте дату выпуска прогноза и период, к которому он относится.
- Сравнивайте методы на одинаковых завершённых периодах и одном горизонте.
- Показывайте среднюю абсолютную ошибку в единицах рядом со смещением.
- Отделяйте качество прогноза от решения о закупке и ограничений наличия.
1. Сохраните прогноз до появления факта
Назовите показатель: например, число проданных единиц конкретного SKU за полную неделю. Определение продаж, вариант товара и единица учёта должны совпадать в прогнозе и факте. Не сравнивайте прогноз заказов с выкупами или прогноз комплектов с количеством отдельных предметов.
Для нашего протокола горизонт равен одной неделе. Перед началом каждой недели сохраняйте прогноз на неё: дату и время выпуска, метод, версию расчёта и доступные на тот момент данные. Эти сохранённые версии иногда называют винтажами прогноза. Пересчёт в середине недели храните отдельно; подставлять его вместо первоначального числа при оценке нельзя.
В Forecasting: Principles and Practice точность проверяют на новых данных, которые не использовали при настройке модели. Поэтому хорошее совпадение с уже известной историей не заменяет проверку реального прогноза. Простой ручной план требует той же дисциплины сохранения.
2. Подготовьте сопоставимый факт
Возьмите завершённые недели с одинаковыми границами и правилом фиксации данных. Сохраните дату получения факта: поздние исправления должны быть видны в истории проверки. Не добавляйте неполную текущую неделю ради свежести отчёта и не убирайте неудобные периоды после просмотра ошибок.
Рядом ведите журнал промо, изменения цены и дней отсутствия товара. При дефиците наблюдаемые продажи не раскрывают полный спрос: покупатель мог не получить возможность заказать. Такие недели нельзя молча считать доказательством завышенного прогноза спроса. Покажите их отдельно, сохранив общий результат и объяснив ограничение.
Для отдельного разбора применяйте одно заранее описанное правило исключения недель ко всем методам. Показывайте также полный набор, чтобы изменение состава проверки не выглядело улучшением прогноза.
3. Разделите величину ошибки и направление
Примем ошибку как факт минус прогноз. Положительное значение означает недопрогноз: продано больше ожидаемого. Отрицательное означает перепрогноз. Абсолютная ошибка убирает знак. Средняя абсолютная ошибка, MAE, равна сумме абсолютных ошибок, делённой на число периодов; она выражается в тех же единицах, что и продажи.
Смещение, или bias, в этом протоколе — средняя ошибка со знаком. Положительное значение указывает на недопрогноз в проверенной выборке, отрицательное — на перепрогноз. MAE показывает масштаб промахов, смещение — баланс их направлений. Формулу подпишите в отчёте: в других расчётах знак могут определять иначе.
4. Посчитайте ошибки четырёх недель
Учебные данные: четыре завершённые недели одного товара без ограничений наличия. Каждый прогноз A выпущен до начала соответствующей недели с горизонтом одну неделю. Числа придуманы для объяснения метода, а не получены из магазина клиента.
| Неделя | Факт, шт. | Прогноз A, шт. | Ошибка, шт. | Абсолютная ошибка, шт. |
|---|---|---|---|---|
| 1 | 80 | 100 | −20 | 20 |
| 2 | 120 | 100 | +20 | 20 |
| 3 | 100 | 120 | −20 | 20 |
| 4 | 100 | 80 | +20 | 20 |
5. Прочитайте MAE и смещение вместе
За четыре недели факт и прогноз A дают по 400 штук. Однако сумма абсолютных ошибок равна 80, поэтому MAE = 80 / 4 = 20 штук за неделю. Средняя ошибка со знаком равна нулю. Общая сумма совпала, но каждую неделю прогноз отклонялся на 20 единиц.
Допустим, заранее сохранённый метод B на те же недели дал 70, 100, 90 и 90 штук. Ошибки составляют +10, +20, +10 и +10. Получаем MAE 12,5 штуки и смещение +12,5 штуки. B точнее по MAE именно в этой выборке, но во всех четырёх случаях недооценивает продажи.
Для закупки эти результаты имеют разные последствия. Ошибки A меняют направление, у B оно одинаковое. Не превращайте четыре наблюдения в постоянную прибавку к заказу: сначала выясните причины и проверьте следующие заранее сохранённые прогнозы.
6. Используйте WAPE с понятными ограничениями
WAPE — сумма абсолютных ошибок, делённая на сумму абсолютных фактических значений; для процентов результат умножают на 100. У A это 80 / 400 × 100 = 20%, у B — 50 / 400 × 100 = 12,5%. Здесь знаменатель один, поэтому сравнение относится к одному набору недель.
В статье о WAPE Роб Хайндман предупреждает против применения этой метрики к рядам с трендом или сезонностью. При растущих продажах процент может снижаться из-за увеличения знаменателя, хотя ошибки в единицах не уменьшаются. Поэтому WAPE здесь лишь дополнительное описание примера, а не универсальная оценка качества.
Не объявляйте прогноз улучшившимся только по снижению WAPE между разными окнами. Сохраните рядом MAE, смещение, объём факта и состав периодов. Для сезонного ряда заранее выберите подходящую методику оценки и базовый прогноз.
7. Свяжите проверку с рабочим решением
Сравните метод с простой базой, подготовленной в тот же момент: например, продажами предыдущей завершённой недели. Для выраженной сезонности база должна учитывать соответствующий ритм. Пользоваться будущими данными для построения базы тоже нельзя. Если сложный расчёт не выигрывает на одинаковом наборе, выясните, какую дополнительную задачу он решает.
Универсального порога «20% — хорошо» нет. Обсудите, к чему приводит ошибка в штуках: нехватке товара, лишнему остатку или переносимой разнице. Горизонт закупки может быть длиннее недели; тогда недельная проверка не подтверждает качество прогноза на весь срок пополнения.
Для следующего планирования можно использовать «План поставок WB и Ozon» в HelpStat, сопоставляя потребность с наличием и сроками поставщика. Проверка сохранённых прогнозов и решение об объёме партии остаются отдельными шагами.
- В отчёте указаны момент выпуска, горизонт и версия каждого прогноза.
- Факт, MAE и смещение рассчитаны на одном наборе периодов.
- Недели промо и отсутствия товара обозначены.
- Причина изменения метода записана до следующей проверки.
Частые вопросы
Что делать с нулевыми продажами? Отдельные нулевые недели сохраняйте в расчёте. WAPE определён, пока сумма абсолютного факта больше нуля. Если весь факт нулевой, показатель не определён; покажите MAE в штуках. Подстановка единицы в знаменатель или удаление нулей искажает проверку.
Нулевое смещение означает точный прогноз? Нет: в примере A ошибки противоположных знаков погасились. Их величина осталась видна в MAE.
Можно ли выбрать победителя по четырём неделям? Можно описать результат этого примера. Для рабочего вывода продолжайте проверку на новых периодах с тем же правилом и учитывайте условия продаж.
Источники и методика
Источники ниже помогают проверить определения и возможности отчётов. Методика разбора и учебные расчёты подготовлены редакцией HelpStat. Доступность отчётов и условия работы проверяйте в своём кабинете. Расчётные примеры в статье — учебные, а не результаты клиентов.
