Prognozowanie popytu: kiedy arkusz przestaje wystarczać

Arkusz i średnia ruchoma bronią się dłużej, niż sądzą dostawcy ML. Ale są wyraźne sygnały, że czas zmienić podejście. Pokazujemy je razem z planem pierwszych tygodni projektu.

Prawie każda firma handlowa lub dystrybucyjna zaczyna od arkusza. Planista bierze sprzedaż z ostatnich tygodni, liczy średnią, dokłada swoje doświadczenie i zamawia. Przez lata to działa zaskakująco dobrze. Kłopot w tym, że nikt nie zauważa chwili, w której przestaje.

O tej chwili jest ten tekst: po czym ją poznać, co robić dalej i jak nie zmarnować pierwszych trzech miesięcy projektu.

Co robi dobry arkusz i dlaczego nie warto go wyśmiewać

Średnia ruchoma i wygładzanie wykładnicze są proste, ale nie naiwne. Wygładzanie wykładnicze ważniej traktuje świeże dane i potrafi uwzględnić trend oraz sezonowość. Dla stabilnego produktu sprzedawanego w jednym kanale daje wynik, który trudno przebić o więcej niż kilka punktów procentowych.

Mówimy to wprost, bo część projektów ML startuje od hasła "zastępujemy arkusz" i kończy się rozczarowaniem. Prostą metodę lepiej traktować jako punkt odniesienia. Jeśli model nie bije jej na danych, których nie widział, nie ma czego wdrażać.

Konkursy pokazują, jak wysoko ta poprzeczka wisi. W M5 (sprzedaż Walmartu, prawie 6400 zespołów) tylko 7,5% uczestników pobiło bardzo prosty benchmark oparty na wygładzaniu wykładniczym. Zwycięskie rozwiązania były za to czystym ML, a nie metodami statystycznymi.

Czym się różni podejście ML

Rozstrzygnięcie M5 pokazało dwie rzeczy. Modele oparte na gradient boostingu (głównie LightGBM) wygrywały z klasyką. A najlepsze zespoły trenowały jeden model na wielu szeregach naraz, zamiast osobnego modelu dla każdego produktu. Mówi się o modelu globalnym.

W biznesie ma to znaczenie, bo większość SKU w dystrybucji ma krótką lub poszarpaną historię: nowy produkt, kilka sztuk tygodniowo, asortyment sezonowy. Model osobny dla każdego z nich nie ma z czego się uczyć. Model globalny bierze wzorce z podobnych produktów i przenosi je na nowe.

Druga przewaga to zmienne zewnętrzne. M5 było pierwszym konkursem Makridakisa, w którym organizatorzy udostępnili ceny i wydarzenia specjalne. Arkusz z trudem obsługuje takie wejścia, model drzewiasty bierze je naturalnie:

promocje: głębokość rabatu, mechanika, gazetka, ekspozycja,
kalendarz: dni tygodnia, święta ruchome, długie weekendy, wypłaty,
pogoda, szczególnie dla żywności, napojów, ogrodnictwa i budowlanki,
cena własna i cena konkurencji, jeśli ją mamy.

Sygnały, że czas zmienić podejście

Nie ma jednego progu. W projektach, które prowadzimy, najczęściej widzimy kilka z poniższych naraz:

Planiści spędzają większość tygodnia na ręcznych korektach, a nie na decyzjach.
Promocje są największym źródłem błędu, a ich efekt szacuje się "na oko" z poprzedniej akcji.
SKU lub lokalizacji jest tyle, że nikt nie jest w stanie przejrzeć wszystkich prognoz.
Jednocześnie masz nadmiar jednych towarów i braki innych, a średni poziom zapasów wygląda poprawnie.
Odpady lub przeterminowania rosną w kategoriach o krótkim terminie przydatności.
Prognoza "dla całości" się zgadza, ale na poziomie sklepu lub magazynu regionalnego już nie.

Jeśli zgadzają się trzy punkty lub więcej, koszt błędnych prognoz zazwyczaj przewyższa koszt projektu. Klienci też to widzą: w ankiecie opisanej przez Supermarket News konsumenci twierdzili, że co piąty produkt, który chcą kupić, jest niedostępny w ich sklepie. Skala strat jest duża: według badań IHL Group straty północnoamerykańskich detalistów z tytułu braków i nadmiarów zapasów sięgały w 2022 roku około 349 mld dolarów. To dane amerykańskie, ale mechanizm w Polsce jest ten sam. W polskiej branży spożywczej dochodzi marnowanie: handel odpowiada według szacunków Federacji Polskich Banków Żywności za około 7% marnowanej żywności, czyli rzędu 0,3 mln ton rocznie (to nasze przeliczenie, szacunki różnią się metodologią).

Metryki: jak nie oszukać samego siebie

Najpopularniejszą miarą jest MAPE, średni błąd procentowy. W handlu jej pułapki ujawniają się szybko.

Przy sprzedaży zerowej błąd procentowy jest nieokreślony. Towary o małej sprzedaży potrafią zdominować wynik, choć dla biznesu znaczą niewiele. Dla popytu sporadycznego MAPE jest po prostu bezużyteczne.

Lepszym punktem wyjścia jest WAPE: suma błędów bezwzględnych podzielona przez sumę sprzedaży. Waży produkty ich wolumenem, więc nie wpada w pułapkę zer. Ma jednak własne wady: na szeregach sporadycznych potrafi nagradzać model, który zawsze przewiduje zero.

Żadna z tych miar nie pokazuje kierunku błędu. Dlatego obok nich śledzimy bias, czyli systematyczne zawyżanie lub zaniżanie prognozy. Model z WAPE 25% i biasem bliskim zera bywa dla magazynu znacznie lepszy niż model z WAPE 22% i stałym zaniżeniem o 8%. Pierwszy robi szum, drugi robi braki.

Zła dana wejściowa: popyt, którego nie widać

Najczęstszy błąd merytoryczny jest cichy. Sprzedaż to nie popyt. Jeśli towar skończył się we wtorek w południe, w danych masz zero (lub mało) przez resztę dnia, choć klienci przyszli. Sprzedaż zapisana w systemie jest ograniczona stanem magazynowym, a model uczy się z niej, że popyt był mały.

Efekt się nakręca. Model zaniża prognozę, zamówienie jest za małe, towaru znowu brakuje. Do tego dochodzi substytucja: klient, który nie znalazł produktu A, kupuje B, więc B wygląda lepiej, niż jest.

Lekarstwo to oczyszczenie historii przed trenowaniem. Oznaczamy okresy braków (z danych o stanach, nie ze sprzedaży), a w tych okresach szacujemy popyt na podstawie podobnych, niezakłóconych dni. Potrzebne są do tego dzienne stany magazynowe, które często trzeba dopiero zebrać. Warto o nie zapytać na samym początku.

Realistyczny plan na 8-12 tygodni

Plan zakłada jedną kategorię lub jedną hurtownię, nie całą firmę.

Tygodnie 1-2: dane i punkt odniesienia. Zbieramy sprzedaż co najmniej z 2-3 lat na poziomie SKU, dnia i lokalizacji, dane o stanach, kalendarz promocji, ceny, listę nowości i wycofań. Liczymy, jak błędna jest dzisiejsza prognoza (WAPE i bias). Tę liczbę będziemy bić.

Tygodnie 3-4: czyszczenie i cechy. Oznaczamy braki, korygujemy zwroty i anomalie, budujemy kalendarz i cechy promocyjne. Ten etap zwykle trwa dłużej, niż ktokolwiek zakłada: okazuje się, że ten sam produkt ma w trzech systemach trzy różne kody, a promocje żyją w mailach i arkuszach handlowców. Lepiej to odkryć w trzecim tygodniu niż w dziesiątym.

Tygodnie 5-7: modele i backtest. Trenujemy model globalny (gradient boosting) i porównujemy go z wygładzaniem wykładniczym na kilku okresach historycznych, nie na jednym. Patrzymy osobno na produkty szybkorotujące, wolne, promocyjne i nowe.

Tygodnie 8-10: tryb cieniowy. Model prognozuje równolegle z planistami, ale nikt jeszcze nie zamawia na jego podstawie. Co tydzień porównujemy wyniki i rozmawiamy z planistami o różnicach. To najcenniejsza część projektu.

Tygodnie 10-12: pilotaż decyzyjny. Prognoza modelu staje się punktem startowym dla zamówień w jednej kategorii, a planista może ją korygować. Mierzymy, ile korekt było zasadnych.

Jak mierzyć sukces biznesowo

Trafność prognozy to miernik techniczny. Zarząd powinien widzieć co innego:

poziom obsługi (dostępność towaru na półce lub w magazynie),
wartość zapasów i rotację,
odpady i przeterminowania w kategoriach świeżych,
czas planistów poświęcony na korekty,
sprzedaż utraconą z powodu braków (szacunek, ale konsekwentny).

Ustal te liczby przed startem. Dobry projekt pokazuje je dla grupy testowej i kontrolnej, a nie przed i po, bo w trakcie zmienia się też sezon, ceny i asortyment. Z doświadczenia: lepiej obiecać poprawę jednego wskaźnika, który da się sprawdzić, niż pięciu, których się nie da.

Typowe błędy

Prognoza bez planowania. Model wypluwa liczbę, ale nikt nie zmienił procesu zamówień. Prognoza jest coś warta dopiero wtedy, gdy ktoś zna jej niepewność i przekłada ją na zapas bezpieczeństwa. Dlatego zwykle prognozujemy nie jedną liczbę, tylko przedział.

Brak zaufania planistów. Jeśli model jest czarną skrzynką, ludzie ręcznie go nadpisują. Pokazujemy więc, co wpływa na prognozę (promocja, święto, pogoda), i mierzymy, czy korekty planistów poprawiają wynik. Czasem tak, i wtedy trzeba tę wiedzę wbudować w model.

Za dużo SKU naraz. Start od całego asortymentu kończy się tysiącem wyjątków, których nikt nie zdąży przejrzeć. Lepiej zacząć od kategorii, w której błąd boli najbardziej, i rozszerzać po pilotażu.

Pomijanie nowości i końca życia produktu. Tu model globalny ma największą przewagę, a arkusz największą słabość. Jeśli pilotaż tych przypadków nie obejmuje, nie pokaże pełnej wartości.

Co zrobić w poniedziałek

Wyciągnij z systemu sprzedaż i stany z ostatnich dwóch lat dla jednej kategorii. Policz WAPE i bias obecnej prognozy, osobno dla pozycji promocyjnych i bez promocji. Jeśli bias jest wyraźnie jednostronny albo promocje wypadają kilkukrotnie gorzej, masz pierwszy argument i pierwszy punkt odniesienia. Jeśli chcesz to zrobić razem, chętnie porozmawiamy.