Modelowanie dla biznesu. regresja logistyczna, regresja poissona, survival data mining, crm, credit scoring (Szkoła Główna Handlowa)

Przedmowa Czytelnikowi na rynku polskim została udostępniona publikacja Czwarta rewo­lucja przemysłowa autorstwa prof. Klausa Schwaba, założyciela i prezesa Świato­wego Forum Ekonomicznego We wstępie do publikacji, w rekomendacjach, znani ludzie biznesu i innych środowisk, w tym naukowych, zamieścili swoje wypowie­dzi.

Dalej zostały przedstawione wybrane dwie z nich. "Ludzkość stoi na progu największej w dziejach rewolucji, która zmiecie większość obo­wiązujących zasad naszego życia i pracy. Toczący się wykładniczo techniczny rozwój świata jest już nie do zatrzymania" (Sebastian Kulczyk, CEO Kulczyk Investment).

"Najnowsze technologie, łączące świat cyfrowy, fizyczny i biologiczny, radykalnie zmie­niają naszą cywilizację. Nowe możliwości w medycynie, edukacji czy biznesie popra­wiają bytowanie człowieka na Ziemi i przyczyniają się do mądrzejszego korzystania z jej naturalnych zasobów.

Zarazem okazują się potencjalnie szczególnie niebezpieczne, otwierając ogromne przestrzenie do cyberprzestępczości czy przyczyniając się do dal­szej polaryzacji społeczeństw. Z tego powodu jednym z najpoważniejszych wyzwań dzisiejszego świata jest to,należycie i mądrze przeprowadzić czwartą rewolucję prze­mysłową" (Aleksandra Przegalińska, Akademia Leona Koźmińskiego).

We wstępie do swej książki Czwarta rewolucja przemysłowa profesor Klaus Schwab pisze m.in.: "Znajdujemy się na początku przewrotu, który w sposób fundamentalny zmienia sposób, w jaki żyjemy, pracujemy i utrzymujemy kontakty.

spomiędzy różnorakich i fascynują­cych wyzwań, które w związku z tym stoją teraz przed nami, największym i naj­ważniejszym zadaniem jest zrozumieć nową rewolucję techniczną i stosownie ukierunkować jej przebieg.

(...) Jesteśmy świadkami ogromnych zmian we wszystkich branżach; wyłaniają się nowe technologie biznesowe, pojawiają się rewolucyjne zakłócenia w istniejącym porządku, które rewolucjonizują systemy produkcji, konsumpcji, transportu i dostaw.

Na froncie społecznym zachodzi zmiana paradygmatu określającego, jak pracujemy i komunikujemy się, a także jak się wyrażamy, jak przekazujemy dane i jakich szukamy rozrywek. Przekształceniom ulegają jednocześnie rządy i instytucje, jak i systemy edukacji, opieki zdrowotnej, transportu i mnóstwo innych.

świeże sposoby posługiwania się technolo­gią wpływają na nasze zachowania, a także systemy produkcji i konsumpcji, kreujeją także możliwości wspierania, regeneracji i ochrony środowiska naturalnego, zamiast tworzenia ukrytych kosztów w formie efektów zewnętrznych.

Zmiany te pod względem rozmiaru, tempa i zakresu, nie posiadają sobie równych w historii". Zmiany te cechują się dużą szybkością, szerokością i głębią oraz wpły­wem na transformację wszelkich systemów.

Przed tym procesem stoją uczelnie wyższe, uniwersytety i środowiska akademickie, aby w porę podjąć stosowne dzia­łania i włączyć się w konkretną zmianę systemową. Aktualnie modele są podstawą większości, jeśli nie wszystkich, decyzji bizne­sowych.

Coraz częściej producenta poszukują analityki jako kluczowego, strategicznego wyróżnika, który pozwala na kierowanie ogromną liczbą decyzji operacyjnych każ­dego dnia. Jednocześnie firmy identyfikują zagrożenia.

Według SAS White Paper 2018 jednym z stanowczojszych czynników hamujących sukces analizy jest opóź­nienie między tworzeniem a wdrażaniem modeli. Głównym powodem opóźnień we wdrożeniu modeli jest to,producenta produkują i wdrażają je w dwóch oddziel­nych środowiskach: biznesowym i informatycznym (IT).

Analitycy z różnych jed­nostek biznesowych budują modele, a działy IT je wdrażają. Obie grupy polegają innym zestawom procesów, kodów programowania i języków, które utrudniają szybką reakcję na zmieniające się warunki biznesowe.

Jeśli firmy chcą usprawnić produkcję modeli, lepszym pomysłem jest automatyzacja powtarzalnych aspek­tów pracy i migracja modeli do procesu ciągłego podejmowania decyzji. Odpo­wiedzią jest fabryka analityczna, czyli połączone dwa środowiska i automatyzacja procesów i decyzji.

zasadniczą część analityki dla biznesu stanowią modele predykcyjne. Ocena skrupulatności predykcyjnej jest ważnym aspektem oceny i porównywania modeli, algorytmów albo technice, które generują prognozy. Prognozy i projekcje stały się wyraźną częścią każdego przedsięwzięcia biznesowego i naukowego.

Monografia Modelowanie dla biznesu demonstruje istotę i modelowanie z zakresu analityki biznesowej w wybranych obszarach zastosowań. Autorami lub współ­autorami kolejnych rozdziałów są pracownicy Zakładu Analizy Historii Zdarzeń i Analiz Wielopoziomowych, nasi magistranci lub absolwenci Podyplomowych Studiów "Analizy Statystyczne i Data Mining w Biznesie", za które merytorycznie odpowiada Zakład.

Monografia rozpoczyna proces publikacji Modelowanie dla biz­nesu, serii, która będzie prezentować różne przykłady modelowania bizne­sowego z użyciem najróżniejszych metod analizy, włączając zawsze modelowanie predykcyjne.

Rozdział pierwszy jest rozdziałem o regresji logistycznej, modelowaniu, które jest stosowane w sześciu rozdziałach niniejszej monografii. Odpowiedziano w nim na następujące pytania: 1. Jaka była geneza regresji logistycznej i opartego na niej modelowania$5 2.

Jakie są podstawowe różnice między regresją liniową a regresją logistyczną$6 3. Jak przebiega estymacja modelu regresji logistycznej (na przykładzie regre­sji binarnej)$7 4. Jak interpretuje się wyniki estymacji parametrów regresji liniowej i regresji logistycznej, a także jakie są różnice$8 5.

Jakie są inne rodzaje modelowania regresji logistycznej poza modelem binarnym$9 6. Jakie znaczenie w modelowaniu regresji logistycznej ma kodowanie zmien­nych jakościowych$10 7. Co składa się na cykl wnioskowania w modelach regresji logistycznej$11 8.

Co oznacza predykcja i model predykcyjny z użyciem regresji logi­stycznej$12 9. Jakie mierniki i testy wykorzystuje się do oceny zdolności predykcyjnej modelu opartego na regresji logistycznej$13 W rozdziale drugim zamieszczono przegląd podstawowych testów i miar do oceny zależności zmiennych jakościowych, których dane empiryczne można zestawić w postaci tablic kontyngencji.

Analiza tablic kontyngencji stanowi czę­sto wstępny etap wielu bardziej zaawansowanych analiz, w tym modeli regresji logistycznej. Przegląd testów i miar obejmuje: testy służące do weryfikacji hipotez o niezależności dwóch cech jakościowych (testy asymptotyczne i precyzyjne) oraz test Cochrana-Mantela-Haenszela i jego różne postacie, w zależności od celu ana­lizy.

Kolejno omówiono podstawowe miary asocjacji pomiędzy cechami jakościo­wymi. Budowa tych miar zależy od rodzaju skal pomiarowych, stąd opis miar zależności dotyczy: zmiennych dychotomicznych, nominalnych i porządkowych.Ostatnia część rozdziału ma charakter aplikacyjny, zamieszczono przykłady obliczeń i interpretacji wcześniej opisanych testów i miar na przykładach tablic kontyngencji z wykorzystaniem oprogramowania SAS.

proces budowy modelu regresji logistycznej z binarną zmienną objaśnianą jest tematem rozdziału trzeciego. W pierwszej jego części zaprezentowano model deskryptywny, którego celem jest zrozumienie i poznanie zależności w badanej próbie.

Następnie opisano model predykcyjny, który ma na celu możliwie najlepsze różnicowanie obserwacji spoza zakresu informacji wykorzystanych do budowy modelu. Omówiono zbiór oraz wykorzystane procedury i autorskie makra SAS.

Przeprowadzono jednowymiarową analizę zmiennych objaśniających, w tym analizę braków oraz sprawdzono moc dyskryminacyjną poszczególnych zmiennych. Przedstawiono algorytm podziału zbioru danych na próbę uczącą i walidacyjną.

Przeprowadzono analizy korelacji i współliniowości. Opisano algo­rytm doboru predyktorów do każdego modelu w celu zmniejszenia wymiarowości. Zaprezentowano analizę obserwacji wpływowych i odstających. Finalne modele zostały poddane interpretacji ekonomicznej oraz gruntownej weryfikacji staty­stycznej.

Przeprowadzone testy statystyczne uzupełniono o przedstawienie gra­ficzne w stosownych przypadkach. Rozdział czwarty dotyczy modelowania z użyciem modelu regresji binarnej i uporządkowanej. Celem analizy było określenie czynników pozwala­jących przewidzieć końcowy wynik meczu piłkarskiego na przykładzie informacji z dwóch pełnych sezonów lig angielskiej.

Wykorzystując SAS Enterprise Guide 7.1, zbudowano modele regresji binarnej i uporządkowanej zbioru informacji liczącego 760 obserwacji. Zaprezentowano kody wytwarzające modele i najważniejsze kody etapu przetwarzania danych.

W modelowaniu wykorzystano 119 zmiennych zawierających statystyki meczowe drużyn gospodarzy i gości, statystyki zagrego­wane z całego sezonu poprzedzającego daną obserwację, statystyki zagregowane z meczów u siebie dla gospodarza i z meczów wyjazdowych dla gości i atrybuty finansowe i geograficzne.

Zaprezentowano statystyki dobrania i jakości predykcyjnej modeli. W modelu binarnym liczba goli strzelonych poprzez gospo­darzy u siebie w ubiegłym sezonie i przewidywania bukmacherów dotyczące danego meczu okazały się najsilniejszymi predyktorami.

W modelu uporządko­wanym stracone bramki przez gości w meczach wyjazdowych w ubiegłym sezo­nie i typy bukmacherów miały największy wpływ na zmienną odpowiedzi. W rozdziale piątym do modelowania wykorzystano model regresji Poissona.

Pierwszą część rozdziału stanowi wstęp teoretyczny do rozkładu i regresji Poissona oraz opis podstawowej składni procedury GENMOD wykorzystanej do estyma­cji modelu. W kolejnych podrozdziałach są zaprezentowane przykłady estymacji i analizy liczby infekcji.

Rozdział posiada w dodatku informacje dotyczące problemu nadmiernej dyspersji często występujących w rzeczywistych zastosowaniach oraz dwa sposoby rozwiązania tego problemu: korekcja wariancji przy pomocy parame­tru skali, a także model ujemny dwumianowy.

Dokonano porównania obu metod modelowania, wskazując podobieństwa i różnice w estymacji. Uzupełnieniem rozdziału jest analiza obserwacji wpływowych i odstających i ich znaczenia w procesie estymacji.

Tematykę użycia modeli predykcyjnych j ako narzędzia umożliwiającego zwiększenie skuteczności kampanii marketingu bezpośredniego podjęto w roz­dziale szóstym. Pierwsza jego część to wprowadzenie do dziedziny marketingu, w którym zawarto opis podstawowych pojęć i definicji dotyczących podejmowa­nej tematyki.

Następnie opisano rolę modeli predykcyjnych w marketingu i znaczenie wskaźnika otwarcia dla sukcesu kampanii marketingowych. Przedsta­wiono także podstawy teoretyczne zastosowanych metod - regresji logistycz­nej, nienaturalnej sieci neuronowej i drzewa decyzyjnego.

Opisano wykorzystany do modelowania zbiór informacji, jak także całościowy proces budowy poszcze­gólnych modeli predykcyjnych, ich porównania oraz wyboru najkorzystniejszego pod względem zdolności predykcyjnych.

Rozdział zakończono prezentacją praktycz­nego użycia finalnego modelu. W rozdziale siódmym skupiono się na analizie churnu, czyli zjawiska odej­ścia klienta, które jest związane z zakończeniem korzystania ze świadczonej poprzez markę usługi, oraz na przykładowych dwóch podejściach używanych do jego badania.

W części teoretycznej przedstawiono charakterystykę zjawiska churnu, a także osiągalne do wykorzystania podejścia analityczne, ze szczególnym uwzględnieniem modelu regresji logistycznej, a także modelu survival data mining.

W ramach części poręcznej utworzone zostały, na podstawie danych dotyczą­cych churnu w firmie telekomunikacyjnej, dwa modele: model regresji logistycz­nej, a także model survival data mining z perspektywą roczną.

Na podstawie części aplikacyjnej dokonano podsumowania uwzględniającego możliwości oraz ogra­niczenia dwóch utworzonych modeli. Rozdział ósmym gromadzi opis procesu implementacji metod credit scoringu w obszarach związanych z zarządzaniem relacjami biznesowymi z klientem kor­poracyjnym, a także motywowaniem pośrednich struktur sprzedaży.

Business case, opisany w rozdziale, dotyczy polskiej branży farmaceutycznej, a środowisko dla niego stanowią czasy czwartej rewolucji technicznej. Klasyczny credit scoring opiera się na mechanizmie transformacji szacowanego prawdopodobieństwa zaj­ścia zdarzenia sukcesu lub porażki do postaci łatwo interpretowalnych punktów scoringowych.

ponadto algorytm zezwala na jednoznaczne wyznaczonie najistotniej­szych, a przez to najmocniej predyktywnych atrybutów modelowanego zjawiska i podzielnie ich na kategorie określające stopień ryzyka wystąpienia prognozo­wanego zdarzenia.

Suma punktów otrzymanych w ramach każdej zmiennej sta­nowi o przynależności podmiotów do określonej grupy ryzyka. Podejście to od dawna stosowane jest z sukcesem w bankowości dla procesów kredytowych, w instytucjach ubezpieczeniowych do wykrywania oszustów oraz w ocenie efek­tywności kampanii marketingowych.

Rozdział ósmy składa się trzech głównych części. Pierwsza stanowi repozytorium wiedzy na temat podstaw teoretycznych i mechanizmów credit scoringu. Wyjaśnione są w nim między innymi pojęcia default, punkt obserwacji, wskaźnik Giniego i tabela ABT.

Część druga dedyko­wana jest problematyce segmentacji i optymalizacji strategii biznesowych dla sieci aptecznych. Przedstawiono w niej klasyczne i ogólnodostępne metody segmen­tacji klientów sieciowych, proponowane przez producenta analityczne zajmujące się rynkiem farmaceutycznym,, a także podejście innowacyjne.

postępowość alterna­tywnego sposobu profilowania sieci aptecznych umożliwia wielowymiarowe usze­regowanie klientów według skłonności do zajęcia określonej pozycji w rankingu wydajności dochodowej per apteka.

Równolegle w tej części poruszone zostały kwestie związane z jakością i mocą predykcyjną modelu scoringowego w warun­kach skąpej liczby rekordów w modelowanej populacji. Część trzecia poświę­cona została modelowaniu szansy na osiągniecie co najmniej 100% realizacji celu sprzedażowego przez przedstawiciela handlowego, w szczególności przedstawi­ciela medycznego.

Opisano w niej aspekt zastosowania wiedzy o przyszłym roz­kładzie wyników sprzedażowych do celów budowania strategii i ustalania celów taktycznych dla zespołów sprzedażowych na kolejny okres rozliczeniowy.

dodatkowo wyrózniono na rolę narzędzi credit scoringu w motywowaniu pracowników. Auto­rzy podkreślili skomplikowaną rolę kierownika regionalnego w wyjaśnieniu przypadków, w których model się myli. W rozważanym zaimplementowaniu konieczność przedysku­towania każdego aspektu uzyskanych ocen cząstkowych stanowi wyzwanie w pra­widłowej interpretacji i aplikacji wyników modelowania zjawiska.