Ostatnio pisaliśmy o błędach, jakie można popełnić podczas tworzenia wykresów i wizualizacji danych. Jednak nawet jeżeli się ich pozbędziemy, to wciąż możemy popełnić błędy przy interpretacji. W niniejszym artykule zajmiemy się właśnie tym tematem. Zaczniemy od najpoważniejszego i niestety wciąż powtarzanego błędu: korelacja-przyczynowość. Wspomnimy również o jednym z błędów poznawczych, a także o błędzie analizowania danych, które “przetrwały”. Na koniec zastanowimy się, jakich potknięć powinniśmy unikać podczas wykorzystywania testów i miar statystycznych.
Korelacja to nie przyczynowość
Jeżeli jakieś dwie zmienne są ze sobą skorelowane, nie oznacza to, że jedna powoduje drugą. Korelacja to miara związku między dwoma zmiennymi. Może ona być dodatnia, kiedy wraz ze wzrostem jednej zmiennej, rośnie druga zmienne (im wyższa temperatura, tym wyższa sprzedaż lodów). Może też być ujemna, kiedy wraz ze wzrostem jednej zmiennej, spada wartość druga zmienna (im wyższa cena produktu, tym mniejsza jego sprzedaż).
Niestety wiele danych, które mamy do dyspozycji ma charakter korelacyjny. Kiedy zestawiamy dane sprzedażowe ze wskaźnikami jakości obsługi klienta, możemy jedynie mówić o korelacji.
Co zrobić, aby móc mówić o przyczynowości? Aby mieć taką pewność należy przeprowadzić badanie w planie eksperymentalnym lub zastosować testy A/B. W tego rodzaju badaniach potencjalna przyczyna zawsze występuje przed pomiarem danego wskaźnika i porównywana jest do warunków kontrolnych (lub innej grupy eksperymentalnej). Przykładem eksperymentu w biznesie może być sprawdzenie, który rodzaj motywacji lepiej działa na zaangażowanie pracowników. Część załogi dostaje wyższe wynagrodzenie, druga część darmową opiekę zdrowotną a trzecia grupa nie dostaje, żadnych dodatków. Następnie można sprawdzić, w której grupie najbardziej wzrosły wskaźniki produktywności, obecności i zadowolenia w pracy. Jeżeli te różnice są znaczne (statystycznie istotne) to można stwierdzić, że rodzaj benefitów ma wpływ na zaangażowanie zatrudnionych.
Wybieranie danych, które potwierdzają nasze założenia
To kolejny błąd, który popełniamy często nieintencjonalnie. Stawiając jakąś hipotezę szukamy przykładów ją potwierdzających, a omijamy te, które mógłby jej przeczyć. Kiedy jesteśmy przekonani, że nasz dział sprzedaży świetnie sobie radzi i to zespół fachowców, przypominamy sobie i bierzemy do analizy głównie sukcesy. Możemy też tworzyć mierniki próżności, czyli takie, które pokazują, że firma rozwija się świetnie, ale w rzeczywistości mogą one nie mieć nic wspólnego z faktycznymi wynikami. Kiedyś często takim wskaźnikiem próżności była liczba osób śledzących profil firmy w mediach społecznościowych lub liczba polubień danego posta. Okazało się, że korelacja między poziomem zaangażowania a wynikami sprzedaży jest bardzo niska, więc nie zawsze warto zbytnio angażować się w social media (chociaż są branże i firmy, które z pewnością robią świetną robotę w mediach społecznych, która przekłada się na sprzedaż).
Błąd ten jest wynikiem naszej tendencyjności do potwierdzania, jest to jeden z błędów poznawczych.
Błąd przetrwania danych
Klasycznym przykładem jest badanie uszkodzeń samolotów, które wróciły z misji bojowych, bez uwzględnienia tych, które zostały zestrzelone. Jednak taki błąd mogą popełnić również współcześni marketerzy czy HR-owcy. Ci pierwsi mogą skupiać się tylko na analizie osób, które kupiły dany produkt i na postawie tego tworzyć kolejne komunikaty czy całe strategie. Warto jednak zastanowić się i zebrać dane od tych, którzy rozważali ofertę, jednak postanowili skorzystać z usług konkurencji. Co nimi kierowało? Dlaczego inna oferta była lepsza? Co sprawiło, że postawili na inną firmę? Jaki element oferty konkurencji przekonał ich najbardziej. Dzięki analizie tych danych dział marketingu jest w stanie przygotować lepszą komunikację, która będzie odnosić się do wątpliwości.
Z kolei pracownicy działu rekrutacji powinni próbować dowiedzieć się, jacy kandydaci nie złożyli CV w firmie na dane stanowisko. Co potencjalni pracownicy sądzą o firmie? Jak obierane jest ogłoszenie o pracę? To ważne pytania, które przybliżą do znalezienia lepszych pracowników.
Przeoczenie niektórych zmiennych
Ogólnie mamy tendencję do upraszczania. Chcemy znaleźć prosty zestaw danych, który tłumaczy zawiły świat. Niestety jest ona znacznie bardziej skomplikowany. Na decyzje zakupowe ma wpływ wiele czynników. Nic dziwnego, że czasem wierzymy, że tylko jeden element
Różnie rozumiane wskaźniki
Często w analizie danych firmowych posługujemy się wskaźnikami. Posługujemy się nimi w raportach i rozmowach z innymi pracownikami. Czasami popełniamy jednak błąd – sądzimy, że każdy tak samo rozumie ten wskaźniki, że wie jak się go liczy i jak go można intepretować. Faktycznie zdarza się tak, że w jednej firmie satysfakcja klienta mierzona jest w różny sposób, w zależności od działu – inaczej liczy go marketing a inaczej dział obsługi. Aby zminimalizować ten błąd warto wspólnie tworzyć wskaźniki i o nich rozmawiać (więcej na ten temat znajdziesz w naszym artykule → Co zrobić, aby wszyscy interpretowali wskaźniki firmowe w ten sam sposób?)
Błędne stosowanie miar statystycznych
Oczywiście statystyka pomaga nam testowaniu hipotez, za pomocą niektórych miar można tworzyć kluczowe wskaźniki efektywności. Jednak nie zawsze są one stosowane poprawnie.
Najczęściej stosujemy miary tendencji centralnej i zazwyczaj do wszystkiego wykorzystujemy średnią. Jednak jest to miara, która jest bardzo podatna na wartości skrajne. Kilka dni w miesiącu, w których poziom sprzedaży był bardzo duży, może zniekształcić średnią. Czasami lepszym wyborem jest mediana, która dzieli zbiór na połowę – 50% przypadków (np. dni sprzedaży) jest powyżej poziomu mediany, a 50% poniżej.
Przy niceo bardziej zaawansowanych statystykach, na przykład testach porównujących średnie (test t), czy sprawdzające regresję, często zapomina się o założeniach tych testów przez co mogą one doprowadzić nas do błędnej interpretacji.
Analizowanie danych w firmie pozwala na sporą dawkę wiedzy, a często na przegonienie konkurencji. Warto jednak dokonywać obliczeń i interpretować je bezbłędnie. Mamy nadzieję, że po przeczytaniu tekstu zastanowicie się dwa razy, zanim uznacie przyczynę jakiegoś zjawiska, a szukając potwierdzenia swoich tez, będziecie szukać przykładów jej niepotwierdzających. Analizując dane często zawodzi nas intuicja, a zaczyna liczyć się uważność i sceptycyzm. To właśnie te cechy powinny charakteryzować dobrego analityka.
Zobacz również:
Wskaźniki marketingowe z punktu widzenia zarządu
Co to są wskaźniki płynności finansowej
Jak mierzyć biznes, żeby wygrywać. Jakie wskaźniki mierzyć w usługach, żeby zapewnić rozwój biznesu?
Źródła:
Kahneman, D., Szymczak, P., & Tversky, A. (2019). Pułapki myślenia: o myśleniu szybkim i wolnym. Poznań: Media Rodzina.
Francuz, P., & Mackiewicz, R. (2007). Liczby nie wiedzą, skąd pochodzą: przewodnik po metodologii i statystyce: nie tylko dla psychologów. Wydawnictwo KUL.