Statisztika egyszerűen

Mágikus jelek nélkül...

Igaz vagy hamis? – A hipotézis vizsgálatokról…

2019. május 29. 09:00 - glantos70

Statisztikai elemzések

Egy napon összejöttök a haverokkal és elmentek bowlingozni. Alig kezdtek el játszani, az egyik haverod, Samu kijelenti, hogy ő eszméletlenül jó nagyon erős játékos, hosszú ideje átlagosan 150 pontot szokott dobni meccsenként. 150 pont a bowlingban nagyon jó eredménynek számít, általában a profi játékosok szoktak ilyen eredményeket elérni. Azt mondod: rendben, tegyünk egy próbát! Lejátszotok három kört és Samu átlaga a három kör alatt egy kiábrándító 40 lett. Egy ilyen helyzetben elhiszed neki, ami állít?

Valószínűleg nem hiszel neki, hiszen aki hosszú idő alatt egyenletesen képes 150 körüli átlagot hozni, az tényleg nagyon jó játékos, tehát valószínűtlen, hogy hirtelen csak 40-et képes dobni. Azaz Samu haverod egy kicsit nagyképű…

Most viszont képzeljük el ugyanezt a szituációt egy kicsit más végeredménnyel. Tegyük fel, hogy Samu a három kör alatt átlagosan 140 pontot teljesít. Ebben a szituációban sokkal inkább hajlamos vagy elhinni, amit Samu állít, hiszen a 140 pont egészen közel van a Samu által ígért 150 ponthoz. Ráadásul amikor Samu azt állítja, hogy az eredménye átlagosan 150 pont, az nem azt jelenti, hogy minden egyes mérkőzésen 150 pontot fog dobni, hanem azt, hogy némelyik mérkőzésen többet dob, máskor meg kevesebbet. Lehet, hogy most éppen kifogott egy kicsivel rosszabb formát, vagy éppen csak pechje volt, de ez alapján még hihető, hogy Samu tényleg ennyire jó játékos.

A lényeg az, hogy annál inkább hajlamos vagy elhinni Samunak, hogy képes a 150 pontos átlagra, minél közelebb lesz az általa három kör alatt dobott pontok átlaga ehhez az értékhez.  

Igazából két szélsőséges szituációról beszélgetünk: Az egyik, amikor Samu 40 pontot és a másik, amikor 140 pontot dobott. Az első esetben Samu fejére olvasod, hogy hazudik és ezzel vége a barátságnak, a másik esetben pedig elfogadod a kijelentését és továbbra is barátok maradtok. Ezekben az esetekben relatíve egyszerű döntést tudunk hozni arról, hogy Samu igazat mond-e, avagy hazudik. A kérdés viszont az, hogy mennyi az a pontszám, amikor még elhiszed, hogy Samu jó játékos, és mikor mondod rá, hogy hazudik? Noha az egy eléggé szubjektív kérdés, hogy neked éppen mennyi az a pontszám, aminél még elhiszed, hogy Samu tényleg igazat mond, azért képes vagy magadban kialakítani egy véleményt arról, hogy nálad mennyi ez a határ.

Tételezzük fel, hogy ha Samu a három játék átlagában kevesebbet hoz 120 pontnál, akkor nem hiszel neki, ha viszont többet csinál 120 pontnál, akkor pedig elhiszed, ami állít. Ez így persze egy erősen szubjektív vélemény, de ettől ez még egy döntés.

A diagramon lévő szürke terület nagysága azt adja meg, hogy mekkora a valószínűsége annak, hogy Samu fejéhez vágod, hogy hazug. Ez most egy eléggé jelentős méretű terület.

Ez eddig rendben is van, de most csavarjunk egyet a helyzeten: Tegyük fel, hogy édesanyád egy vagány és sportos hölgy, aki nagyon szeret bowlingozni. Ma van a születésnapja, ezért megszervezed, hogy együtt elmenjetek bowlingozni egyet. Már régen nem voltatok együtt játszani, így nem tudod, hogy mennyire jó játékos, ezért nem ismered a jelenlegi játéktudását, de ő azt mondja, hogy már hosszú idő óta egyenletesen 150 pont körül teljesít. Lezajlik a három játszma és édesanyád teljesítménye a kiábrándító 40 pont körül alakul. Ez ugye egy eléggé kellemetlen helyzet, hiszen a saját édesanyádnak nem mondhatod csak úgy, hogy hazug és nem hiszed el, hogy ő annyira jó játékos, mint ahogy azt állítja.

Természetesen ugyanígy megtörténhet az is, hogy az édesanyád 140 pontot dob átlagosan a három játék alatt és így könnyen hihető, hogy képes ennyire jól játszani. Tehát itt is megvan a két szélsőséges helyzet, de a szituáció mégis egy kicsit más. Az ember a saját édesanyját nehezebben vádolja meg azzal, hogy hazudik, szóval egy kicsit óvatosabban kell eljárni. Ha a helyedben lennék, én lehet, hogy nem 120-nál, hanem mondjuk 50-nál húznám meg a határt, ami alatt azt mondom, hogy anya hazudik (de lehet, hogy még akkor sem merném neki megmondani). Szóval a döntésnek nagy a tétje, ezért nyilvánvalóan nem leszel annyira szigorú, mint a haveroddal, de azért itt is van egy pont, ahol azt mondod, hogy azért ezt már mégsem hiszed el.

Amint az jól látható, a diagram szürke zónája sokkal kisebb, tehát jelentősen kisebb annak az esélye, hogy édesanyád fogod hazugnak nevezni.

Szóval nagyjából erről szól a hipotézis vizsgálat. A hipotézis szó görög eredetű és egy olyan feltevést vagy feltételezést jelent, amely még nincs bizonyítva. A hipotézis vizsgálat során tulajdonképpen bizonyítani próbálunk egy olyan feltevést vagy feltételezést, amely még nincs bebizonyítva. Rengeteg különféle hipotézis vizsgálat létezik, de a vizsgálat menete szinte mindegyik vizsgálati módszernek ugyanaz:

  1. Megfogalmazzuk, hogy mi az a hipotézis vagy feltevés, amit bizonyítani akarunk. Ezt hívjuk nullhipotézisnek és jelöljük H0-al.
  2. Megfogalmazzuk, hogy mi az ellenhipotézis, vagyis az előző pontban megfogalmazott feltevés ellentéte (ezt H1-el jelöljük). Mi az igaz akkor, ha az előző feltevés nem igaz?
  3. Egy minta alapján megvizsgáljuk, hogy igaz-e a feltevésünk.
  4. Ha a minta azt mutatja, hogy a feltevésünk igaz, akkor elfogadjuk a nullhipotézist és elvetjük az ellenhipotézist.
  5. Ha a minta azt mutatja, hogy a feltevésünk hamis, akkor a nullhipotézist elvetjük és az ellenhipotézist fogadjuk el.

Azt, hogy mennyire akarunk biztosak lenni a döntésünk helyességében, megbízhatósági (avagy konfidencia) szintnek szoktuk elnevezni. Általában azt szoktuk mondani, hogy 95%-os biztonsággal szeretnénk kijelenteni, hogy a döntésünk, hogy elfogadjuk-e a nullhipotézist vagy elutasítjuk, azaz 5% hibázási lehetőséget fenntartunk magunknak. Ha nagyon biztosak akarunk lenni a dolgunkban, akkor nem 95%-os, hanem 99%-os megbízhatósági szintet határozunk meg.

Itt még beszélnünk kell a döntéseink következményeiről:

Vegyük most példaként Samu esetét:

Nézzük, milyen esetek fordulhatnak elő:

  1. Samu hosszútávú átlaga a valóságban 150 pont, én pedig elhiszem neki, hogy 150 pont az átlaga. Ez egy helyes döntés.
  2. Samu hosszútávú átlaga a valóságban nem 150 pont, én pedig nem hiszem el neki, hogy 150 pont az átlaga. Ez is egy helyes döntés.
  3. Samu hosszútávú átlaga a valóságban 150 pont, én viszont nem hiszem el neki, hogy 150 pont az átlaga.Ez egy hibás döntés, és a következményei súlyosak, hiszen összeveszek Samuval, noha igazat állít. Ezt elsőfajú hibának nevezzük és α-val jelöljük.
  4. Samu hosszútávú átlaga a valóságban nem 150 pont, de én elhiszem neki, hogy 150 pont az átlaga. Ez szintén egy hibás döntés, viszont ennek kevésbé súlyosak a következményei, hiszen igaz, hogy Samu a valóságban nem játszik jól, és sikerült "becsapnia", viszont legalább nem vesztünk össze és barátok maradtunk. Ezt másodfajú hibának nevezzük és β-val jelöljük.

Kiegészítés:

A kommentek hatására el kell ismernem, hogy ez a példa pont egy speciális eset, amelyet korábban nem vettem észre. A példa különlegessége abban áll, hogy általában az elsőfajú hiba következményei kisebbek, a másodfajú hiba következményei pedig súlyosabbak, így általában arra törekszünk, hogy a másodfajú hiba bekövetkezésének esélyét minél inkább csökkentsük, akár még úgy is, hogy közben az elsőfajú hiba valószínűsége megnő. Például a selejtválogatási folyamatok vagy a heurisztikus víruskereső algoritmusok esetében tipikusan ez a cél. 

Ebben a példában viszont ez pont fordítva van. Ha Samu jól teljesít, de én ennek ellenére hazugnak nevezem, az egy elsőfajú hiba. Az ilyen elsőfajú döntés következményei súlyosabbak, vagyis arra fogok törekedni, hogy az elsőfajú hiba bekövetkezésének az esélyét csökkentsem, akár a másodfajú hiba esélyének növelése árán is.

Az egyik oldalon persze figyelmetlen voltam és ezért elnézést kérek. A másik oldala a kérdésnek viszont az, hogy mindig az adott szituáció határozza meg azt, hogy melyik fajta hiba elkövetése jár komolyabb következményekkel, így a döntési folyamatot ezen megfontolások alapján szükséges kialakítani.

A célunk nyilvánvalóan az, hogy minél nagyobb eséllyel hozzunk helyes döntéseket és minél kisebb valószínűséggel hibás döntéseket. Ezen belül is – ha már hibázunk - természetesen azokat a hibákat tartjuk inkább elfogadhatónak, amelynek kevésbé súlyosak a következményei, tehát lehetőleg úgy tévedjünk, hogy az elsőfajú hiba előfordulásának valószínűsége legyen nagyobb és másodfajú hibát lehetőleg ne is kövessünk el.

Meg kell még említenem egy dolgot, ami természetesen egy kicsit még tovább bonyolítja a képet. A hipotézis vizsgálatok esetében szoktunk egyoldali, illetve kétoldali ellenhipotézisről beszélni. Egyoldali ellenhipotézis lehet baloldali és jobboldali is. Mit jelent ez részletesen?

Tegyük fel, hogy 95%-os biztonsággal akarunk dönteni. Ez azt jelenti, hogy van egy 5%-os hibatartományunk, amit eloszthatunk annak a függvényében, hogy milyen típusú hibára számítunk:

  • Ha arra számítunk, hogy a mintánk átlaga KISEBB lesz, mint a sokaság átlaga, akkor BALOLDALI ELLENHIPOTÉZIS-ről beszélünk. Ekkor úgy számítjuk ki a teszt határértékét, hogy az 5%-os valószínűség a BAL oldalon legyen.
  • Ha arra számítunk, hogy a mintánk átlaga NAGYOBB, mint a sokaság átlaga, akkor JOBBOLDALI ELLENHIPOTÉZIS-ről beszélünk. Ekkor úgy számítjuk ki a teszt határértékét, hogy az 5%-os valószínűség a JOBB oldalon legyen.
  • Ha NEM TUDJUK, hogy a mintánk átlaga kisebb vagy nagyobb lesz, akkor KÉTOLDALI ELLENHIPOTÉZIS-t alkalmazunk, ekkor 2,5% - 2,5%-ot teszünk mindkét oldalra.

Ez a lecke talán egy kicsit hosszúra sikerült és elég sok mindent szuszakoltam bele, de remélem így is érthető lesz.

8 komment

A bejegyzés trackback címe:

https://statisztikaegyszeruen.blog.hu/api/trackback/id/tr9514821602

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

boldogito 2019.10.21. 22:42:33

Én azt gondolom, hogy az első abrán minél NAGYOBB a kiszürkített terület, annál valószínűbb, hogy hiszek Samunak. Mégpedig azért, mert annál közelebb van a sokaság átlagához.
Ez alapvetően nem változtat a többi megállapításon, csak itt van egy logikai bukfenc.

glantos70 2019.10.23. 15:26:09

@boldogito: Abban igazad van, hogy minél közelebb van a 3 meccs átlaga a 150 ponthoz, annál inkább elhiszed Samunak, hogy igazat mondott, de a kérdés nem ez. A kérdés az, hogy hol van az a határ, ami alatt már nem hiszel Samunak.

Az első ábra esetében csak akkor fogod elhinni Samunak, hogy képes hosszútávon 150 pontos átlaggal játszani, ha a 3 meccs átlaga meghaladja a 120 pontot. Ha annál kevesebb lesz az átlag, akkor nem hiszel neki.

A második ábra esetében óvatosabb vagy, ezért csak akkor fogod Samut hazugnak nevezni, ha a 3 meccs átlaga 50 pontnál kevesebb lesz.

Vagyis a szürke terület a hazugság zónája és a fehér az igazságé. Remélem így érthető a dolog, de ha nem, akkor folytassuk...! :-)

boldogito 2019.10.24. 15:27:22

@glantos70: "Vagyis a szürke terület a hazugság zónája és a fehér az igazságé."
Azt hiszem, ezzel a mondattal jutottunk közös nevezőre :)

felician 2020.01.03. 23:49:59

Kedves Glantos70!

Nem lehet, hogy felcserélve definiáltad az elsőfajú és másodfajú hibát? Elsőfajú hiba az álpozitivitás, amikor hibásan VETEM EL a nullhipotézist. Szerintem ebben a példában az kellene legyen a nullhipotézis, hogy Samu dobásátlaga tényleg 150, ahogy mondja. Ha a gyenge eredménye miatt (pedig csak rossz napja volt) elvetem ezt a nullhipotézist, pedig igaz, akkor összeveszünk. Te viszont éppen ezt nevezed a másodfajú hibának, pedig ez az elsőfajú. Vagy én értelmezek rosszul valamit?
(A másodfajú hiba következményei sokszor valóban kellemetlenebbek, pl. nem sikerül diagnosztizálni a betegséget, pedig fennáll, és így elmarad a kezelés. Ennél jobb, ha álpozitivitás (elsőfajú hiba) miatt úgy kezelünk valakit, hogy nem is kellett volna. A bowlingos példában viszont az összeveszést tekinted súlyosabbnak, holott a más értelmezés szerint tekinthetem súlyosabbnak azt, hogy leleplezetlenül marad a hazug kígyó, akit barátomként a keblemen melengetek. :) )

Na mindegy, akárhogy is, nagyon örülök a blogodnak. Most találtam, és segít! :) üdv f

glantos70 2020.01.09. 16:50:38

@felician : Sajnos igazad van, nekem is úgy tűnik, hogy felcseréltem a kétféle hibát. Rituálisan homokot szórok a fejemre és nagyon köszönöm, hogy észrevetted. Javítani fogom!

Elnézést a késői válaszért!

GasparYeno 2020.12.03. 21:59:05

Kedves Gábor, szerintem most a Samu történethez tartozó 2d-s mátrix és az alatta lévő magyarázat nem egyezik. Hogy melyik a jó, azt a korábbi felician komment alapján megválaszthatja magának bárki, de most nincs egyezőség :) amit a szöveg mond, az az, amit elsőre is írtál, amit az ábra, az pedig felician hazug kígyó nagyobb baj, mint a tévedés álláspontját támasztja alá

glantos70 2020.12.04. 09:42:37

@GasparYeno: Teljesen igazad van, mint ahogy Felician-nak is. Az ábra és a szöveg között eltérés van, ezt korrigálni kell. Köszönöm szépen a visszajelzést mindkettőtöknek.

glantos70 2020.12.04. 10:19:37

@GasparYeno: Még egyszer átgondoltam a dolgot és rá kellett jönnöm, hogy ebben a formában ez a példa nem szerencsés. A másik oldalon viszont mégiscsak szerencsés, mert a cikk ugyan bonyolultabb lett, de sikerült rámutatni egy fontos dologra, amire figyelni kell a tesztek kialakításakor. Köszönöm neked is felician-nak is a kommenteket, remélem így már érthető a magyarázat.
süti beállítások módosítása