A különféle paraméteres vizsgálatok esetében előfeltétel az adataink eloszlásának ismerete. Persze, ha olyan szerencsések vagyunk, hogy a vizsgált adatsor normál eloszlású (Ne lógjon ki senki a sorból! - Miért fontos, hogy az adatok normál eloszlásúak-e?), akkor nincs különösebb okunk a fejfájásra. De mit tegyünk akkor, ha az adataink nem normál eloszlásúak? Hogyan tudjuk kitalálni, hogy vajon milyen eloszlást követnek az adatok és milyen paramétereket alkalmazva kapjuk meg azt az eloszlást, amely legalább megközelítőleg illeszkedik az adatainkra?

Ahogyan azt az előző heti bejegyzésben elemeztük (Ne lógjon ki senki a sorból! - Miért fontos, hogy az adatok normál eloszlásúak-e?), nem érdemes elhanyagolni az adatok ellenőrzését, hogy vajon normál eloszlásúak-e. Ezt viszont nem túl barátságos kézzel elvégezni és az ismert táblázatkezelőknek sincs olyan beépített függvénye, amely segítségével egy mozdulattal vizsgálni tudjuk az adataink eloszlását. Az R alkalmazásával azonban néhány kódsor begépelésével gyorsan és hatékonyan meg tudjuk állapítani, hogy érdemes-e egyáltalán a jól ismert paraméteres teszteket (t-teszt, varianciaanalízis) alkalmazni az adataink esetében.

Korábban már részletesen foglalkoztam több bejegyzésben is a normál eloszlással. Tisztáztuk, hogy az ugyanarról a fáról származó barackmagok tömege normál eloszlást követ (Milyen eloszlást követ a barackmag tömege?), elemeztük, hogy miért találkozhatunk a normál eloszlással annyi helyen a természetben (Miért fordul elő a normál eloszlás olyan gyakran a természetben?), megismertük a normál eloszlás legfontosabb tulajdonságait (Ismerd meg a hibafüggvényt! – A normál eloszlás legfontosabb tulajdonságai), tisztáztuk, hogy mi az a standard normál eloszlás (Első az egyenlők között – a standard normál eloszlás), sőt még valószínűséget is számoltunk normál eloszlású adatsor esetében (Esemény valószínűségének kiszámítása normál eloszlású sokaság esetén).

Ezzel együtt eddig nem tisztáztuk, hogy mégis miért olyan fontos a számunkra, hogy az adatok normál eloszlásúak legyenek. Sajnos ezt korábban nem emeltem ki megfelelő mértékben, de a korábban már ismertetett hipotézis vizsgálatok jelentős részében az az előfeltevés, hogy az adathalmaz, amelyből kivett mintákat vizsgálunk, normál eloszlású. Ez igaz az alkalmazott képletekre, a megbízhatósági intervallumok kiszámítására, illetve a teszt döntést segítő p-value (A titokzatos P színre lép – Mi az a P-Value?) értékének meghatározásakor is. A nem normál eloszlású adatok vizsgálata olyan eszközökkel, amelyek az adatok normál eloszlását feltételezik, természetesen azt eredményezik, hogy a hipotézis vizsgálatkor rossz döntést hozhatunk.

Az előző néhány hét cikkei eléggé sok energiát kivettek belőlem, a Bayes-i keresési algoritmus (A USS Scorpion nyomában – A Bayes-i keresési algoritmusok alkalmazása) bemutatása nagyon szép téma, de az R kód részletes ismertetése (Szimat, szimat …! – Bayes-i keresési algoritmus R-ben - 1. rész) azért kicsit sokat kivett belőlem. Ezért most egy fokkal könnyedebb témát választottam a hétre, úgy döntöttem, hogy folytatom a korábban megkezdett Six Sigma in R sorozatot. Mivel ráakadtam egy egészen jól használható interaktív diagramkészítő csomagra, most ezt fogom kipróbálni. Unboxing, ahogy én szoktam...

Az előző hetek során megpróbáltam részletesen bemutatni a Bayes-tételére alapuló keresési algoritmus részleteit (Szimat, szimat …! – Bayes-i keresési algoritmus R-ben - 1. rész), de úgy tűnik, hogy egy kicsit "meghaltam a szépségben", a módszer lényege elveszett a rengeteg adatmanipuláció és diagramrajzolás között.

(Vissza az előző részhez…)

Az előző héten ott hagytam abba, hogy elkészítettem egy darab iterációt az első 100 mező keresése alapján, ahol a legnagyobb valószínűséggel vártuk a keresett objektumot. A befejező részben eljutok majd oda, hogy a teljes keresési folyamat láthatóvá válik.

(Vissza az előző részhez…)

Az előző bejegyzésben elkezdtem bemutatni egy relatíve egyszerű példán keresztül bemutatni a Bayes-i keresési algoritmus alkalmazását az R és az RStudio statisztikai programcsomag segítségével. Az előző alkalommal ott hagytam abba, hogy sikerült létrehozni egy olyan adatsort, amely a keresési terület mind a 3721 mezőjéhez hozzárendelte annak a valószínűségét, hogy a keresett objektum abban a mezőben található. A következő lépés az, hogy figyelembe vegyük az elveszett objektum detektálásának valószínűségét.

Az egyik előző bejegyzésben meséltem el a USS Scorpion megtalálásának történetét (A USS Scorpion nyomában – A Bayes-i keresési algoritmusokról). A történet annyira fellelkesített, hogy úgy döntöttem, valahogyan kipróbálom, hogyan is működik ez a gyakorlatban.

Az Amerikai Haditengerészet USS Scorpion nevű tengeralattjárója éppen útban volt Norfolkból az Azori-szigetek felé. Feladata az volt, hogy megfigyelje a szovjet haditengerészeti tevékenységet az Azori-szigetek térségében. 1968 május 20-án és 21-én a tengeralattjárónak előre megbeszélt rádióforgalmazást kellett volna lebonyolítania a Spanyolország délnyugati részén található Rotában lévő Haditengerészeti Bázissal, de csak a Görögországban található Nea Makri kommunikációs állomással tudta felvenni a kapcsolatot. Ebben azt az üzenetet hagyta, hogy éppen 15 csomós sebességgel halad 110 méteres mélységben, megközelített egy csapat tengeralattjárót és elkezdi a szovjetek megfigyelését. Hat nappal később a USS Scorpion-t már hiába várták Norfolkban, nem érkezett meg. Az esetnek az adott súlyos felhangot, hogy a tengeralattjárón volt több különféle atomfegyver is.

Idén is megvizsgáltam, milyen a felhozatal a statisztikát népszerűsítő zeneművek területén, és nyugodtan kijelenthetem, hogy nem bántam meg! Ki mondta, hogy a statisztikusok és az adattudósok unalmas, besavanyodott emberek? Nézzünk pár csodálatos példát a youtube-ról kifogyhatatlan tárházából és szórakozzunk önfeledten egy kicsit a sok matek közepette.