Pravděpodobnost a statistika 1 (NMAI059) - LS 2023/24

Vyučující Robert Šámal

Souřadnice

Přednáška se koná ve 14:00 v S3. Protože je místnost trochu "přebookovaná", budu ji též v daném čase nabízet streamem v Zoomu. (Pokud nechcete být nahrávání, pokládejte případné dotazy v chatu.) S jistým zpožděním budou videa vystavena.
Rád uvidím na přednásce co nejvíc z vás. Pokud ale váháte, zda se vejdete, hoďte si korunou, zda přijít. To by mělo zhruba vyjít (a zároveň ilustrovat užitečnost pravděpodobnosti).
Odkaz na online kvízy (funkční během přednášky). (Nebo tento odkaz a zadat jméno roomu PRAVDASTAT.)

Zkoušky

• Zkoušky se můžete zúčastnit i před ziskem zápočtu, zejména za účelem poskytnutí více času pro zpracování statistické úlohy. Nicméně i tak doporučuji neodkládat splnění podmínek k zápočtu na poslední chvíli -- pokud váš cvičící nebude mít dost času nebo si třeba zlomí nohu, riskujete komplikace. Každopádně dbejte na termín 30.6. -- do té doby v Sově napište upřesnění tématu -- na jaká data se chcete dívat a co na nich testovat.
• Podrobnosti o zkoušce:
  • Zkouška je písemná s možností ústního dozkoušení.
  • Termíny písemné části jsou vypsané v SISu, doba trvání 150 minut čistého času. Jeden termín ještě přibude v září (datum bude upřesněno během léta).
  • Ke zkoušce můžete mít tahák -- papír formátu A4 oboustranně (vlastnoručně) popsaný libovolnými poznámkami.
  • Bude zkoušena látka v rozsahu, ve kterém byla přednesena.
  • Ke zkoušce si přineste průkaz totožnosti.
  • Po opravení písemky bude všem navržena známka 1-5 (tabulku s výsledky zašlu emailem přes SIS). K vašemu bodovému skóre budou přičteny bonusy za domácí úkoly (až 10 bodů bonus, 60 bodů za písemku).
  • V tabulce budou uvedeny vaše iniciály. Pokud nechcete, aby ostatní zapsaní na termínu viděli vaše iniciály s vašimi výsledky, napište výrazně na vaši písemku zvolený pseudonym, pod kterým vás mám v tabulce uvést.
  • Navržená známka může být finální, nebo si ji můžete při ústní části vylepšit o jeden stupeň -- tj. 4 lze zlepšit na 3, 3 na 2, 2 na 1, ale 5 znamená neúspěch u tohoto termínu zkoušky.
  • Termíny pro ústní část budou vypsány v SISu současně s odesláním výsledků. Budou vypsány na stejný týden, kapacita podle počtu studentů účastnících se písemné části.
• 1. termín
• 2. termín verze A a verze B. řešení A a řešení B.
• 3. termín verze A a verze B, english version
• 4. termín verze A a verze B, english version
• 5. termín verze A, verze B a verze C, english version
• 6. termín verze A a verze B, english version A, english version B.

Pro ilustraci, co u zkoušky čekat, se podívejte na web stránku minulého ročníku.

Sylabus přednášky

najdete v SISu.

Loňská verze

Pokud budete chtít získat představu o tom, co budeme probírat, můžete se podívat na a web stránku minulého a nebo předminulého ročníku, případně ještě starší Moodle stránku. (Letos ale asi některé věci budeme probírat v trochu jiném rozsahu a lépe :-).)

Literatura

V knihovně najdete mnoho knih a skript k tématu, v SISu najdete seznam doporučených knih. Nový zdroj, k dispozici i na webu autorky je Introduction to Probability for Computing od Mor Harchol-Balter.
Žádná kniha ale neodpovídá probírané látce přesně. Na tomto webu budu postupně uveřejňovat skripta odpovídající probrané látce. Aktuální verze (update 23.6.2024 -- několik překlepů).

Cvičení

Aktivní účast na cvičení vám umožní si z předmětu odnést užitečné dovednosti a také usnadní skládání zkoušky. Podmínky k získání zápočtu vám sdělí příslušný cvičící. Odkazy na stránky jednotlivých cvičení: Robert Šámal, Petr Chmel a David Mikšaník,

Co se dělo na přednáškách

1. přednáška 22.2.2024

Organizační poznámky, úvod. Definice, motivace, příklady pravděpodobnostních prostorů. Věta o základních vlastnostech. Podmíněná pravděpodobnost.
video

2. přednáška 29.2.2024

Pravidlo pro výpočet pomocí zřetězení podmíněné pravděpodobnosti. Věta o úplné pravděpodobnosti s příklady užití (Gambler's ruin). Bayesova věta.
video

3. přednáška 7.3.2024

Nezávislost jevů. Diskrétní náhodné veličiny: popis pomocí pravděpodobnostni funkce. Příklady diskrétních rozdělení: Bernoulliho, geometrické, binomické, Poissonovo, zmínka o hypergeometrickém.
Hezká vizualizace toho, co jsou to náhodné veličiny
Slajdy s grafem pravděpodobnostní funkce a histogramu i s kódem v R co je generuje
video

4. přednáška 14.3.2024

Střední hodnota: motivace, definice. Střední hodnota: hodnoty pro Bernoulliho, geometrické a binomické rozdělení. Alternativní definice pro diskrétní pravděpodobnostní prostor. Střední hodnota diskrétní náhodné veličiny: vlastnosti (linearita, podmíněná střední hodnota, věta o celkové střední hodnotě), výpočet.
video

5. přednáška 21.3.2024

Alternativní vzorec střední hodnoty pomocí survival funkce, aplikace ne geometrické rozdělení.
Rozptyl a jeho vlastnosti. Výpočty pro Bernoulliho, Binomické a Geometrické rozdělení (různými metodami).
Náhodný vektor: sdružená pravděpodobnostní funkce a její vztah s funkcemi marginálními. Rozdělení libovolné funkce dvou náhodných veličin.
video

6. přednáška 28.3.2024

Nezávislost náhodných veličin. Příklad náhodných vektorů: multinomické rozdělení. PNS pro funkci náhodného vektoru. Střední hodnota součtu n.v., součinu nezávislých n.v. Příklad na použití konvolučního vzorce. Kovariance a její vlastnosti. Korelace vs kauzalita. Rozptyl součtu náhodných veličin.
Obecné náhodné veličiny -- motivace, definice distribuční funkce a hustoty.
korelace vs kauzalita
video

7. přednáška 4.4.2024

Vlastnosti distribuční funkce. Spojité náhodné veličiny a jejich popis pomocí hustoty. Využití hustoty -- výpočet pravděpodobnosti intervalu, každý bod má pravděpodobnost nula. Hustota jako limita histogramů. Definice střední hodnoty. Výpočty se spojitými veličinami (Pravidlo naivního statistika, rozptyl, linearita). Příklady spojitých rozdělení: uniformní a exponenciální. Jejich střední hodnota a rozptyl. Souvislost s geometrickým rozdělením. Normální rozdělení -- jeho parametry a základní vlastnosti.
Slajdy s histogramy, grafy hustoty, atd.

video

8. přednáška 11.4.2024

Střední hodnota $N(0,1)$ a jeho rozptyl. Výpočet pomocí $\Phi$. Odolnost vůči součtu. Cauchyho rozdělení (jako varování). Paretovo rozdělení -- výpočty na tabuli byly špatně! Omlouvám se, správná verze ve skriptech, kapitolka 6.5 Paretova distribuce.
Součet diskrétního a spojitého rozdělení vs. jejich "mix". Kvantilová funkce stručně. (Použití na generování bude později.) Spojité náhodné vektory -- sdružená distribuční funkce Pravděpodobnost obdélníku pomocí sdružené distribuční funkce. Hustota. Nezávislost (pomocí distribuční funkce i pomocí hustoty).

Slajdy s histogramy, grafy hustoty, atd.
Ilustrace spojitého náhodného vektoru -- tipněte, jaké je to rozdělení
Další ilustrace spojitého náhodného vektoru
A ještě jedna

video (loňské)
video (letošní, ze začátku bez kamery) Výpočty Paretova rozdělění na tabuli byly špatně! Omlouvám se, správná verze ve skriptech, kapitolka 6.5 Paretova distribuce.

9. přednáška 18.4.2024

Konvoluce pro spojité náhodné veličiny, příklad (součet normálních rozdělení je normální). Důležitý příklad: vícerozměrné normální rozdělení a jeho vlastnosti (použití pro generování bodu na sféře).
Markovova nerovnost. Čebyševova a (bez důkazu) Chernoffova nerovnost. Zákony velkých čísel, aplikace -- Monte Carlo integrování (kruhu).
Ukázky výpočtů:

• Konvoluce dvou normálních veličin: html python.
• Vícerozměrné normální rozdělení: html python, resp. Sage, který používá pro 3d obrázky Three.js.
• Monte Carlo integrování: html python.

video

10. přednáška 25.4.2024

Slabý zákon velkých čísel (zlepšení přesnosti opakovaným měřením). Centrální limitní věta -- znění, vysvětlení. Galtonova deska -- ilustrace centrální limitní věty, detailní vysvětlení na wiki stránce.

Statistika -- základní principy. Explorační vs. konfirmační analýza. Přehled obvyklých úloh: bodové a intervalové odhady, testování hypotéz, regrese. Náhodný výběr s opakováním, bez opakování.
Ilustrace zákona velkých čísel a CLV
Totéž v pdf
Totéž jako R-kový notebook, můžete experimentovat sami

o nutnosti náhodného výběru

promítané obrázky
video

11. přednáška 2.5.2024

Bodové ohady: výběrový průměr a výběrový rozptyl. Odhady konzistentní a (asymptoticky) nevychýlené. Vychýlení (bias) a střední kvadratická chyba (MSE). Konstrukce odhadů pomocí metody momentů i maximální věrohodnosti.

video

12. přednáška 9.5.2024

Dokončení k bodovým odhadům: rozdíl mezi populačním a výběrovým průměrem (rozptylem). Důkaz, že výběrový rozptyl je nestranný odhad rozptylu ("má se dělit $n-1$, ne $n$").
Intervalové odhady. -- obecná metoda založená na normálním rozdělení, příklady použití se známým i neznámým rozptylem
video

13. přednáška 16.5.2024

Testování hypotéz. Ilustrační příklady na úvod.
Co znamená hladina významnosti
Obecné schéma: nulová hypotéza, alternativní hypotéza, hladina významnosti, atd. Příklad: testování mince.
Testování střední hodnoty normálního rozdělení (známý vs. neznámý rozptyl, neboli z-test vs. t-test).
Numerická/ordinální/kategorická data. Multinomické rozdělení. Test dobré shody (G-test, $\chi^2$-test) -- předvedení a částečné zdůvodnění.
video
Jupyter notebook s ukázkou testování hypotéz a síly testu: html ipynb.

14. přednáška 23.5.2024

Jednovýběrový vs. dvouvýběrový test vs. párový test.
Lineární regrese (a možné komplikace).
Neparametrické testy -- vlastnosti empirické distribuční funkce (KS test).
Generování náhodných veličin (inverzní transformace, rejection sampling).
Přehled navazujících přednášek:

• Pravděpodobnost a statistika 2 - NMAI073
• Úvod do aproximačních a pravděpodobnostních algoritmů - NDMI084
• Úvod do strojového učení v Pythonu - NPFL129
• Úvod do strojového učení v systému R - NPFL054
• a mnoho magisterských přednášek

video