Faglig innhold

DT8122 er en sommerskole, og kan for øyeblikket kun tas av deltakere av Probabilistic AI School summer school (ProbAI).

Kurset blir organisert som en rekke forelesninger med av praktiske oppgaver. Det vil også være seminarer som dekker forskningsområder og anvendelser relatert til hovedtemaene. Vi vil (foreløpig) dekke følgende emner:

• Probabilistiske modeller, variasjonell inferens og probabilistisk programmering
• Introduksjon til probabilistisk modellering
• Bayesiansk modellering: prior, likelihood og posterior
• Begreper innen Bayesianske nettverk og latente variable-modeller
• Posterior inferens og parameterlæring
• Modelleringsteknikker
• Variational inference
  • Mean-field, CAVI og konjugerte modeller
  • Stokastisk Variational inference og optimering
  • Black-box Variational inference
  • AutoDiff Variational inference
• Probabilistisk programmering
• Dype generative modeller
• Kombinasjon av klassiske nevrale nettverk og probabilistiske modeller.
• Applikasjoner av Probabilistisk AI teknikker i data analyse

Læringsutbytte

Hovedpoenget med kurset er å lære prinsippene for probabilistiske modeller og dype generative modeller innen maskinlæring og kunstig intelligens, samt å tilegne seg ferdigheter i bruken av eksisterende verktøy som implementerer disse prinsippene (probabilistic programming languages).

Kunnskaper: Studenten vil lære teorien for probabilistic modelling, variational inference, probabilistic programming og deep generative models.

Ferdigheter: Modelldesign, inference og programmering med probabilistiske modeller og dype generative modeller for et sett problemer.

Generell kompetanse: Å kunne tenke på problemer innen maskinlæring og kunstig intelligens ut fra prinsippene for probabilistisk modellering.

Læringsformer og aktiviteter

All undervisning gis på den årlige Probabilistic AI Summer School (https://probabilistic.ai). Den eneste måten å ta kurset på er å være del av sommerskolen det samme året som du ønsker å ta kurset.

Anbefalte forkunnskaper

Vi forventer at studenter har gode kunnskaper innen linear algebra, sannsynlighetsteori (tilfeldige variable, forventning, fordeling), statistikk (grunnleggende forståelse av probabilistisk inference, maximum likelihood, og lignende), og en generell ide om nevrale nett (definisjon, backpropagation). Kapittel 1 og 2 i Christopher Bishops bok "Pattern Recognition and Machine Learning" ville grovt sett dekke nødvendige grunnlag.

Kursmateriell

Pensum blir oppgitt ved sommerskolen og varierer fra år til år. Man kan forvente et nivå tilsvarende dette:

Bøker:

• Christopher M. Bishop. Pattern Recognition and Machine Learning. Chapter 10 (63 pages).
• Kevin P. Murphy. Machine Learning: a Probabilistic Perspective. Chapter 9, 10 and 21 (92 pages)
• Goodfellow et al.: Deep Learning — PART III Deep Learning Research (Ch. 13-20) (235 pages)

Artikler:

• Ranganath, R., Gerrish, S., & Blei, D. . Black box variational inference. In Artificial intelligence and statistics. 2014.
• Kingma, D., & Welling, M. Auto-encoding variational Bayes. In International conference on learning representations. 2014.
• Cheng Zhang et al. Advances in Variational Inference. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2019.
• Ruslan Salakhutdinov. Learning Deep Generative Models. Annual Review of Statistics and Its Application, 2015.
• I. Goodfellow at al. Generative adversarial nets. Advances in neural information processing systems. 2014.
• Bingham et al. Pyro: Deep Universal Probabilistic Programming. Journal of Machine Learning Research. 2018

Andre ressurser:

• Examples of probabilistic modelling with Pyro: https://pyro.ai/examples/
• Tutorials, getting-started and examples for deep learning with PyTorch: https://pytorch.org/tutorials/