Faglig innhold

Emnet dekker sentrale prinsipper og metoder innen robotsyn og visuell persepsjon.

Visuell persepsjon og bildebehandling: Grunnleggende elementer innen visuell persepsjon, bildesampling og kvantisering. Matematiske verktøy for bildebehandling og analyse, inkludert array- og matriseoperasjoner, lineære og ikke-lineære operasjoner, aritmetiske og geometriske operasjoner, morfologi, spatiale og temporale operasjoner, frekvensanalyse, lineær algebra, sannsynlighetsmetoder, bildetransformasjoner og geometriske operasjoner.

Billedannelse og kamerageometri: Kameramodeller, kalibrering, enkel- og flerbildegeometri, epipolargeometri, feature-ekstraksjon og bundle adjustment.

Posisjon og orientering: Feature-basert justering, poseestimering, tidsvarierende pose og trajektorier, structure from motion, tett og glissen bevegelsesestimering, samt visuell odometri (semi-direkte VO og direkte glissent odometri).

Lokalisering og kartlegging: Initialisering, tracking, kartlegging og geometriske SLAM-formuleringer (indirekte vs. direkte feilkostnad, parameterisering av geometri, glissent vs. tett modell og ulike optimaliseringsmetoder). Relokalisering og kartoptimalisering. Eksempler på algoritmer inkluderer MonoSLAM, PTAM, ORB-SLAM, DTAM og LSD-SLAM. Sensorfusjon med IMU, mono- og stereokamera, RGB-D-sensorer, samt analyser og parameterstudier.

Gjenkjenning og tolkning: Objektgjenkjenning, instansgjenkjenning, kategoriklassifisering, kontekstforståelse og sceneanalyse.

Særskilt om kunstig intelligens (KI): KI inngår som en integrert del av kurset gjennom bruk av læringsbaserte metoder innen objektgjenkjenning, klassifisering og sceneanalyse. Studentene vil arbeide med moderne KI-verktøy, inkludert dype nevrale nettverk brukt i visuell persepsjon og robotikk, og diskutere hvordan KI-baserte metoder kan kombineres med geometriske og fotogrammetriske teknikker i VO og SLAM. Det legges vekt på kritisk forståelse av når KI-metoder er hensiktsmessige, hvilke begrensninger de har, og hvordan de påvirker robusthet og forklarbarhet i robotsynsystemer.

Læringsutbytte

Kunnskap: Kunnskap om sentrale anvendelser innen robotsyn. Kunnskap om grunnleggende (fysiske) konsepter knyttet til visuell persepsjon. Kunnskap om bilde­dannelse, bilderepresentasjon og kameramodeller. Kunnskap om bildesampling, kvantisering og bildebehandling. Kunnskap om structure from motion, sporing og bevegelsesestimering, samt visuell odometri (VO) og strategier for simultan lokalisering og kartlegging (SLAM), inkludert populære metoder. Grunnleggende kunnskap om feature-ekstraksjon, objektgjenkjenning, kontekstforståelse/semantikk og scene­forståelse. Innsikt i KI-baserte metoder for bildeanalyse, objektdeteksjon og scene­forståelse, samt hvordan slike teknikker kombineres med klassiske geometriske metoder i robotsyn.

Ferdigheter: Kunne velge bildesystemer med hensyn til spesifikke anvendelser. Kalibrere bildesystemet. Tilpasse ulike bildesystemoppsett etter miljømessige forhold. Implementere og anvende teknikker for posering, sporing og bevegelsesestimering. Implementere, justere og evaluere SLAM-algoritmer. Implementere metoder for objektgjenkjenning og klassifisering. Ved semesterets slutt skal en vellykket student beherske behandling og analyse av digitale bilder og kunne designe enkle robotsyn- og maskinsynssystemer. Kunne anvende og evaluere KI-baserte algoritmer innen deteksjon, klassifisering og tracking, og vurdere styrker og svakheter i forhold til tradisjonelle metoder. Kunne bruke KI-verktøy på en faglig forsvarlig, kritisk og etterprøvbar måte.

Generell kompetanse: Kunne anvende grunnleggende prinsipper for bildedannelse. Ha bevissthet om rollen visuell sensing spiller i robotiske anvendelser. Kunne analysere styrker og svakheter ved ulike robotsyn-baserte tilnærminger. Utvikle bevissthet om etiske utfordringer, datasensitivitet og akademisk redelighet ved bruk av KI-verktøy.

Læringsformer og aktiviteter

Kurset gis som en kombinasjon av forelesninger og øvingsoppgaver. 75 % av oppgavene må være godkjent for å kunne gå opp til avsluttende eksamen.

KI-verktøy kan inngå i øvingsoppgaver og prosjekter, men bruken skal være tydelig dokumentert og begrunnet. Oppgavene legges opp slik at studentene må reflektere over egne valg av metoder, inkludert når og hvordan KI-metoder er hensiktsmessige, og hvilke begrensninger de har.

Obligatoriske aktiviteter

• Øvingsoppgaver

Anbefalte forkunnskaper

TTK4105 Control Systems, TTK4115 - Linear Systems Theory, TTT4275 - Estimering, deteksjon og klassifisering, TDT4195 - Grunnleggende visuell databehandling, eller en tilsvarende bakgrunn.

Forkunnskapskrav

Minst ett av følgende emner er (eller tilsvarende fra andre universiteter):

TTT4275 Estimering, deteksjon og klassifisering,

TMA4268 Statistisk læring,

TMA4267 Lineære statistiske modeller, eller

TMA4245/TMA4240 - Statistikk.

Kursmateriell

Information on this is given at the start of the semester.