[Hoppa över navigeringen]

Markovprocesser

Högskolepoäng: 6,0; Betygsskala: TH; Nivå: G2 (Grundnivå, fördjupad)
Undervisningsspråk: Kursen ges på svenska. Kursen är inte lämplig för utbytesstudenter.
Kursansvarig/a: Studierektor Anna Lindgren
E-post: anna@maths.lth.se
Förutsatta förkunskaper: Grundläggande matematisk statistik.
Prestationsbedömning: Skriftlig tentamen samt genomförda laborationer.
Förstagångstentamen i ordinarie tentamensperiod: Ja. Omtentamen i omtentamensperiod: Ja.
Hemsida: http://www.maths.lth.se/matstat/kurser/fms180mas204/
Övrig information: Kursen ges även på naturvetenskaplig fakultet med koden MASC03.

Syfte

Markovkedjor och -processer är en klass av modeller som förutom en rik matematisk struktur också har tillämpningar inom många discipliner som t.ex. telekommunikation och produktion (kö- och lagerteori), tillförlitlighetsanalys, finansmatematik (t.ex. dolda Markovmodeller), reglerteori och bildbehandling (Markovfält).

Syftet med kursen är att studenten skall tillägna sig de grundläggande begreppen och metoderna för Poissonprocesser, diskreta Markovkedjor och -processer, och också lära sig att tillämpa dessa. Inom kursen ges exempel på tillämpningar från olika fält, för att underlätta för studenten att använda kunskaperna inom andra kurser där Markovmodeller förekommer.

Kunskap och förståelse

För godkänd kurs skall studenten:

• kunna förklara Markovbegreppet och intensitetsbegreppet, samt förklara begreppen beständighet, kommunikation, stationär fördelning, och hur de relaterar till varandra
• genomföra beräkningar av stationära fördelningar och absorptionstider för diskreta Markovkedjor och -processer
• förklara Poissonprocessens lämplighet som modell för sällsynta händelser, och genomföra beräkningar av sannolikheter med hjälp av Poissonprocessens egenskaper i en och flera dimensioner.

Färdighet och förmåga

För godkänd kurs skall studenten:

• kunna konstruera en modellgraf för en Markovkedja eller -process som beskriver ett givet system, och använda modellen för att studera systemet
• i samband med problemlösning visa förmåga att integrera kunskaper från de olika delarna av kursen
• läsa och tolka enklare litteratur med inslag av Markovmodeller och tillämpningar av dessa

Värderingsförmåga och förhållningssätt

För godkänd kurs skall studenten:

• identifiera problem som kan lösas med Markovmodeller, och välja lämplig metod
• använda kunskaper om Markovmodeller i andra kurser, samt överföra begrepp, verktyg och kunskaper mellan olika kurser där Markovmodeller används

Innehåll

Markovkedjor: modellgrafer, Markovbegreppet, övergångssannolikheter, beständiga och transienta tillstånd, positivt och nollbeständiga tillstånd, kommunikation, existens och unikhet av stationär fördelning samt beräkning av densamma, absorptionstider.

Poissonprocessen: små talens lag, räkneprocessen, händelseavstånd, icke-homogena processer, uttunning och superposition, processer på generella rum.

Markovprocesser: övergångsintensiteter, tidsdynamik, existens och unikhet av stationär fördelning samt beräkning av densamma, födelsedöds-processer, absorptionstider.

Introduktion till förnyelseteori och regenerativa processer.

Litteratur

Lindgren, G. & Rydén, T.: Markovprocesser. KFS, 2002.

Läroplaner

Program	Specialisering	Ges som	Ingår i ÅK
C:Infocom	ALLM:Allmän inriktning C	Valfri	3
D:Datateknik	ALLM:Allmän inriktning D	Valfri	3
E:Elektroteknik	ALLM:Allmän inriktning E	Valfri	3
E:Elektroteknik	pe :Produktionsekonomi och entreprenörskap	Valfri	3
F:Teknisk fysik	ALLM:Allmän inriktning F	Valfri	3
F:Teknisk fysik	sfm :Stokastisk och finansiell modellering	Valfri	3
I:Industriell ekonomi	ALLM:Allmän inriktning I	Valfri	3
L:Lantmäteri	ALLM:Allmän inriktning L	Valfri	4
L:Lantmäteri	XTG :Teknisk geomatisk inriktning	Valfri	3
M:Maskinteknik	ALLM:Allmän inriktning M	Valfri	3
Pi:Teknisk matematik	ALLM:Allmän inriktning Pi	Valfri	3
Pi:Teknisk matematik	bm :Biologisk och medicinsk modellering	Valfri	3
Pi:Teknisk matematik	fm :Finansiell modellering	Valfri	3
Pi:Teknisk matematik	sbs :Signaler, bilder och system	Valfri	3

Timplaner

	HT 2008 lp 1					HT 2008 lp 2					VT 2009 lp 1					VT 2009 lp 2
	F	O	L	H	S	F	O	L	H	S	F	O	L	H	S	F	O	L	H	S
Alla	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	28	14	6	-	100

Markov Processes

Higher education credits: 6,0; Grading scale: TH; Level: G2
Language of instruction: The course will be given in Swedish. The course is not suitable for exchange students.
Course coordinator/s: Director of studies Anna Lindgren
E-mail: anna@maths.lth.se
Recommended qualifications: A basic course in mathematical statistics.
Assessment: Written exam and compulsory computer exercises.
Home page: http://www.maths.lth.se/matstat/kurser/fms180mas204/
Further information/Transitional rules: The course is also given at the faculty of science with the code MASC03

Aim

Markov chains and processes are a class of models which, apart from a rich mathematical structure, also has applications in many disciplines, such as telecommunications and production (queue and inventory theory), reliability analysis, financial mathematics (e.g., hidden Markov models), automatic control, and image processing (Markov fields).

The aim of this course is to give the student the basic concepts and methods for Poisson processes, discrete Markov chains and processes, and also the ability to apply them. The course presents examples of applications in different fields, in order to facilitate the use of the knowledge in other courses where Markov models appear.

Knowledge and understanding

For a passing grade the student must:

• be able to explain the Markov property and the intensity concept, as well as the concepts of recurrence, communication, stationary distribution, and how they relate to each other,
• perform calculations of stationary distributions and absorption times for discrete Markov chains and processes,
• explain the suitability of the Poisson process as a model for rare events and perform calculations of probabilities using the properties of the Poisson process in one and several dimensions.

Skills and abilities

For a passing grade the student must:

• be able to construct a model graph for a Markov chain or process describing a given system, and use the model for studying the system,
• in connection with problem solving, show ability to integrate knowledge from the different parts of the course,
• read and interpret easier literature with elements of Markov models and their applications.

Judgement and approach

For a passing grade the student must:

• identify problems that can be solved using Markov models, and choose an appropriate method,
• use knowledge of Markov models in other courses, as transfer concepts, tools, and knowledge between different courses where Markov models are used.

Contents

Markov chains: model graphs, Markov property, transition probabilities, persistent and transient states, positive and null persistent states, communication, existence and uniqueness of stationary distribution, and calculation thereof, absorption times.

Poisson process: Law of small numbers, counting processes, event distance, non-homogeneous processes, diluting and super positioning, processes on general spaces.

Markov processes: transition intensities, time dynamic, existence and uniqueness of stationary distribution, and calculation thereof, birth-death processes, absorption times.

Introduction to renewal theory and regenerative processes.

Literature

Lindgren, G. & Rydén, T.: Markovprocesser. KFS, 2002.