Proces Markowa

Z Wikipedii

Brak wersji przejrzanej

Przykład procesu Markowa

Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.

Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.

Łańcuch Markowa jest ciągiem X₁, X₂, X₃, ... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje X_n to stany w czasie n. Jeśli rozkład warunkowy X_n+1 jest funkcją wyłącznie zmiennej X_n:

$P(X_{n+1}\le y|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}\le y|X_n)$

to mówimy, że proces stochastyczny posiada własność Markowa.

Przedstawiona definicja zakłada czas dyskretny. Istnieją procesy Markowa z czasem ciągłym, jednak nie są one przedstawione w tym artykule.

Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane przez Kołmogorowa w 1936. Łańcuchy Markowa mają związek z ruchami Browna oraz hipotezą ergodyczną, dwoma ważnymi w fizyce tematami, ale powstały jako uogólnienie prawa wielkich liczb na zdarzenia zależne.

Spis treści

1 Własności łańcuchów Markowa
- 1.1 Macierz przejścia
- 1.2 Rozkład stacjonarny
2 Zobacz też

[edytuj] Własności łańcuchów Markowa

[edytuj] Macierz przejścia

Jeśli przestrzeń stanów jest zbiorem skończonym, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą przejścia oznaczoną literą P, gdzie elementy (i, j) są równe:

$P_{ij} = P(X_{n+1}=j\mid X_n=i) \,$

czyli element $p 13$ oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego.

Na przestrzeni dyskretnej całkowanie k-tego stopnia macierzy przejścia jest zwykłym sumowaniem i może być obliczane jako k-ta potęga macierzy przejścia. Czyli jeśli P jest macierzą przejścia w jednym kroku, wówczas P^k jest macierzą przejścia w k krokach.

[edytuj] Rozkład stacjonarny

Rozkład prawdopodobieństw na przestrzeni stanów S nazywamy stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek

$P_{j} = \sum_{i \in S} \pi_i p_{ij},$

czyli

$\pi^{T}\mathbf{P} = \pi^{T},$

gdzie $π T$ jest transponowanym wektorem wierszowym $π$ , a

$\sum_i \pi_i = 1 \quad \forall \pi_i \ge 0$ .

Jeśli rozkład początkowy $\mathbf{x_0}$ jest stacjonarny, to każdy kolejny rozkład $\mathbf{x_n}$ również jest stacjonarny.

Może nie istnieć żaden, istnieć jeden lub więcej niż jeden rozkład stacjonarny dla danego procesu.

[edytuj] Zobacz też

Śmiertelna kraksa na DK-1. Są też ranni

Droga krajowa nr 1 w kierunku na Bielsko-Białą została w środę po południu zablokowana. W Kobiórze za Tychami zderzyły się przewożący pasażerów bus, ciężarówka i dwa samochody osobowe. Jedna osoba nie żyje, są ranni.

5 osób rannych w wypadku w Lublinie

Kierowca renault laguny jadąc al. Witosa stracił panowanie nad autem, wpadł w poślizg i uderzył w znak drogowy. Kierowca oraz czworo pasażerów trafiło do szpitala.

Największe i najgłębsze jeziora w Polsce zamarzły

Hańcza, najgłębsze jezioro w Polsce zamarzło miesiąc wcześniej niż zwykle. Wielkie Jeziora Mazurskie tafla lodu pokrywa już od ponad tygodnia.

WOŚP: nie ma problemu z aukcjami w ramach XVII Finału

Aukcje internetowe, prowadzone w ramach XVII Finału WOŚP w serwisie www.aukcje.wosp.org.pl, nie wymagają zgody MSWiA; natomiast aukcje prowadzone w dniu Finału przez sztaby WOŚP muszą zostać inaczej nazwane - nie mogą być licytacją, ponieważ sztab nie jest właścicielem wystawianych przedmiotów - wyjaśnia fundacja WOŚP.

Skąd się biorą Wietnamczycy z polskimi paszportami

Pewien przedsiębiorczy Wietnamczyk za trzy tysiące złotych kupował polskich ojców wietnamskim dzieciom. Dzięki temu dzieci dostawały polskie obywatelstwo i paszporty, a ich matki mogły legalnie przebywać w Polsce. Cztery takie przypadki wykryła śląska Straż Graniczna.

SAAB oskarża MON o ustawienie głośnego przetargu

PRZEGLĄD PRASY. SAAB przegrał przetarg na dostarczenie rakiet dla naszej Marynarki Wojennej. Idzie do sądu, bo twierdzi, że resort obrony faworyzował jego konkurenta. Koncern będzie się domagał wielomilionowego odszkodowania - pisze "Rzeczpospolita".

Medialny Sojusz PO i SLD

PO i SLD chcą jak najszybciej pozbawić ludzi PiS, LPR i Samoobrony władzy w mediach publicznych. Przyśpieszają prace nad nową ustawą medialną

MON chce wysłać nawet 600 żołnierzy więcej do Afganistanu

O prawie połowę zmniejszyć liczbę żołnierzy w Czadzie i Libanie - powiedział „Gazecie” szef MON Bogdan Klich

Szef ochrony prezydenta chce odejść ze służby

Biuro Ochrony Rządu nie może uzyskać z Gruzji informacji w sprawie strzałów oddanych podczas wizyty prezydenta Lecha Kaczyńskiego.

Reforma Ziobry zawrócona

Scentralizowane prokuratorskie wydziały do walki ze zorganizowaną przestępczością wracają do prokuratur apelacyjnych. - Bandyci się cieszą - mówią posłowie PiS. - Wracamy do normalności - zapewnia resort sprawiedliwości

Polecamy także inne, zaprzyjaźnione nam serwisy internetowe, pierwszy z nich prezentuje wysokiej jakości projekty domów , natomiast drugi to opiniotwórczy serwis który recenzuje okna PCV.

Proces Markowa

Z Wikipedii

Spis treści

[edytuj] Własności łańcuchów Markowa

[edytuj] Macierz przejścia

[edytuj] Rozkład stacjonarny

[edytuj] Zobacz też

osobiste

Szukaj

nawigacja

zmiany

dla edytorów

narzędzia

W innych językach