En probabilité un processus stochastique vérifie la propriété markovienne si et seulement si la distribution conditionnelle de probabilité des états futurs, étant donné l’instant présent, ne dépend que de ce même état présent et pas des états passés. Un processus qui possède cette propriété est appelé processus de Markov.

Mathématiquement, si X(t), t > 0, est un processus stochastique, la propriété de Markov est définie ainsi :

Généralement, on utilise une hypothèse d’homogénéïté dans le temps, c’est-à-dire

Dans certains cas, un processus à première vue non-markovien peut tout de même avoir des représentations markoviennes en modifiant le concept d’état actuel et futur. Soit X un intervalle de temps et un processus Y, tel que chaque état de Y représente un intervalle de temps de X :

Si Y est markovien, alors c’est une représentation markovienne de X et X est alors appelé processus de Markov du second ordre. Les processus d’ordre supérieurs sont définis de la même manière.