تحقیق درباره انتگرال تصادفی

اختصاصی از فی فوو تحقیق درباره انتگرال تصادفی دانلود با لینک مستقیم و پر سرعت .

لینک پرداخت و دانلود *پایین مطلب*

فرمت فایل:Word (قابل ویرایش و آماده پرینت)

تعداد صفحه:67

فهرست مطالب

انتگرال تصادفی: (18)

نمونه هایی از زنجیره های مارکف

زنجیرهای مارکف همگن

) رفتارهای تصادفی یک بصری

انتگرال تصادفی: (18)

فرآیند x(t)، انتگرال پذیر MS است اگر     

               (5-39)

قضیه: فرآیند x(t) انتگرال پذیر MS است اگر  (5-40)

نتیجه:            (5-41)                 

فصل ششم: زنجیرهای مارکف:

فرآیندهای مارکف یک تعمیم ساده برای فرآیندهای مستقل است برای مجاز کردن وابستگی برآمد فاصله به یکی از برآمدهای قبلی که به برآمدهای قبل از آن وابسته نباشد. بنابراین در فرآیند مارکف x(t) گذشته روی آینده بی تاثیر است اگر وضعیت فعلی فرآیند مشخص باشد. یعنی اگر    آنگاه: (6-1)

و اگر  آنگاه:

حالت خاصی از فرآیندهای مارکف، زنجیر مارکف است. هر دو فرآیند و زنجیر مارکف تبه به اینکه فضای حالتشان گفته یا پیوسته است، می توانند گسسته یا پیوسته باشند.

تعریف: زنجیر مارکف با زمان گسسته یک فرآیند تصادفی مارکف است که فضای حالت آن مجموعه ای شمارا یا شما را نامتناهی بوده و در آن  که تعداد Lxn نتیجه آزمایش n ام می نامند.

تئوری زنجیرهای پیوسته(زنجیرهایی با فضای حالت ناشما را یا شما را نامتناهی) بوسیله کلوموگروف آغاز و پل به وسیله دوبلین- دوب- لوی و بسیاری دیگر اولویت یافت.

احتمالات انتقال: (20)

احتمال تغییر وضعیت یک مرحله ای برابر احتمال شرطی است که به صورت زیر تعریف می شود:

(6-3)             

احتمال تغییر وضعیت یک مرحله ای برابر احتمال رفتن از حالت I به حالت j در یک دوره زمانی با آغاز از n بیان می شود.

این نماد تاکید می کند که در حالت کلی، احتمالات انتقال نه فقط توابعی از وضعیت ابتدایی و انتهایی اند، بلکه به زمان انتقال نیز بستگی دارند.

تعریف، وقتی احتمالات انتقال یک مرحله ای از متغیر زمان( یعنی مقدار n) منتقل باشند، آنگاه گوییم فرآیند مارکف دارای احتمالات انتقال مانا می باشد. ماتریس مارکف یا ماتریس احتمال انتقال یک آرایه مربعی نامتناهی به صورت.  می باشد که در آن سطر(i+1) ام توزیع احتمال مقادیر Xn+1 تحت شرط(Xn=i) است.

هر گاه تغییر حالتها متناهی باشد آنگاه P یک ماتریس مربعی متناهی است که مرتبه اش
( تعداد سطرها) مساوی تعداد حالتهاست. واضح است که Pij ما در شرایط زیر صدق
می کنند:

سطر فرآیندی با مشخص بودن تابع احتمال انتقال یک مرحله ای و X0(به عنوان حالت آغازین فرآیند) کاملا معین است زیرا طبق تعریف احتمالات شرطی، داریم:

(6-5)

و اگر فضای حالت متوالی نباشد یا فرآیند فضای حالت را به گونه ای متوالی طی نکند می توان گفت:

    (6-6)

نمونه هایی از زنجیره های مارکف: (20)

1) زنجیرهای مارکف همگن: (18)

تعریف: یک زنجیر مارکف را همگن در زمان نامنداگر(m,n) Pij فقط به تفاضل n-m بستگی داشته باشد. و اگر این احتمالات انتقال به زمان بستگی داشته باشند آنگاه فرآیند را ناهمگن می گوئیم. اگر زنجیر همگن باشد، احتمالات تغییر وضعیت را مانا می نامیم و           (6-7)

که نشان دهنده احتمال شرطی یک زنجیر مارکف همگن است زمانی که زنجیر در n مرحله از حالتi به حالت j می رود.

مدت زمانی که زنجیر مارکف همگن y صدف می کند در رسیدن به یک حالت(زمان رسیدن) باید بی حافظه باشد، زمانی که حالت فعلی برای تعیین آینده کافیست. بنابراین در حالت گسسته اگر زمانهای جاری tn به طور یکنواخت در tn=nt قرار بگیرند، y رابطه زیر را برآورد می سازد که y یک متغیر تصادفی هندسی است.

       (6-8)         

بنابراین مدتی که یک زنجیر مارکف گسسته زمان همگن در هر حالتی می گذارند یک توزیع هندسی است.

زنجیره های مارکف همگن(فضایی) را در دو حالت بررسی کرده و در هر حالت فرض می کنیم:

یک متغیر تصادفی گسسته با مقدار صحیح نامنفی باشد

 همچنین و

مشاهداتی مستقل از  باشند و همچنین فضای فرآیند مجموعه اعداد صحیح نامنفی است.

الف) فرآیند  به ازای  را در نظر می گیریم که با  تعریف شده است. ماتریس آن به شکل زیر می باشد. یکسان بودن سطرها مبین آن است که متغیرهای تصادفی  مستقلند.  

ب) رده مهم دیگر از مجموعهای جزئی متوالی  از  ها ناشی می شود. یعنی:

    (6-9)            

فرآیند  یک زنجیر مارکف بوده و ماتریس احتمال انتقال آن به صورت زیر حساب می شود:

(6-10)

که در این محاسبات از فرض استقلال  استفاده شده است.

در حالت کلی ماتریس به صورت

البته می توان فضای حالت را با مجموعه اعداد و صحیح یکی کرد. زیرا در اینصورت ماتریس احتمال اتصال به شکل متقارن تری در خواهد آمد. در این صورت فضای حالت از مقایر ...و2+و1+و0و1-و2-و... تشکیل می شود و ماتریس احتمال انتقال به صورت زیر خواهد بود:

    (6-11)     

2) رفتارهای تصادفی یک بصری: (18)

رفتار تصادفی یک بعدی یک زنجیر مارکف است که فضای حالتش زیر مجموعه ای متناهی مانند a,a+1,a+2,…,b از اعداد صحیح است که در آن ذره، اگر در وضعیت ناباشد، می تواند با یک انتقال یا در نابماند و یا به یکی از وضعیتهای مجاور 1+ iو1-I منتثل شود. قدم زدن تصادفی یک رفتار تصادفی یک بعدی زیرا یک تجسم فرآیند مسیر شخصی که از خود بیخود شده است که به طور تصادفی یک قدم جلو یا عقب بر می دارد را توصیف می کند. در این فرآیند اگر فضای حالت مجموعه اعداد صحیح نامنفی گرفته شود ماتریس اتصال انتقال به شکل روبرو خواهد بود:

    (6-12)     

یعنی هر گاه Xn=I آنگاه به ازای

(6-13)     

فرآیند قدن زدن تصادفی توصیف کننده حرکت ذرات منتشر شده نیز می باشد، هرگاه ذره ای تحت تصادمها و ضربه های تصادفی قرار گیرد، آنگاه موضوعش به طور تصادفی بالا و پائین می رود. در این حالت می توان همچون حرکت بروانی از رفتار تصادفی متقارن استفاده کرد. منظور از رفتار تصادفی متقارن بر اعداد و صحیح یعنی زنجیری مارکف با فضای حالت تمام اعداد صحیح که ماتریس احتمال انتقال آن دارای عنصر مقابل می باشد:

(6-14)            

معمولا رفت تصادفی متقارن فقط به حالت P=1/2 , r=0 اطلاق می شود.

اگر در ماتریس احتمال انتقال فرآیند قدم زدن تصادفی ، وضعیت صفر مانند یک مانع انعکاسی عمل می کند. یعنی هر وقت ذره به حالت صفر رسید، انتقال بعدی خود به خود به حالت یک باز می گردد. اما اگر ، آنگاه صفر به صورت یک مانع جاذب عمل می نماید و ذره به محض رسیدن به صفر برای همیشه در آنجا می ماند و هر گاه ، آنگاه صفر یک مانع انعکاسی جزئی است.

مدل دیگری از قدم زدن تصادفی، قدم زدن تصادفی دایره ای با فضای حالت  می باشد.

دو مقدار نهایی  به یکدیگر گره زده می شوند تا حلقه ای ساخته شود که در آن  بین  قرار دارد.

قدم زدن تصادفی در این مسیر دایره ای شکل به گونه ای ادامه می یابد که هر حالتی یا به چپ و یا به راست منتقل می شود. این فرآیند را می توان با ماتریس انتقال N*N ای به صورت زیر نمایش داد.

    (6-15)         

کلی تر اینکه اگر همان امکان انتقال بین هر دو حالت  وجود داشته باشد، آنگاه زمانی که k مرحله به سمت راست برویم همانند حرکت در N-K مرحله در سمت چپ است که ماتریس این انتقال به صورت زیر است:

که در آن         

یک مدل مشهور دیگر در فرآیندهای قد زدن تصادفی مدل در نقش است. یعنی یک رفتار تصادفی بر مجموعه ای متناهی از حالتها که در آن حالتهای مرزی انعکاسی هستند.

رفتار تصادفی به وضعیتهای i=-a,-a+1,…,0,1,…,a با

ماتریس احتمال انتقال P محدود شده است که احتمالهای آن به صورت مثابل محاسبه شده است.       (6-17)         

رفتار تصادفی کلاسیک n بعدی به صورت زیر تنظیم می شود: فضای وضعیت مجموعه تمام نقاط شبکه صحیح در (فضای اقلیدسی n بعدی)است. یعنی، هر وضعیت یک n تایی k=(k1,k2,…,kn) از اعداد صحیح است و حالتهای انتقال آن به صورت زیر محاسبه می شوند.

مشابه حالت یک بعدی، رفتار تصادفی متقارن در نمایش صورت گسسته ای از حرکت براوانی nبعدی است.

3) زنجیر مارکف صف بندی گسسته: (18)

برای انجام کاری مشتریهادر صفی به نوبت می ایستند. اگر دست کم یک مشتری در صف باشد، در هر فاصله زمانی یک مشتری راه می افتد. اگر مشتریی در صف نباشد، در این فاصله هیچ کاری صورت نمی گیرد. در فاصله زمانی که کاری صورت می گیرد، ممکن است مشتریهای تازه ای وارد شوند.

فرض کنید تعداد واقعی افرادی که در فاصله زمانی nام وارد می شوند متغیر تصادفی  باشد تابع توزیع آن مستقل از فاصله زمانی بوده و به صورت(6-19) ={k مشتری در یک فاصله زمانی وارد شوند} Pr است. همچنین فرض می کنیم  ها از هم مستقل باشند. وضعیت دستگاه در شروع هر فاصله زمانی مساوی تعداد مشتریانی تعریف می شود که در صف منتظرند. هر گاه وضعیت فعلی ناباشد، آنگاه پس از گذشت یک فاصله زمانی وضعیت به صورت (6-20) خواهد بود.

که در آن len تعداد مشتریان تازه ای است که در فاصله رسیدگی به کار یک مشتری وارد شده اند.

پس می توان برحسب متغیرهای تصادفی فرآیند به طور صوری بیان کرد: (2-16)

که 

ماتریس احتمال انتقال به صورت     خواهد بود.

(6-22)

واضح است که اگر میانگین تعداد مشتریان تازه وارد یعنی  که در یک فاصله زمانی سرویس داده می شوند از یک تجاوز کند، قطعا صف انتظار با گذشت زمان بدون حد و مرز طویلتر خواهد شد. از آن سو هر گاه  آنگاه خواهیم دید که طول صف انتظار به یک وضعیت تعادل مانا نزدیک می شود و اگر ، یک حالت ناپایدار ایجاد می شود.

4) دنباله پیروزیها: (18)

یک زنجیر مارکف بر اعداد صحیح نامنفی با ماتریس احتمال انتقال به شکل (6-23)  را در نظر بگیرید که در آن

 در اینجا وضعیت صفر نقش قابل توجهی دارد به این صورت که می توان از هر وضعیتی به وضعیت صفر رسید حال آنکه فقط از وضعیت نا به وضعیت 1+ تا می رسیم. حالت خاصی از این ماتریس انتقال در پرداختن به دنباله پیروزیها در آزمایشات کلری که هر یک دو وضعیت پیروزی(s) یا شکست(F) را می پذیرد، حاصل می شود. این آزمایشها مستقل هستند پس فرآیند مارکف می باشد.

5) فرآیندهای شاخه ای: (18)

فرض کنید موجود زنده ای در پایان عمرش تعداد و تصادفی  نوزاد با توزیع احتمال (6-24)       تولید کند که در آن . همچنین تمام نوزادان مستقل از هم عمل می کنند و در آخر عمرشان نوزاد می خواهند دانست و بدین ترتیب نسلشان ادامه می یابد. فرآیند X(t) که در آن Xt اندازه جمعیت در نسل tام است یک زنجیر مارکف می باشد.

    (6-25)     

که در آن  ها مشاهدات مستقل یک متغیر تصادفی هستند. در نسل nام، ناموجود مستقلا تعداد  نوزاد تولید می کنند.

6) مدل انبارداری: (18)

کالایی برای برآوردن تقاضای مداوم انبار شده است. فرض می کنیم ذخیره سازی در زمانهای متوالی t1,t2,… صورت گیرد و کل تقاضا برای این کالا روی بازه  متغیر تصادفی  باشد که تابع توزیع آن مستقل از فاصله زمانی است:

(6-27)     

موجودی انبار در آغاز هر فاصله زمانی بازرسی می شود. خط مشی انبارداری با مشخص کردن دو مقدار بحرانی نامنفی S>s,s از قبل مشخص می شود. این خط مشی به این صورت است که اگر موجودی انبار از s بیشتر باشد بلافاصله به آن اضافه می شود تا موجودی به سطح s برسد. اما اگر موجودی از s تجاوز کند چیزی به آن اضافه نمی شود. فرض می کنیم Xn موجودی انبار درست بیش از افزودن کالا در tn باشد. وضعیتهای فرآیند Xn عبارتند از مقادیر ممکن حجم موجود در انبار، s,s-1,…,+1,0,-1,-2… که در آن یک مقدار منفی به عنوان تقاضای بدون عرضه تعبیر می شود. که به محض تهیه کالا تحویل خواهد شد. طبق قوانین انبارداری میزان موجودی در دو فاصله متوالی با رابطه مقابل بهم مربوطند:    (6-28)     

که در آن   کمیت مورد تقاضاست که در فاصله زمانی nام، مبتنی بر قانون احتمال ذکر شده بوجود می آید.

هر گاه ها دو به دو منتقل می باشد، آنگاه موجودیهای x0,x1,x2,… تشکیل یک زنجیر مارکف می دهد.

7) مدل ژنتیک: (18)

مدل ژنتیک ایده آل توسط اس.رایت معرفی شد تا نوسان فراوانی ژن براساس جهش و انتخاب بررسی می شود.

نتیجه a

نتیجه A

 

فرض کنید با جمعیت ثابتی از N2 ژن از نوع a و نوع A سروکار داشته باشیم. تشکیل نسل بعد به وسیله N2 در آزمایش دو جمله ای مستقل به شرح زیر انجام می شود، هر گاه جمعیت والدین مشتمل بر j ژن از نوع a و(n-j2) ژن از نوع A باشد، آنگاه نتیجه هر آزمایش به صورت مقابل است:(6-29)             

یعنی: (6-30)    

البته توجه کنید که  وضعیتهای 0 و N2 کاملا جانیه به این معنی که هر گاه 0 یا N2،xn آنگاه به ازای هم   ، 0 یا n2= Xn+k در یک مدل ژنتیکی دیگر می توان فرض کرد هر ژن از تعدادی اجزاء مثلا N جزء تشکیل شده است. وقتی سلول شامل ژن آماده تقسیم می شود، هر جزء دو برابر شده و هر یک از دو سلول شامل یک ژن با همان تعداد اجزاء مثل قبل می شود. گوئیم فرآیند در وضعیت نا است اگر از ناجزء با قابلیت جهش و(N-i) جزء نرمال تشکیل شده باشد احتمالات انتقال به صورت زیر قابل محاسبه هستند:

           (6-31)        

معادلات چپمن- کلوموگروف: (18)

تعریف: دنباله ای از حالتها که بوسیله آنها فرآیندی می تواند حرکت کند را مسیر فرآیند نامند.

از ویژگی مارکف نتیجه می شود که احتمال یک سیر، دقیقا برابر حاصل ضرب احتمالهای تغییر وضعیت یک مرحله ای است یعنی:

    (6-32)     

در بعضی موارد حالت آغازین زنجیر ثابت نبوده و یک متغیر تصادفی است. در این صورت تابع جرم احتمال X0(حالت آغازین) در محاسبه احتمالهای مسیرهای مختلف ظاهر می شود.

تابع احتمال در هر زنجیر مارکف Xt بوسیله معادلات چپمن- کلوموگروف پشتیبانی می شوند.

می توان با استفاده از رابطه(6-6) به یک رابطه کلی در همه زنجیرها رسید.

به ازای هر n>r>m داریم: (6-33)

ماتریس احتمال انتقال را با تبدیل رابطه P(m,n):P(m,r)P(r,n) وقتی که m<r<n و r=m+1,m+2,… به صورت(6-35)

 P(m,n)=P(m,m+1)*P(m+1,m+2)*…*P(n-1,n) در نظر می گیریم.

بنابراین برای بدست آوردن P(m,n) به ازای هر n³m، کافیست ماتریس احتمال انتقال مرحله ای اول را بدانیم.

P(0,1) , P(1,2) , P(2,3) ,…, P(n,n+1),…

به ازای یک زنجیر مارکف همگن همه احتمالهای انتقال به صورت(6-36)

 P(m,n)=Pn-m در می آید.

احتمالات انتقال n مرحله ای: (20)

تعریف: احتمال تغییر وضعیت K مرحله ای، به صورت زیر تعریف می شود:

       (6-37)     

این احتمال تغییر وضعیت برابر احتمال بودن در حالت jام، k دوره زمانی پس از بودن در حالت iام است. به دلیل اینکه فرآیندهای همگن سروکار داریم، احتمال تغییر وضعیت k مرحله ای به زمان n بستگی ندارد.

برای بدست آوردن عبارتی کلی برای احتمالهای تغییر وضعیت چند مرحله ای فهرستی از مسیرهای ممکنی که فرآیند در رفتن از i به j در چند مرحله می تواند دنبال کند را تصور کنید پس احتمالهای همه این مسیرها را محاسبه و با هم جمع می بندیم. پس داریم:

    (6-38)        

بویژه فرمول بازگشتی مرتبه اول مقابل را نتیجه می گیریم:

    (6-39)     

در نهایت، توزیع احتمال شرطی در t=nt با فرمول زیر بدست می آید:

(6-40)     

و به طور کلی داریم: (6-41)  که

و برای یک زنجیر همگن داریم: (6-42)   P(n)=P(0)Pn

قضیه: احتمالهای تغییر وضعیت n مرحله ای فرض بر این است که حالت آغازین معلوم است. وقتی حالت آغازین متغیری تصادفی باشد، از محاسبات ماتریسی نیز می توان برای یافتن احتمالها استفاده کرد.

هر ماتریس احتمال انتقال N*N دارای N مقدار ویژه می باشد. فرض می کنیم این مقادیر ویژه ساده مجزا و مخالف صفر هستند.( اگر چه که صفر هم می تواند مقدار ویژه باشد). فرض کنی() ,N … ,2 ,1=I تا نشان دهنده N زوج(بردار ویژه، مقدار ویژه) برای P است. بنابراین (6-43)

که در آن  ماتریسی مربعی و

به طوریکه uiها، I=1,…,N بردارهای ستونی مستقل خطی u,N*1 یک ماتریس تا تکین N*N است.

از فرمول(6-43) داریم: (6-44)    یا  که 

که K=1,2,…,N,Uk، نشان دهنده k امین بردار سطری است. بنابراین

(6-45)     

از( 6-44) داریم: (6-46)       یا  

با جمع بستن فرمولهای قبل به ازای هر مقدار ویژه  ، بردارهای       دو مجموعه از N معادله خطی به صورت مقابل بدست می آید:

       (6-49)                    (6-48)

برای بدست آوردن مقدار ویژه به ازای k=1,2,…,N معادله(6-50)               حل می کنیم.

به ازای هر  ، بردارهای ترکیبی را می توان از فرمولهای فوق بدست آورد.

از(6-45) می توان نوشت:

    (6-51)     

در نهایت با داشتن             داریم: (6-52)    

اگر یکی از مقادیر ویژه P صفر باشد( با تکرار) با قرار دادن ، نمایشفوق به ازای هم n³1 معتبر خواهد بود.

و برای n=0 مقدار ویژه صفر در ثابت اضافه  قرار می گیرد. بنابراین   مجموع N-1 مجله در(6-52) برای n³1 است اگر P مقدار ویژه صفر را داراست.

تکرار مقادیر ویژه: (18)

فرمول(6-52) با فرض اینکه همه مقادیر ویژه P مجزا گرفته شد. اگر چه بعضی از مقادیر ویژه P می توانند تکرار شوند حتی با تکرارهای پیش از یکبار فرض کنید مقدار ویژه Ai با تعداد تکرار i=1,2,…,k,ri³1 رخ می دهد بنابراین  یعنی مجموع تعداد تکرارهای مقادیر ویژه برابر بعد ماتریس P می باشد. در این حالت P دارای نمایش قانونی ژوردان  است که (6-54)

     و    

                        ماتریس مربعی

(6-46) از(6-44) نتیجه می شود به طوریکه:

 و 

    (6-56)                        (6-55)

بنابراین در تعمیم حالت ریشه های تکراری فرمولهای فوق را داریم که تونلهای نشان دهنده تعمیم مقادیر ویژه P در(6-44) هستند. زنجیر مارکف ارگودیک: (20)

اگر چه نشان دهنده احتمالهای شرطی است ولی می توانیم با مشروط کردن روی حالت اولیه، احتمالهای غیرشرطی را نیز بدست آوریم:

(6-57)    

در زنجیرهای طویل مارکف، مقدار  وقتی  به مقدار (برداری سطری که در ایه های آن برای تمام حالتهای ممکن از احتمالهای به شکل Pr{Xn=s} تشکیل شده است)، که فقط به j بستگی دارد، همگرا می شود. یعنی برای مقادیر بزرگ n احتمال اینکه بعد از n تغییر وضعیت در حالت j  باشیم بدون وابستگی به حالت اولیه، تقریبا برابر با  است.

برای اینکه یک زنجیر مارکف دارای چنین خاصیتی باشد کافیست که برای n>0 و هم i,j=0,1,…,m داشته باشیم  زنجیرهای مارکفی که در خاصیت چپمن- کلوموگروف داریم،               (6-58)     

پس وقتی که  یعنی در زنجیرهای مارکف ارگودیک داریم:

بعلاوه چون (6-59)  است پس برای  داریم (6-60)   و در حقیقت می توان نشان داد که کمیت  همچنین به طور حدی برابر است با نسبت مدت زمانی که زنجیر مارکف در حالت j(j=0,1,…,m) قرار دارد.

برای مشاهده این واقعیت فرض کنید Pj نشان دهنده نسبت حدی مدت زمانی باشد که زنجیر در حالت j قرار دارد. از آنجایی که نسبت مدت زمانی که زنجیر در حالت k است برابر با Pk می باشد و همچنین وقتی که زنجیر در حالت K باشد با احتمال Pkj به حالت j می رود، بنابراین نسبت زمانی که زنجیر مارکف وارد حالت j می شود برابر با Pkj Pk است.

با جمع بستن روی همه مقادیر x می توان نشان داد که نسبت زمانی که زنجیر مارکف وارد حالت j می شود(Pi) از رابطه (6-61) بدست می آید.

رده بندی حالتهای یک زنجیر مارکف: (20)

گوئیم وضعیت j در دسترس وضعیت I است اگر به ازای عددی صحیح مانند یعنی وضعیت j در دسترس وضعیت i است اگر بتوان با احتمال مثبتی در تعدادی متناهی انتقال از وضعیت i  شروع و به وضعیت j رسید.

تعریف: هر وضعیت i و j را که در دسترس یکدیگرند مرتبط می نامیم و می نوشتیم،

هر گاه دو وضعیت j,i  مرتبط نباشد آنگاه به ازای هر

تمام وضعیتهایی که با هم مرتبط هستند در یک رده هم ارزی قرار می گیرند. ممکن است از رده ای شروع کنیم و با احتمال مثبت وارد رده ای دیگر شویم. اما واضح است که
نمی توان به رده اولیه بازگشت، والا دو رده با هم یک رده را تشکیل می دهند.

تعریف: گوئیم زنجیر مارکف تحویلناپذیر است اگر رابطه هم ارزی فقط یک رده هم ارزی داشته باشد. به عبارت دیگر فرایندی تحویلناپذیر است که تمام وضعیتهایش با هم مرتبط باشند.

برای مثال در قدم زدن تصادفی و همچنین قدم زدن تصادفی دایره ای هر حالتی در دسترس حالتهای دیگر است.

تعریف: اگر c یک مجموعه از حالتها باشد به طوریکه از حالتهای خارج c نتوان به حالتهای c رسید آنگاه c را یک مجموعه بسته نامند. بنابراین اگر c یک مجموعه بسته باشد و اگر آنگاه –Pij=0 در این حالت  چون همیشه یکی از حالتها صفر است، این مجموعه همواره برابر صفر می باشد و در حالت کلی ، بنابراین هیچ حالتی خارج c نمی تواند به حالتی در c برسد در هر تعداد انتقالها. مجموعه بسته c می تواند تک عضوی یا چند عضوی باشد.

اگر i یک حالت جاذب باشد آنگاه . اگر سیستم وارد حالت جاذب شود، نمی تواند از آن خارج شود. در یک زنجیر مارکف و ماتریس احتمال متناظرش که تحویلناپذیر هستند هیچ مجموعه بسته ای به غیر از مجموعه تمام حالتها وجود ندارد.

در یک زنجیر با فضای حالتهای(1,2,3,…,n,…) فرض کنید زیر مجموعه حالتهای(1,2,…,r) را از مجموعه بسته c در نظر بگیرید. بنابراین ماتریس سمت چپ بالایی در P در خود یک ماتریس تصادفی است و ما می توانیم P را به صورت مقابل نمایش دهیم: (6-62)      

که W,u ماتریس های مربعی و Pij=0 هر گاه  متعلق به متمم c باشد. پس
    (6-63)            

که  اگر  اما . از این گذشته  می تواند نشان دهنده این باشد که اگر j,i هر دو عضو c باشند احتمالهای انتقال  با جمع بستن روی فقط مجموعه بدست
می آید. برای  همه این مطالب صحیح است البته در صورتی که j,i هر دو عضو متمم مجموعه c بوده و جمع نیز متمم c بسته شود.

به عنوان مثال ماتریس 7*7 روبرو را بررسی می کنیم به طوریکه همه aij>0 نشان دهنده احتمالهای ثبت هستند.   

چون 24a و 23a تنها عوامل غیرصفر سطرهای دوم و سوم هستند. 24a=33a=1 و حالت 3 جاذب است.

از حالت 2 می توان به حالت 4 و از حالت 4 به 2 یا به خودش رسید بنابراین{4و2} یک مجموعه بسته است.

به طور مشابه از 1 به 5 و 7 و از 5 به 7و1 و همچنین از 7 به 1 و 5 و 7 می توان رسید، در نتیجه{7و5و1} مجموعه بسته است از حالت 6 می توان به هر 7 حالت رسید.

تناوب زنجیر مارکف:‌ (20)

تعریف: دوره تناوب وضعیت i، که به صورت نوشته می شود، عبارت است از بزرگترین مقسوم علیه مشترک(ب.م.م) تمام اعداد صحیح n³1 که به ازای آنها

اگر به ازای هر  تعریف می کنیم d(i)=0 در یک زنجیر مارکف n حالتی با ماتریس احتمال انتقال روبرو هر وضعیت دارای دوره تناوب n است.

قضیه: هر گاه آنگاه d(i)=d(j) (6-64)  

یک حکم نشان می دهد که دوره تناوب در هر رده وضعیتهای مرتبط ثابت است.

به عبارتی دیگر حالت j را متناوب با دوره تناوب T گوئیم هر گاه بازگشت به این حالت فقط در لحظات T، T2، T3،… امکان پذیر باشد. یعنی به ازای هر            حالتمان نامتناوب است اگر T>1 وجود نداشته باشد.

برای مثال در مدل قدم زدن تصادفی نامقید و مدل قدم زدن تصادفی دایره ای همه حالتها دارای دوره تناوب 2 هستند.

قضیه: هر گاه حالت iدارای دوره تناوب d(i) باشد، آنگاه عددی صحیح مانند N وابسته به i هست به طوری که به ازای هر عدد صحیح n³N داریم،   (6-65)

این قضیه حکم می کند که بازگشت به وضعیت i می تواند در تمام مضارب به قدر کافی بزرگ دوره تناوب d(i) رخ دهد.

قضیه: هر گا