که در آن ، پیشینی برای پارامترهای مدل است، و توزیع پسین مدل به صورت زیر حاصل می­ شود:

(( اینجا فقط تکه ای از متن درج شده است. برای خرید متن کامل فایل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. ))

فرض کنید، ستون­های ماتریس طرح کامل به شرط عناصر غیرصفر ، و ترکیب را نشان دهد که در آن، ستون یک­های مربوط به ثابت است. برای سادگی، فرض می­کنیم که همه متغیرهای کمکی مرکزی شده ­اند بنابراین، و متعامد هستند. هم­چنین در مورد پارامتر فرض می­ شود که ، (برگر و همکاران، ۱۹۹۸).
اغلب، همه مدل­ها احتمال پسین کوچک خواهند داشت، که در این صورت، کمیت­های مفیدتر توزیع پسین کمیت­هایی مانند، احتمالات شمول متغیرهای تکی هستند:
این کمیت­ها مدل احتمال میانه­ای را تعریف می­ کنند که شامل متغیرهای کمکی است که احتمال پسین حداقل دارند. تحت شرایطی این مدل، توان پیشگویی بزرگتری از محتمل­ترین مدل را دارا است (باربرییر ، ۲۰۰۴).

۲-۱-۲ پیشین­ها برای پارامترهای مدل خاص

نوشته­ های زیادی در مقابل مشکلات انتخاب مدل بیزی در حالتی که اطلاعات پیشین ضعیف است، وجود دارد. این مشکلات به دلیل وابستگی درستنمایی­های کناری در (۲-۱)، تحت انتخاب پیشین­ها برای پارامترهای مدل خاص بوجود می­آیند. به­طورکلی، نمی­ توان از پیشین­های ناسره برای این پارامترها استفاده کرد.
در این­جا، به­طورخاص برای محاسبه درستنمایی­های کناری در (۲-۱) از پیشین­های برپایه صفر (زلنر، ۱۹۸۶)، استفاده می­کنیم.

۲-۱-۲-۱ پیشین

پیشین زلنر، روش مستقیمی برای تعیین تعداد توزیع­های پیشین مورد نیاز برای توزیع پسین است.
که در آن پارامتر وزن پیشین است. این پیشین منجر به پسین شرطی زیر می­ شود:
به طور کلی، پیشین زلنر برای آزمون فرض فرمول­بندی می­ شود.

۲-۱-۳ رویکردهای آزمون چندگانه

۲-۱-۳-۱ پیشین­های انتخاب متغیر و بیزی تجربی

روش استاندارد مدرن در مسائل انتخاب متغیر بیزی، بر اساس رفتار متغیر به عنوان دنباله­های برنولی با احتمال موفقیت است، و این بیان می­ کند که احتمال پیشین مدل عبارت است از:
که در آن، تعداد متغیرهای شامل در مدل است.
رویکرد بیزی تجربی برای انتخاب متغیر توسط جورج (۲۰۰۰) تعمیم داده شد، که یک استراتژی متعارف برای رفتار احتمال پیشین در (۲-۳)، در روشی مستقل از داده ­ها، است. روش متعارف­تر برآورد احتمال پیشین از طریق ماکسیمم درستنمایی ،با ماکسیمم کردن درستنمایی کناری خلاصه شده در فضای مدل (اغلب ماکسیمم درستنمایی نوع دوم نامیده می­ شود) است:
از این در رابطه (۲-۳) برای تعریف احتمالات پیشین قبل، استفاده می­ شود، درنتیجه احتمالات پسین مدل نهایی عبارت است از:
برای بدست آوردن می­توان از روش بیزی تجربی مستقیماً از طریق بهینه سازی عددی استفاده کرد.
واضح است که روش بیزی تجربی، چندگانگی را در روشی مستقیم کنترل خواهد کرد: اگر وقتی تنها متغیر درست وجود داشته باشد و افزایش یابد، آن­گاه .

۲-۱-۳-۲ نسخه بیزی تام

پیشین­های انتخاب متغیرها به روش بیزی تام، توسط لی و استیل (۲۰۰۹)، کوای و جورج (۲۰۰۸) و کاروالهو و اسکات (۲۰۰۹) مورد بحث قرار گرفتند. این پیشین­ها فرض می­ کنند که دارای توزیع بتا است، ، و داریم:
که در آن تابع بتا است. به ازای انتخاب پیش­فرض ، پیشین یکنواختی روی بیان می­ کند، پس داریم:
به این عبارت بدست آمده از پیشین یکنواخت روی ، نسخه “بیزی تام” پیشین­های منتخب گویند، می­توان از پیشین­های دیگر نیز استفاده کرد (از جمله آن­هایی که اطلاعات سطح آزمودنی را در نظر می­گیرند). با بهره گرفتن از این احتمالات پیشین در (۲-۲)، احتمالات پسین زیر حاصل می­ شود:
این فضای متناقضی دارد: برخلاف (۲-۴) که تعدیل چندگانگی واضح است، در این­جا از کناری به دور است. پس چطور می ­تواند بوسیله داده ­ها به عنوان محرک اثر تصحیح چندگانگی، تعدیل شود؟
شکل­های ۲-۱ و ۲-۲ در جواب به این اشاره دارند که، تاوان چندگانگی همیشه در احتمالات پیشین معادله (۲-۵) برای شروع بوده، و آن فقط پنهان شده است.
در شکل۲-۱، لگاریتم احتمال پیشین به عنوان تابعی از اندازه مدل برای مقدار خاصی از (در این­جا ۳۰) رسم شده است. این تاوان کناری است که می­بایست برای افزودن یک متغیر اضافی پرداخت شود: در حرکت از مدل صفر به مدلی که یک متغیر دارد، این روش به نفع مدل ساده­تر است. این تاوان یکنواخت نیست: برای مثال، مدل­های اندازه ۹، با آن­هایی که اندازه ۱۰ دارند (علامت B) ، توجه می­ کنند.
شکل۲-۱ احتمال پیشین مدل در مقابل اندازه مدل
شکل۲-۲، نشان می­دهد که وقتی مدل­های بیشتری در نظر گرفته شود، این تاوان­ها سریع­تر می­شوند. اگر ۳۰ متغیر آزمون شوند، افزودن اولین متغیر باعث می­ شود، تاوان نسبت پسین­ها ۱ به ۳۰ باشد (A)، اما اگر ۶۰ متغیر آزمون شود تاوان این نسبت ۶۰ به ۱ می­ شود. به­ طور مشابه، تاوان کناری متغیر دهم برای ۶۰ متغیر تقریباً ۴ به ۱ می­ شود.
شکل۲-۲ تاوان­های چندگانگی وقتی افزایش می­یابد.
جالب توجه است که، پیشین یکنواخت روی ، به هر متغیر، احتمال پیشین کناری را می­دهد، این احتمالات کناری مشابه آن­هایی که به وسیله انتخاب شبه عینی تحریک می­شدند، هستند. چون هنوز احتمال بین مدل­ها، به روش متفاوتی تخصیص می­یابد، رفتارهای مختلفی ظاهر می­ شود.

۲-۱-۴ مقایسه نظری روش بیزی و روش بیزی تجربی

با یک قضیه که نیاز به رعایت جوانب احتیاط در استفاده از روش­های بیزی تجربی در انتخاب متغیر را نشان می­دهد، شروع می­کنیم. قضیه به مسئله انتخاب متغیر برمی­گردد به­ طوری­که احتمال شمول پیشین متغیر، ، با ماکسیمم درستنمایی کناری (یا نوع دوم) در رویکرد بیزی تجربی، برآورد می­ شود.
قضیه۲-۱: در مسئله انتخاب متغیر، اگر (اکیداً) بزرگترین درستنمایی کناری را داشته باشد، آن­گاه، برآورد ماکسیمم درستنمایی نوع دوم ، می­ شود. به­ طور مشابه، اگر (اکیداً) بزرگترین درستنمایی کناری را داشته باشد، آن­گاه، می­ شود.
اثبات: چون روی تا یک جمع می­بندد، درستنمایی کناری در زیر صدق می­ کند:
به علاوه، نامعادله تحت شرایط قضیه اکید است (چون حاشیه­های تخصیص شده اکیداً بزرگتر هستند)، مگر این­که، پیشین، را برای ماکسیمم درستنمایی کناری تخصیص دهد. تنها روشی که را برابر یک می­ کند این است که برای مدل و به ترتیب، ، صفر و یک شود. در این مقادیر ، در نامعادله قبل تساوی تحت شرایط تعیین شده و نتایج زیر برقرار می­ شود.
به عنوان یک نتیجه، روش بیزی تجربی وقتی ، بزرگترین درستنمایی کناری را داشته باشد، احتمال نهایی یک را برای اختصاص می­دهد، و وقتی ، بزرگترین درستنمایی کناری را داشته باشد، احتمال نهایی یک را برای اختصاص می­دهد.
در این­جا، روش بیزی تام و بیزی تجربی طبق یک معیار عینی، مثلاً این­که، چگونگی بهبود روابط درست و سرکوب آن­هایی که نادرست هستند، ارزیابی نمی­شوند. ما روی مقایسه دو رویکرد برای روشی رسمی­تر، توجه می­کنیم. همان­طور که قبلاً گفته شد، هدف اصلی ما فهمیدن این­که چه وقت و چطور، بیزی تجربی مجانباً به تحلیل بیزی تام مربوط می­ شود، است.
برای پیدا کردن تفاوت بین این دو رویکرد، مفید است که مسئله را تا حدودی خلاصه کنیم، فرض کنید داده ­های از چگالی نمونه گیری شده ­اند و هم­چنین، به ازای تعدادی ابرپارامتر نامعلوم دارای چگالی پیشین است. معمولاً، روش بیزی تجربی با برآورد از داده ­ها با بهره گرفتن از یک برآوردگر پایا، ادامه می­یابد. (رویکرد برآورد ماکسیمم درستنمایی نوع دوم را با ماکسیمم کننده درستنمایی کناری ، برآورد می­ کند و این برآورد در زمینه بیزی تجربی سازگار خواهد بود) سپس بحث می­ شود (حداقل به طور مجانبی) که تحلیل بیزی با با تحلیل بیزی برای وقتی که معلوم است، معادل است. (این ادعا وقتی جالب­تر می­ شود که پیشین برای نامعلوم باشد، اگر معلوم باشد آن­گاه، دلایل بسامد­گرای قوی برای استفاده از این پیشین به جای بیزی تجربی وجود دارد).
برای مقابله این با تحلیل بیزی تام، فرض کنید به ازای چگالی پیشین و تابع هدف را داشته باشیم. مثلاً، می ­تواند میانگین پسین به شرط و باشد، یا می ­تواند توزیع شرطی پسین به شرط و باشد. ادعای بیزی تجربی در این مفهوم به صورت زیر خواهد بود:
بنابراین، جواب بیزی تام در سمت چپ را می­توان به خوبی با جواب بیزی تجربی سمت راست، تقریب زد. رابطه (۲-۶) بر پایه این واقعیت که وقتی اندازه نمونه افزایش یابد، به جرم نقطه­ای صحیح همگرا می­ شود، است. بنابراین، وقتی اندازه نمونه بزرگ می­ شود، رابطه (۲-۶) به­ طور مناسب برای توابع هموار ، برقرار خواهد بود.
معمولاً تقریب­های بهتری برای سمت چپ رابطه (۲-۶) وجود دارد، مانند تقریب­های لاپلاس.
رابطه (۲-۶) به ازای ناهموار می ­تواند رد شود. اما چیزی که ممکن است باعث تعجب شود این است که این رد می ­تواند به ازای هر تابع متداولی اتفاق بیافتد. مثلاً به ازای چگالی پسین شرطی­اش. درواقع، با انتخاب ، سمت چپ رابطه (۲-۶) تنها چگالی پسین به شرط است که (با بهره گرفتن از تعریف) می ­تواند به صورت زیر نوشته شود:
از طرف دیگر، به ازای این انتخاب ، رابطه (۲-۶) به صورت زیر می­ شود:
و دو عبارت سمت راست روابط (۲-۷) و (۲-۸) می­توانند خیلی متفاوت باشند (این تفاوت ممکن است مهم نباشد، البته به عنوان مثال اگر روی به عنوان درستنمایی تمرکز شده باشد، پیشینی که به کار می­رود ممکن است مهم نباشد).
به عبارت دیگر، به ازای انتخاب نادرست ، خواهیم داشت:
البته این محاسبات مقدماتی، به سادگی با عملیات جبری بیشتری منجر به رابطه (۲-۷) می­شوند. اما آن­ها این واقعیت را نشان می­ دهند که مدامی­که ، جرم نقطه­ای صحیح را بگیرد، چون هم در صورت و هم در مخرج کسر انتگرال قرار دارد، حذف می­ شود. دقت کنید که جرم نقطه­ای در ، را تقریب می­زند، بنابراین اساساً ربطی به دیدگاه تحلیل بیزی تام ندارد.