Adım Adım Bayesci Çıkarım 2 - Sonsal Dağılımın Hesaplanması

Bir çok modelde birden fazla parametre olacaktır. Dolayısıyla parametreler, 0501 şeklinde bir vektör olacaktır. Bu durumda sonsal dağılım, 0502 çok değişkenli bir olasılık dağılımı olacaktır. Bu durumda, örneğin, 0503 parametresini tahmin etmek istediğimizde

0504

integralini hesaplamalıyız. Çoğu durumda bu integralin analitik olarak bir çözümü bulunamadığından nümerik yöntemlere başvurmalıyız.

Monte Carlo İntegrasyonu

0505

integralini hesaplamak istediğimizi düşünelim. Eğer 0506, polinom fonksiyon ya da trigonometrik fonksiyon gibi kolay bir fonksiyon ise, integralin kapalı form çözümünü bulmak kolaydır. Ancak 0506 daha komplike bir fonksiyon ise integralin kapalı form çözümü olmayabilir. Bu durumda integrali nümerik olarak hesaplayabilmek için çeşitli yöntemler bulunmaktadır. Monte Carlo integrasyonu bunlardan biridir.

İlk olarak

0508

yazalım. Burada 0509 ve 0510‘dır. Burada 0511, 0512 aralığında düzgün dağılan bir olasılık yoğunluk fonksiyonudur. Bundan dolayı 0514 olmak üzere

0513

olur. Eğer 0515 sayılarını üretirsek, Büyük Sayılar Kanunu nedeniyle

0516

olur. Ayrıca 0519 ve 0518 olmak üzere standart hatayı

0517

ile hesaplayabiliriz. Integralin 0520 güven aralığı ise 0521 ile hesaplanabilir.

Böylece en basit Monte Carlo integrasyonunu gördük. Importance sampling, Gibbs sampling, Hamiltonian Monte Carlo (HMC) gibi daha komplike ve modern yöntemler de mevcuttur.

Markov Chain Monte Carlo (MCMC)

MCMC algoritmaları hakkında kısaca bilgi verelim. MCMC algoritmasının temel amacı, durağan dağılımı (stationary distribution) hedef dağılım olan bir Markov zinciri tasarlamaya dayanır.

Bir Markov zinciri, stokastik süreçlerin özel bir tipidir. Bir stokastik süreç, 0523 çoğunlukla zamanı göstermek üzere,

0524

şeklinde tanımlanan, rassal değişkenlerin sıralı bir koleksiyonudur. 0525 değerini, 0526 durumunun 0523 anındaki değeri olarak düşünürsek ve her bir durum için

0527

koşulunu koyarsak, stokastik süreç Markov zinciri olarak adlandırılır. Yani, gelecekteki durum, sadece şu anki durumdan etkilenir, geçmiş durumlardan etkilenmez.

Kaynaklar