10 August 2019

Slides at: https://rebrand.ly/Nagoya2019-Part2-JP
GitHub: https://github.com/jorgetendeiro/Nagoya-Workshop-10-Aug-2019

Today

Suggested reading material
参考文献

ベイズ統計入門

Papers:

  • Etz & Vandekerckhove (2018): The “Harry Potter” paper.
    例えが含まれていてとても 読みやすいイントロダクション.
  • Etz et al. (2018): “How to become a Bayesian in eight easy steps: An annotated reading list”.
    Alexander Etz氏はとても読みやすい論文が多いです. 時間はかなり要しますが、この論文を強くお勧めします.
  • Kruschke (2013): ベイズ統計の軸となるコンセプトへのわかりやすい導入に加えて、“検定”vs“推定”についての議論が展開されています.この点におけるKruschke氏の意見を個人的に支持しています.

Books:

  • Kruschke (2015): The “puppies” book.
    初心者でもわかりやすい本で多くの例と分析コードが載せられています. ベイズ統計初心者には最適の本です.
  • McElreath (2016): 私が読んだ限りでは、この本は素晴らしいです.
  • Lambert (2018): まだ半分程しか読めていませんが、ベイズ統計を教えるには最適な本だと思います.
  • Gelman (2014): 上級者向きの本(おそらく初心者向きではないと思います). 名作である事は確かです.

JASPについて学ぶ

Website
https://jasp-stats.org/how-to-use-jasp/.
このサイトには以下の内容が含まれている:


Video tutorials
Etz氏らは新しいビデオを随時追加している.
https://alexanderetz.com/jasp-tutorials/.


Papers

  • Marsman & Wagenmakers (2017, in European Journal of Developmental Psychology).
  • Wagenmakers et al. (2018, in a special issue in Psychonomic Bulletin & Review).

Frequentist versus Bayes
頻度論VSベイズ

Frequentist paradigm(頻度論パラダイム)

確率の概念:

  • procedure(手順)をlong-run (無限回) 繰り返すことを想定した頻度.

The probability of a fair coin landing up heads is 50%.

  • 無限回を想定した連続の中では、一つの事象については何も結論づけることができない.

What is the probability that the next coin toss lands heads?

  • \(p\)-値 信頼区間について思い出して下さい: これらは両方とも、無限回を想定した頻度に基づいている.
    結論:1つの\(p\)-値または信頼区間から果たして何を結論づけられるのでしょうか?…

Bayesian paradigm(ベイジアンパラダイム)

確率の概念:

  • 信念の度合い.
  • 実相(true state of affairs)についての不確定性を表すもの.
  • 主観的: 各自、それぞれの信念をもっている.
  • 各自の信念を確率の法則にしたがってアップデートするためにデータが使われる.
  • 一回の事象または反復される事象の両方ともに適用される.


でも、どうやって我々の信念をデータをもとにアップデートすれば良いのでしょう?

Bayes’ rule
ベイズの規則

Bayes’ rule (ベイズの規則)

\(\mathcal{A}\)を「私たちが研究したい何か」としましょう.
例えば:

  • パラメーター(母集団の平均値\(\mu\)等).
  • 仮説(\(\mu > 100\)等).

Bayes’ rule(ベイズの規則):

\(p(\mathcal{A}|\text{data}) = \frac{p(\mathcal{A})p(\text{data}|\mathcal{A})}{p(\text{data})}\)

  • \(p(\mathcal{A})\): Prior probability(事前確率).
  • \(p(\text{data}|\mathcal{A})\): Data likelihood (データ尤度).
  • \(p(\text{data})\): Marginal likelihood (周辺尤度 ).
  • \(p(\mathcal{A}|\text{data})\): Posterior probability(事後確率).

Bayes’ rule and frequentism
(ベイズの規則と頻度論)

重要:

  • ベイズの規則は数学的に証明されたものであり、当然、確率の原理に従っている.
  • 頻度論はこの公式については異議を唱えていない!

ベイズの規則とモデル比較

例えば、私たちが 2つの競合する仮説(\(\mathcal{H}_0\) と \(\mathcal{H}_1\))を持っているとします.

ここでベイズの規則を両方の仮説(\(\mathcal{H}_0\) と \(\mathcal{H}_1\))に適用することができる:

\(p(\mathcal{H}_0|\text{data}) = \frac{p(\mathcal{H}_0)p(\text{data}|\mathcal{H}_0)}{p(\text{data})} \quad,\quad p(\mathcal{H}_1|\text{data}) = \frac{p(\mathcal{H}_1)p(\text{data}|\mathcal{H}_1)}{p(\text{data})}\).

次に両方の方程式を割る:

\(\underset{\text{Posterior odds}}{\underbrace{\frac{p(\mathcal{H}_0|\text{data})}{p(\mathcal{H}_1|\text{data})}}} = \underset{\text{Prior odds}}{\underbrace{\frac{p(\mathcal{H}_0)}{p(\mathcal{H}_1)}}} \times \underset{BF_{01}}{\underbrace{\frac{p(\text{data}|\mathcal{H}_0)}{p(\text{data}|\mathcal{H}_1)}}}\)

この\(BF_{01}\)が ベイズ因子(Bayes factor)と呼ばれるものである.

ベイズ因子はデータによって得られる両仮説の相対的な証拠の指標である.
E.g., 例えば\(BF_{01} = 5\)であれば:

  • \(\mathcal{H}_0\)よりも\(\mathcal{H}_1\)の下でデータが得られた可能性が5倍高い.
  • データを基に、我々は\(\mathcal{H}_0\)を\(\mathcal{H}_1\)の5倍支持する.

Bayes factor(ベイズ因子)

ベイズ因子に関しては多くの事を言う事ができます.

ベイズ因子の熱烈なフォロワーがいます(e.g., Kass & Raftery, 1995; Dienes, 2014; Morey, Romeijn, & Rouder, 2016; E.-J. Wagenmakers et al., 2018).

しかし、私を含め、批判的な意見もあります(Tendeiro & Kiers, 2019).

JASP

注意書き

JASPはベイズ因子を重視している.

個人的に私はパラメーター推定を行う方がより明瞭で包括的な枠組みだと思うので、ベイズ因子を好ましいと思いません.

  • 私が何故そう思うのかについてはこちらの事前登録された論文をご覧下さい: Kiers & Tendeiro (2019).

問題例

さぁ、JASPを始めてみましょう!

手始めに、この第一実験を例として使いましょう Bem (2011):

Precognitive detection of erotic stimuli(性的刺激の予知的検出).

  • \(n = 100\) (男性50名, 女性50名), 各自36試行.
  • 各試行:
    • 2つのカーテンが隣同士にパソコンのスクリーンに提示される.
    • 1つのカーテンは写真を隠し、もう一方は黒い壁を隠す.
    • 性的な写真と性的でない写真をランダムに混ぜる.

主な研究仮定:

Subjects are able to “feel” where the erotic pictures are more often than chance (!!!).

Bem教授による結果の一部 (2011)

Across all 100 sessions, participants correctly identified the future position of the erotic pictures significantly more frequently than the 50% hit rate expected by chance: 53.1%, \(t(99) = 2.51\), \(p = .01\), \(d = 0.25\). In contrast, their hit rate on the nonerotic pictures did not differ significantly from chance: 49.8%, \(t(99) = -0.15\), \(p = .56\).

The difference between erotic and nonerotic trials was itself significant, \(t_\text{diff}(99) = 1.85\), \(p = .031\), \(d = 0.19\).

(…) the correlation between stimulus seeking and psi performance was .18 (\(p = .035\)).

Descriptive classification of Bayes factors

\(BF_{10}\) Qualitative descriptive
1 No evidence
1 — 3 Anecdotal evidence for \(\mathcal{H}_1\)
3 — 10 Moderate evidence for \(\mathcal{H}_1\)
10 — 30 Strong evidence for \(\mathcal{H}_1\)
30 — 100 Very strong evidence for \(\mathcal{H}_1\)
> 100 Extreme evidence for \(\mathcal{H}_1\)

Source: Lee & Wagenmakers (2013)


Note: Do not take these qualitative labels strictly. Use them as loose reference bounds.

Summary of today’s workshop
今日のワークショップのまとめ

主な考え: 再現の危機

何年もかけて、心理学研究における問題が多く見つかった:

  • 結果が再現されない.
  • バイアスt.
  • QRPs.
  • 信頼区間(CIs)と\(p\)-値の定義は充分に理解されておらず、間違って使用されていることが多い.


心理学の分野は現在、革命の真っ只中である. いくつかの解決法が示された:

  • 研究の事前登録Preregistration.
  • 登録済報告書.
  • データと実験用具を公開する.
  • 不確定性に向き合う. 二者択一の考えをやめる.
  • より良い統計分析手法を使う. 特に: 仮説検定をやめる.


研究活動はこれらの変化を 急速にに取り入れている!

主な考え: ベイズ統計

ベイズ統計は現実的な代替手法として勢いを増している.

  • 証拠の数量化と蓄積.
  • 信念を論理的にアップデートする.
  • 古典的統計法における長きにわたって存在する誤った考えをやめる.


特にJASPはベイズ統計を簡単にできるソフトウエアの一つである.


JASPはおもにモデル比較/仮説検定を中心としている.


仮説検定のみを行うことに対する根拠のしっかりとした批判も存在しており、私はこの意見に賛同している
(e.g., Tendeiro & Kiers, 2019; Kiers & Tendeiro, 2019).


JASPの域を越えて、私はモデルフィッティング、パラメーター推定と事後分布の要約統計量を記述することを推奨する.


そのために必要なツール: MCMC サンプリング (e.g., JAGS, Stan).

References

Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. doi: 10.1037/a0021524

Dienes, Z. (2014). Using Bayes to get the most out of non-significant results. Frontiers in Psycholology, 5, 781. doi: 10.3389/fpsyg.2014.00781

Etz, A., Gronau, Q. F., Dablander, F., Edelsbrunner, P. A., & Baribault, B. (2018). How to become a Bayesian in eight easy steps: An annotated reading list. Psychonomic Bulletin & Review, 25(1), 219–234. doi: 10.3758/s13423-017-1317-5

Etz, A., & Vandekerckhove, J. (2018). Introduction to Bayesian Inference for Psychology. Psychonomic Bulletin & Review, 25(1), 5–34. doi: 10.3758/s13423-017-1262-3

Gelman, A. (2014). Bayesian data analysis (Third edition). Boca Raton: CRC Press.

Kass, R. E., & Raftery, A. E. (1995). Bayes factors. Journal of the American Statistical Association, 90, 773–795. doi: 10.2307/2291091

Kiers, H., & Tendeiro, J. (2019). With Bayesian Estimation One Can Get All That Bayes Factors Offer, and More [Preprint]. doi: 10.31234/osf.io/zbpmy

Kruschke, J. K. (2013). Bayesian estimation supersedes the t test. Journal of Experimental Psychology: General, 142(2), 573–603. doi: 10.1037/a0029146

Kruschke, J. K. (2015). Doing Bayesian data analysis: A tutorial with R, JAGS, and Stan (Edition 2). Boston: Academic Press.

Lambert, B. (2018). A student’s guide to Bayesian statistics. Los Angeles: SAGE.

Lee, M. D., & Wagenmakers, E.-J. (2013). Bayesian cognitive modeling: A practical course. Cambridge ; New York: Cambridge University Press.

Marsman, M., & Wagenmakers, E.-J. (2017). Bayesian benefits with JASP. European Journal of Developmental Psychology, 14(5), 545–555. doi: 10.1080/17405629.2016.1259614

McElreath, R. (2016). Statistical rethinking: A Bayesian course with examples in R and Stan. Boca Raton: CRC Press/Taylor & Francis Group.

Morey, R. D., Romeijn, J.-W., & Rouder, J. N. (2016). The philosophy of Bayes factors and the quantification of statistical evidence. Journal of Mathematical Psychology, 72, 6–18. doi: 10.1016/j.jmp.2015.11.001

Tendeiro, J. N., & Kiers, H. A. L. (2019). A review of issues about null hypothesis Bayesian testing. Psychological Methods. doi: 10.1037/met0000221

Wagenmakers, E.-J., Love, J., Marsman, M., Jamil, T., Ly, A., Verhagen, J., … Morey, R. D. (2018). Bayesian inference for psychology. Part II: Example applications with JASP. Psychonomic Bulletin & Review, 25(1), 58–76. doi: 10.3758/s13423-017-1323-7

Wagenmakers, E.-J., Marsman, M., Jamil, T., Ly, A., Verhagen, J., Love, J., … Gronau, Q. F. (2018). Bayesian inference for psychology. Part I: Theoretical advantages and practical ramifications. Psychonomic Bulletin & Review, 25, 35–57. doi: 10.3758/s13423-017-1343-3