2015年6月11日星期四

Survival bias

話說,三間大學就 2017 年行政長官選舉方法所作的聯合滾動民意調查公布了新一輪結果,支持與反對通過所謂政改方案的比率剛好都是 42.8%。公民黨湯家驊議員接受一眾傳媒訪問時表示,「我聽到這個消息,都有點驚訝,因為從數學上來看,真是剛剛找到雙方的人數都是完全對稱一樣,其實我相信那個機會是幾百萬分之一也說不定。

湯議員這個奇異的觀點,很快就受到不少網民質疑,其中有一名為 Andrew Wong 的數學老師於 Facebook 刊登了一封公開信,反駁湯家驊的說法,而湯議員亦頗有風度地於自己的 Facebook 轉載了該信件,並大方認錯。

不幸地,儘管湯家驊的觀點的確是錯的,但 Andrew Wong 的反駁本身也搞錯了。至於前者因為後者錯誤的反駁而承認自己真的犯錯這個做法對不對,我就不清楚了。

無論如何,姑且簡略看一看 Andrew Wong 的反駁有何錯處,以及湯家驊的想法實際有甚麼謬誤。

不幸的反駁

文抄公一下,Andrew Wong 的論點如下:
三大民調的樣本數目, 大約為1100人, 如果只計贊成和反對的人數, 每次均為900多人. 那麼每天公佈結果時, 可以出現贊成和反對的組合, (由1:899, 2:898, 3:897.....數到899:1), 就只有900多個, 加上贊成和反對的比例長期維持35-50%上下, 從未離開過這個範圍, 即有可能出現的結果只有一百多個, 每個結果只有約1/150的機會出現, 絕非閣下認為的幾百萬份之一.

政改民調由四月至今公布了逾30次, 加上近幾日支持度下降反對度上升的趨勢, 在結果符合趨勢的情況下, 碰上今天出現兩者打和的局面, 在數學上絕不是罕有現象, 我希望你如果明白我以上解釋的話, 可以公開澄清一下.
湯家驊誤以為今次正反雙方的人數一樣,而 Andrew Wong 似亦如是想。實際上,今次這個 42.8% 是按香港人口的年齡、性別和教育程度分布加權之後計算出來的。換句話說,儘管正反比率都是 42.8%,受訪者中,雙方實際人數卻可以不同。

就算不理會加權,如 Andrew Wong 那樣,略去沒意見的人,假設有 900 名表明贊成或反對的受訪者,並假設贊成的比例必然介乎 35% 與 50% 之間,那樣的確只有大約 150 個結果(實際有 136 個),可是我們卻無任何理由認為「每個結果只有約1/150的機會出現, 絕非閣下認為的幾百萬份之一」。

舉例說,假設有三名受訪者,回答一條民調問題,三人皆只答「贊成」或「反對」。這樣就有四種結果:三人贊成、兩人贊成、一人贊成、無人贊成。然而,四種結果出現的機會,都是 1/4 嗎?

假設每人都有一半機會贊成,一半機會反對,而我們稱三人為 A 君、B 君與 C 君。這樣,按(A,B,C) 的順序排列三人的回答,會有八種組合:
  • (反對,反對,反對)→ 無人贊成
  • (反對,反對,贊成)→ 一人贊成
  • (反對,贊成,反對)→ 一人贊成
  • (反對,贊成,贊成)→ 兩人贊成
  • (贊成,反對,反對)→ 一人贊成
  • (贊成,反對,贊成)→ 兩人贊成
  • (贊成,贊成,反對)→ 兩人贊成
  • (贊成,贊成,贊成)→ 三人贊成
每種組合的出現概率,都是 (1/2)×(1/2)×(1/2)=1/8。故此,無人贊成的概率為 1/8,一人贊成為 3/8,二人贊成為 3/8,三人贊成為 1/8。四種結果出現的概率,都不是 1/4。

有 N 種結果,並不表示每種結果出現的機會率必然大致一樣。

高考的數學

回到前述 Andrew Wong 有 900 人必答,而只承認贊成比率介乎 35% - 50% 的例子。設
  • p = 每位受訪者回答「贊成」的概率 (0.35 ≤ p ≤ 0.5),
  • y = 結果剛好有一半人(也就是 450 人)贊成的概率。
那麼 p 和 y 的關係為何?香港未廢除高考之前,這只是高考應用數學的基礎課題。用二項式分布的常態分布逼近公式,可計算如下:
$$y\approx\frac{\Phi(450.5,\mu,\sigma)-\Phi(449.5,\mu,\sigma)}{\Phi(450.5,\mu,\sigma)-\Phi(314.5,\mu,\sigma)},$$
其中平均數 $\mu=900p$,方差 $\sigma=\sqrt{900p(1-p)}$,而 $\Phi$ 是常態分布的 cdf。

好了,Andrew Wong 說「贊成和反對的比例長期維持35-50%上下」,若 p=0.5,亦即每人有一半機會贊成的情況下,調查出來的支持度 y 為何?按上述公式,答案約為 0.0725,即 1/14 左右,遠高於 Andrew Wong 認為的 1/150。

若 p=0.35,y 又為何?這個有點麻煩。用上述逼近公式來計算的話,答案是 practically zero,完全不管用。唯有老老實實真的用二項式分布計算。算案是:1/(5.2×1019),即大約五千萬兆分之一。這又何止幾百萬分之一?

然而,Andrew Wong 的論點的最大問題,並非他計錯數,而是他不明白何謂「合理」的數字。

「合理」之疑惑

 從上述例子可以看到,若你本來就相信 p≈0.5 的話,那麼你自然傾向相信有一半人贊成的結果「有約1/150的機會出現」。反之,若你如湯家驊般,根本心裏認定 p 遠低於 0.5,那麼你自然相信「那個機會是幾百萬分之一也說不定」。

問題是,我們不知道實際上 p 是幾多。

我們要做民意調查,正正是因為我們不知道 p,所以才用統計推算。用心目中的 p 來否定計算出來的 y,豈不是本末倒置?

(或者套用 Bayesian inference 的語言來說,無論是湯家驊抑或 Andrew Wong,都是在沒有一個可信的 prior distribution 之下,強行評論 posterior probability 是否合理。)

湯家驊的觀點的真正問題,是他單單因為發生某項觀察結果的概率只有幾百萬分之一,就認定該結果有「蠱惑」。

只因某觀察結果的出現概率低,而認為這個結果特異,是一種稱為 survival bias 的邏輯謬誤。已故著名物理學家(稱為物理巨星亦不為過),諾貝爾獎得主 Richard Feynman 就曾經用以下文字來凸顯 survival bias 如何不合理:
You know, the most amazing thing happened to me tonight. I was coming here, on the way to the lecture, and I came in through the parking lot. And you won't believe what happened. I saw a car with the license plate ARW 357. Can you imagine? Of all the millions of license plates in the state, what was the chance I would see that particular one tonight? Amazing!
將 Feynman 的例子本土化的話,可以如此:
尋日我去換領成人身份證,發現 ID 是 K125633。幾百萬個身份證號碼裏面,只有一個是 K125633,咁都畀我攞到,你話係咪好神奇?
換另一個例子。執筆時,上一期六合彩開彩結果為 7, 12, 16, 17, 20, 25 + 31。參考湯家驊的說法,「我聽到這個消息,都有點驚訝,因為從數學上來看,開出這個組合,我相信那個機會是幾千萬分之一也說不定。」

確實如此。不過呢,這樣令人驚訝的現象,是每星期都會發生的。唔通馬會個個星期都造馬?

3 則留言:

方潤 說...

為何不投稿﹖

The suffocated 說...

小事一樁而已,小題小做就夠。

匿名 說...

很高興看到您也發現了安祖老師的錯誤。對此我也有指出,參見https://thestandnews.com/politics/%E4%B8%80%E4%BD%8D%E9%9D%9E%E6%95%B8%E5%AD%B8%E8%80%81%E5%B8%AB%E7%B5%A6%E5%AE%89%E7%A5%96%E8%80%81%E5%B8%AB%E7%9A%84%E4%BF%A1/。