跳到主要內容

精準預測 - 筆記

getImage

若要我選出2013年對我思考有幫助的20本書,這本一定在其中。
(當然不是說我去年只看20本書  XD,去年的閱讀總量有紀錄的是283本……)


預測最難的部分:從巨量資料中分辨出雜訊和真正的信號。

無論統計的結果如何,如果你沒辦法找到它背後的道理,那就代表這次的分析出了問題。

人總是照自己的意思解釋事情,完全錯失了這些事情本身真正的意義。 --莎士比亞

我們永遠不可能做出完全客觀的預測。預測永遠都會受到我們主觀看法的影響。

對卡爾.波普(科學哲學家)來說,一個假設,除非可以被證明為偽,不然就是不科學的。

風險與不確定性的差別:風險可以標上價格,像是發生的機率為1/10,不確定性是難以衡量的風險,對於潛藏其中的魔鬼,或許有些模糊的印象,但你不清楚到底有多少魔鬼,也不知道它們什麼時候要攻擊。
評等機構做的就是粉飾不確定性,使之看起來或感覺像是風險。

預測模型三原則:
1. 用機率思考
    不是丟出一個數字,宣稱會知道什麼事,而是提出一個範圍的可能結果。
    (如果什麼因素多了五個百分點,那成功的機率就多了xx%。)

2.今天的預測就是你餘生的第一個預測
   正確的態度就是你應該做出今天最有可能的預測。
   (不管之前說過了什麼。『事實改變的時候,我就改變我的想法』--凱恩斯)

3.尋求共識
   集體或團體的預測通常比單獨的預測更準確,但這不表示團體的預測就是好的。

做好預測的關鍵在於不要限制自己只看量化的資訊,關鍵在於適切評估資訊的良好過程。
(亦即發展工具和習慣。)

因為電腦程式對氣象系統中自然發生的反饋過度敏感,會開始產生自己的反饋。這不只是在雜訊中再也找不到訊號而已,雜訊還被放大了。

預報最重要的檢驗標準之一,稱為校準(calibration)。(也就是好好利用回饋。)

在統計學上,把雜訊當作訊號的動作稱為過度配適(overfitting)。

如果我們不知道、或是不在乎關係的真實狀況,就會有很多理由讓我們傾向於將模型過度配適。

過度配適代表的是雙重打擊:這樣會讓我們的模型在書面上看起來比較好,但在現實世界的表現比較糟。因為後面這項特質,所以過度配適的模型如果拿來做真實的預測,最終還是會得到應有的懲罰。而由於前面那項,所以模型表面上看起來比較今人印象深刻,號稱可以做出非常正確、有報導價值的預測,代表比之前運用過的技術更進步,直到遭到懲罰為止。這樣會議這個模型比較容易登上學術期刊,或是賣給客戶,把比較誠實的模型排擠出市場之外。但如果這個模型配適的是雜訊,就有可能會傷害到科學。

沒有脈絡,資料就沒有用。

我們的社會對專家有需求,但是我們對於正確的預測其實沒那麼大的需求。

外推法(extrapolation)是非常基本的預測方法——通常來說,太過基本了。這個方法包含的假設是:目前的趨勢會無限的延續下去,直到未來。有些最知名的預測失誤都是太過隨意應用這個假設所造成的。

預測這個動作本身就可以改變人們的行為方式。
有時候,這些行為改變會影響預測本身的結果,可能會讓預測失效。

一個好的模型就算失誤了也會很有用。「想當然爾,不管我們做什麼樣的預測,平均來說都會是錯的。」奧佐諾夫告訴我。「所以重點通常在於了解是怎麼錯的,錯了的時候該做什麼,還有錯了的時候要怎麼把我們的代價減到最低。」

關鍵在於要記得,模型是種工具,幫助我們了解宇宙的複雜,而永遠不能代替宇宙本身。這一點不止在我們做預測時候很重要。

貝耶斯的主張不是說這個世界本質上就是機率性的或不確定的。
他們的主張應該說是種陳述--用數學和哲學的方式表達--我們如何認識這個宇宙:我們用趨近法認識宇宙,隨著我們收集的證據越多,我們越來越接近真理。
貝氏定理與條件機率有關。也就是說,這個定理會告訴我們如果某些事件發生之後,某個理論或假設為真的機率有多少。

貝氏定理背後的概念不是要我們只要更新一次機率的估計就好。而是說,隨著我們看到新的證據出現,我們就應該不斷地這樣做。

在人生大部分的領域中,最重要的是想出機率,而不是提出是與否。

任何預測模型的目標都在於捕捉到的訊號要盡量的多,雜訊要盡量的少。

「你的模型越複雜,預測就越差。」

在正式的用法上,「共識」(consensus)跟「一致同意」(unanimity)並不是同義字」」不是達到了單純的多數。共識隱含的是經過商議的過程後大體上意見一致」」在這段時間中,團體的大多數成員會統整成某個特定的想法或替代方案。(例如:「我們達成共識,要吃中國菜當午餐,但是賀拉修決定要吃披薩。」)
事實上,以共識為導向的過程通常代表的是投票的替代方案。

貝氏定理鼓勵我們,對自己衡量新資訊的方式要自我要求。要是我們的想法值得,我們就應該願意建立可以證偽的假設,用這些想法來提出預測,檢驗它。大多數的時候,我們不會去意識到資料中有多少雜訊,所以我們的偏差是會去太過著重最新的資料點。

但是我們如果在個人層面或專業層面上投注太多心力在某個問題上,也會有相反的偏差,在事實向我們提出挑戰的時候,沒有去挑戰自己的想法。

你越是經常願意去檢驗你的想法,你就越快會開始去避開這些問題,從你的錯誤中學習。

…… (其餘筆記放至google Docs上。)

留言

這個網誌中的熱門文章

Alison Krauss的『When you say nothing at all』

你一定聽過這首歌:When you say nothing at all,不論你是看了『Notting Hill』或是喜歡『男孩特區』,你聽到的可能是Ronan Keating的版本。 最近在聽『Various.Artists.-.[Best.Audiophile.Voices.III]』,裡面有Alison Krauss演唱的版本,我的老天,沒蓋你,馬上把這首歌納入我的經典歌曲集。 誰是Alison Krauss呢? 以下是她的介紹(擷自Very-CD): 多次被評為世界最美的女聲,坐擁 11 座格萊美獎,代表歌曲包括 When You Say Nothing At All 和《冷山》中那首動人的 The Scarlet Tide 等等。 在和"聯合車站"樂隊的合作後,Union Station 的 Bluegrass 威力又把她往前推了一把,讓已經擁有翅膀的Alison 又添加一道光環。當一位鄉村電臺 DJ 某天在節目中播放 Alison 精選專輯主打歌 When You Say Nothing At All 後,每天如浪潮般的點歌頻率,開啟了鄉村音樂的一個新傳奇。 Alison 在 1995 年與 Union Station 合作的精選大碟,曾是鄉村音樂排行榜第 2 名、流行音樂專輯第 15 名,全美銷量達二百萬張,這對於一個鄉村歌手而言,是相當大的數目。不過與其說專輯得到如此多的成功是個意外,不如承認 Alison 無可否認十分甜美的歌喉,及用心演唱的態度,才是讓她長久以來受歌迷肯定的主要原因。 16歲時,Alison Krauss 與美國鄉村音樂最重要的獨立唱片公司 Rounder 簽約,發行的第一張個人專輯,立刻成為樂評家的最愛。 18 歲首度獲得葛萊美獎,之後又繼續獲得無數鄉村音樂獎項,其中包括 11 項葛萊美獎,總總的榮耀應該都是因為她從小苦學古典小提琴、民謠小提琴及歌唱技巧。樂評家均認為 Alison Krauss and Union Station 從 80 年代末至 90 年代中,將草根藍調音樂從地方性音樂帶領成為全世界均能接受的樂風,在樂壇佔有舉足輕重的地位。 1999年,Alison Krauss 的專輯《Forget About It》成為金唱片。一年後,她因在《O Brother ,Where Art You》...

永遠的少年:村上春樹與海邊的卡夫卡

讀楊照老師的《永遠的少年:村上春樹與海邊的卡夫卡》,真是令我豁然開朗,茅塞頓開。 閱讀村上的《海邊的卡夫卡》時,我已經能夠隱約理解到"村上春樹的互文世界"這個觀念,因為那裏有圖書館,容易地就聯想到《世界末日與冷酷異境》。 佐伯小姐說「嗯,但是那個圖書館裡面沒有放書。」 卡夫卡又問她說:「圖書館沒有放書,那放什麼呢?」 在《世界末日》那座圖書館裡,放書的架子上,堆放著一個個白色的獨角獸頭骨。 獨角獸頭骨裡存放著的是「記憶」,記憶存在「心」裡;圖書館所留存的就是一堆無法捨去的記憶與心。 年輕時候的佐伯小姐告訴卡夫卡的,「這裡沒有記憶,我們有別種方式處理記憶。」;那就與獨角獸的頭骨相呼應,所以主角需要去讀夢。 記憶存在心裡,那麼沒有心的人就讓獨角獸把記憶給吸收進去。 在那裡的人,他們如此單純,因為他們沒有心,因為他們沒有跟隨心最重要的一種東西,或者讓心變成可能的最重要的一種東西,那就是「記憶」。 他們只有片段短時間的記憶,沒有長時間的記憶。 那村上是這樣解讀”心”: 「不能把疲倦放進心喏。」她說。「我媽媽常說,疲倦或許可以支配身體,但心卻必須自己掌握好。」 「說得有理。」我說。 「不過說真的,我不太明白心是什麼樣的東西。那正確說來到底意味著什麼?到底應該怎麼去使用它?我只是記住那句話而已。」 「心不是拿來使用的東西。」我說。「心這東西只是在那裡而已,和風一樣。妳只要感覺它在動就好了。」(p.082) 「因為我有心而她沒有心,所以不管我多麼愛她都得不到什麼是嗎?」 「是啊。」老人說。「你只有繼續失去而已。她沒有你說的心這東西。我也沒有。誰都沒有。」 「但你不是對我這麼親切嗎?你關心我,不眠不休看護我。這不是心的一種表現嗎?」 「不,不一樣。親切和心又是不一樣的東西。親切是一種獨立的機能。說得正確一點是表層的機能。那只是習慣而已,和心不同。所謂心是更深、更強的東西。而且是更矛盾的東西。」 我閉上眼睛,把散在各個方向的想法一一收集起來。(p.212) 「但那裡沒有所謂的心存在是嗎?」 「沒有心。」老人說。「不過你的心終究也會消失。心消失之後既沒有喪失感,也沒有失望。無處可去的愛也會消失。只留下生活。只留下平靜而悄然的生活。你可能...

GLOOMY BEAR 暴力熊

Gloomy Bear身世背景: Gloomy是一隻在路邊被遺棄的粉紅色小熊 , 被小朋友Pity發現,並將牠帶回家中收養, 並為小熊取名為Gloomy。 可惜.....Gloomy外表可愛,但因為被拋棄的緣故~卻有著一般熊的暴力性格, 長大長出爪子後就時常向主人用暴力招數打招呼, 而Pity就慘被Gloomy日日夜夜地欺負!悲慘ㄉ人生就這樣子開始囉!! 暴力熊喜好~咬主人頭, 而牠的主人,復原能力極高...打不死喔~厲害厲害! 暴力熊顏色:粉紅色,金色,銀色,紅色,藍色,黃色,還有罕見的綠色與混色。 粉紅色暴力熊性別:女 頭大身細,眼珠黑色,爪白色兼尖利,具有殺傷力,她多數用口爪殺人,殺完人後喜歡在街上徘徊。 小主人每次都被暴力熊揍得半死兼頭破血流, 但仍然不離不棄地緊緊抱住這隻血腥的寵物; Pity就算受到傷害亦要讓開心的回憶遮掩,然後繼續微笑期待小熊再次跟他一起溫習/做功課/看書;相信等待他的會是小熊的溫柔而非暴力傷害; 暴力熊和他小主人之間微妙的情感讓人感動又心酸; 這次轉輪科技所推出的暴力熊,內容包含小男孩Pity與粉紅熊Gloomy兩支一組。造形上善用Gloomy胖胖的軀體,將轉輪關節隱藏其中,全身有14處可動。可替換配件包含小男孩被打的表情,還有防止熊熊咬人的口罩以及牠嘴角流下來的血,原型制作為山口勝久。