跳到主要內容

精準預測 - 筆記

getImage

若要我選出2013年對我思考有幫助的20本書,這本一定在其中。
(當然不是說我去年只看20本書  XD,去年的閱讀總量有紀錄的是283本……)


預測最難的部分:從巨量資料中分辨出雜訊和真正的信號。

無論統計的結果如何,如果你沒辦法找到它背後的道理,那就代表這次的分析出了問題。

人總是照自己的意思解釋事情,完全錯失了這些事情本身真正的意義。 --莎士比亞

我們永遠不可能做出完全客觀的預測。預測永遠都會受到我們主觀看法的影響。

對卡爾.波普(科學哲學家)來說,一個假設,除非可以被證明為偽,不然就是不科學的。

風險與不確定性的差別:風險可以標上價格,像是發生的機率為1/10,不確定性是難以衡量的風險,對於潛藏其中的魔鬼,或許有些模糊的印象,但你不清楚到底有多少魔鬼,也不知道它們什麼時候要攻擊。
評等機構做的就是粉飾不確定性,使之看起來或感覺像是風險。

預測模型三原則:
1. 用機率思考
    不是丟出一個數字,宣稱會知道什麼事,而是提出一個範圍的可能結果。
    (如果什麼因素多了五個百分點,那成功的機率就多了xx%。)

2.今天的預測就是你餘生的第一個預測
   正確的態度就是你應該做出今天最有可能的預測。
   (不管之前說過了什麼。『事實改變的時候,我就改變我的想法』--凱恩斯)

3.尋求共識
   集體或團體的預測通常比單獨的預測更準確,但這不表示團體的預測就是好的。

做好預測的關鍵在於不要限制自己只看量化的資訊,關鍵在於適切評估資訊的良好過程。
(亦即發展工具和習慣。)

因為電腦程式對氣象系統中自然發生的反饋過度敏感,會開始產生自己的反饋。這不只是在雜訊中再也找不到訊號而已,雜訊還被放大了。

預報最重要的檢驗標準之一,稱為校準(calibration)。(也就是好好利用回饋。)

在統計學上,把雜訊當作訊號的動作稱為過度配適(overfitting)。

如果我們不知道、或是不在乎關係的真實狀況,就會有很多理由讓我們傾向於將模型過度配適。

過度配適代表的是雙重打擊:這樣會讓我們的模型在書面上看起來比較好,但在現實世界的表現比較糟。因為後面這項特質,所以過度配適的模型如果拿來做真實的預測,最終還是會得到應有的懲罰。而由於前面那項,所以模型表面上看起來比較今人印象深刻,號稱可以做出非常正確、有報導價值的預測,代表比之前運用過的技術更進步,直到遭到懲罰為止。這樣會議這個模型比較容易登上學術期刊,或是賣給客戶,把比較誠實的模型排擠出市場之外。但如果這個模型配適的是雜訊,就有可能會傷害到科學。

沒有脈絡,資料就沒有用。

我們的社會對專家有需求,但是我們對於正確的預測其實沒那麼大的需求。

外推法(extrapolation)是非常基本的預測方法——通常來說,太過基本了。這個方法包含的假設是:目前的趨勢會無限的延續下去,直到未來。有些最知名的預測失誤都是太過隨意應用這個假設所造成的。

預測這個動作本身就可以改變人們的行為方式。
有時候,這些行為改變會影響預測本身的結果,可能會讓預測失效。

一個好的模型就算失誤了也會很有用。「想當然爾,不管我們做什麼樣的預測,平均來說都會是錯的。」奧佐諾夫告訴我。「所以重點通常在於了解是怎麼錯的,錯了的時候該做什麼,還有錯了的時候要怎麼把我們的代價減到最低。」

關鍵在於要記得,模型是種工具,幫助我們了解宇宙的複雜,而永遠不能代替宇宙本身。這一點不止在我們做預測時候很重要。

貝耶斯的主張不是說這個世界本質上就是機率性的或不確定的。
他們的主張應該說是種陳述--用數學和哲學的方式表達--我們如何認識這個宇宙:我們用趨近法認識宇宙,隨著我們收集的證據越多,我們越來越接近真理。
貝氏定理與條件機率有關。也就是說,這個定理會告訴我們如果某些事件發生之後,某個理論或假設為真的機率有多少。

貝氏定理背後的概念不是要我們只要更新一次機率的估計就好。而是說,隨著我們看到新的證據出現,我們就應該不斷地這樣做。

在人生大部分的領域中,最重要的是想出機率,而不是提出是與否。

任何預測模型的目標都在於捕捉到的訊號要盡量的多,雜訊要盡量的少。

「你的模型越複雜,預測就越差。」

在正式的用法上,「共識」(consensus)跟「一致同意」(unanimity)並不是同義字」」不是達到了單純的多數。共識隱含的是經過商議的過程後大體上意見一致」」在這段時間中,團體的大多數成員會統整成某個特定的想法或替代方案。(例如:「我們達成共識,要吃中國菜當午餐,但是賀拉修決定要吃披薩。」)
事實上,以共識為導向的過程通常代表的是投票的替代方案。

貝氏定理鼓勵我們,對自己衡量新資訊的方式要自我要求。要是我們的想法值得,我們就應該願意建立可以證偽的假設,用這些想法來提出預測,檢驗它。大多數的時候,我們不會去意識到資料中有多少雜訊,所以我們的偏差是會去太過著重最新的資料點。

但是我們如果在個人層面或專業層面上投注太多心力在某個問題上,也會有相反的偏差,在事實向我們提出挑戰的時候,沒有去挑戰自己的想法。

你越是經常願意去檢驗你的想法,你就越快會開始去避開這些問題,從你的錯誤中學習。

…… (其餘筆記放至google Docs上。)

留言

這個網誌中的熱門文章

GLOOMY BEAR 暴力熊

Gloomy Bear身世背景: Gloomy是一隻在路邊被遺棄的粉紅色小熊 , 被小朋友Pity發現,並將牠帶回家中收養, 並為小熊取名為Gloomy。 可惜.....Gloomy外表可愛,但因為被拋棄的緣故~卻有著一般熊的暴力性格, 長大長出爪子後就時常向主人用暴力招數打招呼, 而Pity就慘被Gloomy日日夜夜地欺負!悲慘ㄉ人生就這樣子開始囉!! 暴力熊喜好~咬主人頭, 而牠的主人,復原能力極高...打不死喔~厲害厲害! 暴力熊顏色:粉紅色,金色,銀色,紅色,藍色,黃色,還有罕見的綠色與混色。 粉紅色暴力熊性別:女 頭大身細,眼珠黑色,爪白色兼尖利,具有殺傷力,她多數用口爪殺人,殺完人後喜歡在街上徘徊。 小主人每次都被暴力熊揍得半死兼頭破血流, 但仍然不離不棄地緊緊抱住這隻血腥的寵物; Pity就算受到傷害亦要讓開心的回憶遮掩,然後繼續微笑期待小熊再次跟他一起溫習/做功課/看書;相信等待他的會是小熊的溫柔而非暴力傷害; 暴力熊和他小主人之間微妙的情感讓人感動又心酸; 這次轉輪科技所推出的暴力熊,內容包含小男孩Pity與粉紅熊Gloomy兩支一組。造形上善用Gloomy胖胖的軀體,將轉輪關節隱藏其中,全身有14處可動。可替換配件包含小男孩被打的表情,還有防止熊熊咬人的口罩以及牠嘴角流下來的血,原型制作為山口勝久。

明天是晴天嗎(明日晴れるかな)

因為最近的日劇:求婚大作戰,才聽到這首歌的。 桑田佳祐的"明日晴れるかな"。 歌詞的內容跟劇情還蠻貼切,求婚大作戰就劇情而言不是頂好的,但題材相當有趣,令人反省的地方也頗多。 很多時候很多事,如果再來一次,我們會怎麼選擇怎麼做? 這MV不同於日劇的片尾MV: 中文歌詞如下: 明天是晴天嗎 作詞:桑田佳祐  作曲:桑田佳祐  編曲:桑田佳祐 島健 炙熱的淚呼喚著愛 曾經閃爍的歲月 也迷失了方向 明天我依舊徘徊在街頭 沒有回頭路可走 側耳傾聽 心靈深處是什麼在私語 獨自躲在昏暗的街頭 回首當日的天空  上帝賜予我們孤獨與試煉 想哭就要放聲大哭 難道是命中注定 叫人不敢面對 日覆一日 不可思議 Oh baby No maybe 愛已走遠 情已不再 我只能佯裝嘆息 將怨恨拋給這世界 Oh baby you are maybe 憂喜交織 幸福的feeling 抱緊我 one more time 珍惜曾經的我 讓回憶刻骨銘心 往事已經隨風 人生路還漫長 只為見證夢想 誰來開啟奇跡之扉? 多想再一次觸碰你的笑顏 不知你是否發現命運的鑰匙 就握在你手中 Why baby? Oh tell me 愛恨纏綿 假裝視而不見 只為能守護在愛人身邊 Oh baby you are maybe 距離勝負僅一步之遙 站在崩潰邊緣的feeling 我想穿越 one more chance I talk to myself Oh baby No maybe 愛已走遠 情已不再 輕輕的嘆息背後 只留下深深的悔恨 Oh baby Smile baby 生命轉瞬即逝 每個人都在心中默默祈禱 明天是晴天嗎 在那遙遠的天空下 這些是有趣的文章: 釋日劇《求婚大作戰》中的「哈利路亞」 劇情解釋

不服從的領導學:不聽話的員工,反而有機會成為將才

這本書,清楚介紹了 計畫 - 行動 - 成果 的思考方式,尤其是「校準」的觀念。 也詳細指出了 領導 、 管理 與 指導 間的不同。 非常好的一本管理/領導者要看的書。強推。 執行的方法創造出奇蹟,執行的方法才是我們應該敬佩的地方。 在戰爭中,「事情不會像上好油的機器那樣運轉順暢;事實上,機器從開始運轉就會產生阻力,需要領導者極大的意志力才能克服。」在戰爭裡,「所有事情都很簡單,但連最簡單的事都很困難......在戰爭中展開行動,就像在阻力重重的介質裡移動。」 克勞塞維茨想將這樣的戰爭實況形成一種觀念,他找到「摩擦」這個詞。 摩擦就是一切「不確定性、錯誤、意外、技術上的困難、無法預見的事物及其對決策造成的影響、士氣與行動」的總合。 摩擦的存在,恰恰說明了為什麼軍隊需要軍官、企業需要主管的存在。也因此,預測與處理摩擦,就成了管理的核心工作。 一個由不同的個人組成的組績,不論紀律多麼嚴明,想要追求共同的目標,都會像在開車時踩煞車一樣,一定會造成摩擦。 我們只能取得部分資訊,又只能交給處在高壓狀態下的人、進行有瑕疵的處理。 我們之所以會遇到摩擦,是因為人類認知上的限制;我們對現在所知有限、而未來根本就不可知。 線性思維有兩個特徵:一是按照比例,也就是投入多少就產出多少;二是相加特性,亦即整體是各部分相加的總和。但非線性系統卻完全不是這樣,克勞塞維茨在當時就很清楚戰爭是非線性系統,只是無法形成具體概念,只能借用摩擦、偶發事件、不可預測性等概念來說明。 管理的課題:如何對付有資訊的有限、如何相互傳遞我們確實擁有的資訊,以及我們最終應該如何行動。 克勞塞維茨用兩種落差來描述摩擦的影響。一是我們試圖在不可預測的外部環境採取行動,但我們一直沒意識到這點,因而產生了「預期成果」與「實際成果」之間的落差。二是內部的摩擦,導致組織的「計畫」與「行動」之間出現落差。這種落差來自資訊在取得、傳輸和處理的過程中,涉及許多獨立自主的媒介。三是是行動與實際成果之間的落差(或是”計畫跟預期成果之間的落差”)。 實際採取的行動和應該採取的行動,是不同的。會出現這種狀況,可能是錯誤的行動計畫造成的,或是 我們雖然策畫了正確行動,但執行者沒有照計畫去做。 計畫不完美,是因為我們缺乏「知識」。我們可能沒蒐集到足夠的資訊,或是對資訊的詮釋有...