這一切 看來非常美好，自動化讓生活更加便捷。但除此之外，它還帶來了許多更深層次的、更隱密的影響。科技所造成的疏離導致憂鬱症患者、自殺率上升；「自動駕駛」 讓機師喪失反應能力，製造出新型空難；自動化最令人恐懼的部分，就是它挑戰了我們熟知的倫理道德，機器使人與現實完全分離，只要按下按鈕就可讓敵人致命， 殺人因而變得容易了。
在追逐自動化的過程中，我們似乎從未告訴自己，夠了，該適可而止了。
我們很容易出現對自動化的過度依賴和偏好的情緒，這就解釋了為什麼依賴自動化會導致我們出現行為偏差或是對差錯置之不理。即使資訊是錯誤的或是不完整的，我們也會欣然接受，並按照資訊行事，忽略了本應暸解的情況。
但是，對電腦的依賴性削弱了我們的意識和注意力，這引出了一個更隱蔽的問題：自動化將我們從執行者變為觀察者。我們不再控制操縱桿，而是盯著螢幕。這種角色的轉變可能會使我們的生活變得輕鬆，但也會阻礙我們學習和鍛鍊技能。不管自動化是增強還是削弱了我們執行某項任務的能力，長期這樣下去，我們的技能都將退化，學習新技能的能力也將減弱。
自二十世紀七0 年代以來，認知心理學家一直在研究一種被稱為「生成效應」的現象。這種現象最先出現在詞彙研究中，人們如果主動回想單詞就會增強記憶——主動回想相當於在生成單詞，比人們單純閱讀紙上的單詞效果要好。
心理學家和精神系統科學家仍在努力探索生成效應的原理。但是很明顯，生成效應涉及深層的認知和記憶過程。我們努力進行某項工作時，會集中注意力和精力，大腦就會獎勵我們，增強我們的理解力。我們的記憶力越好，學的東西也就越多。最後，我們具備了熟練、專業、具有目的性的專業技能。這一點兒也不奇怪。大多數人都知道，熟練掌握某件事的唯一方式就是親身實踐。從電腦螢幕或是書籍上快速搜集資訊很容易，但是真正的知識，特別是那些埋藏在記憶深處並通過技能體現出來的知識，是很難習得的，需要學習者精力充沛，並與嚴苛的任務展開曠日持久的鬥爭。
「當生成功能被閱讀所取代，人們的表現就會變差，這可以作為對自動化過度依賴的例子。」我們可以借此闡明自動化的認知代價。和電腦輔助技術相比，自己承擔一項任務或工作會涉及多種心理過程。軟體降低了工作的參與度和專注度，特別是當軟體把我們推向更為被動的角色時，我們成了觀察者或是監控者，這就避開了生成效應的基礎——「深層認知理」。最終，自動化會限制我們獲取豐富、真實、專業知識的能力。生成效應需要人們付出努力，而自動化則是為了減少人們的努力。
認知任務（例如解決問題）實現自動化以後，思維將資訊轉化為知識、將知識轉化為專業技能的能力都會受到影響。
在許多行業中，經理以及其他專業人士依靠所謂的專業系統對資訊進行分類和分析，系統會給出行動方案建議。例如，會計在公司審計時使用決策支援軟體，這些軟體會提高任務的完成速度。究表明，雖然決策支援軟體能在短期內說明新進分析師做出更好的判斷，但也給他們帶來了精神上的疲憊感頻率，阻礙了記憶的資訊程式能力，從而減少了隱性知識儲備，而要須具備豐富的隱性知識。
「機器人式的」決策導致銀行家和其他華爾街專業人士普遍出現「判斷障礙」。
我們要謹慎地對待自動化可能產生的任何影響：廣泛使用的技術會減少人們的知識儲備，或者給敏感工作從業者的判斷力罩上一層迷霧。
軟體工程師的工作是為了減輕思想的負擔，但他們擔心，這會反過來給自己的技能帶來負面影響。工程師現在經常使用整合式開發環境（IDEs）應用，這個應用可以幫助工程師編寫程式。它將許多複雜、費時、細碎的工作自動化，一般包括自動完成、自動糾錯、自動調試例行程式等，而更複雜的應用會進行重構，評估並修正程式的結構。但是應用接管了程式編寫任務以後，工程師就喪失了鍛鍊並提高手動程式技能的機會。
經驗豐富的軟體發展員曾寫道：「現代的IDEs足夠用了，有些時候，我覺得我是個IDE操作員而不是一名工程師。」「這些工具不是鼓勵人們『對程式深入思考並仔細編寫』，而僅僅是『草擬一份鱉腳的程式，然後這起工具會告訴你哪裡出錯了，並且如何改正並完善你的程式。』」他將此種現象總結為「聰明的工具，遲鈍的大腦」。
僅僅知道資訊會存在資料庫裡就已經降低了大腦記憶的可能性。研究人員總結說：「因為搜尋引擎一直都是可用的，我們經常會覺得不需要將資訊程式內化，當我們需要時，去搜索就行了。」
但是，外部儲存和生物性記憶相差甚遠。知識不僅僅要通過查找來獲得，人們還需要將事實和經歷程式，轉化為個人記憶。要真正瞭解一個事物，你必須讓它進入你的神經元迴路，然後你要不斷地從記憶中讀取這些資訊，不斷使用它們。透過搜尋引擎和其他線上資源，我們實現了資訊儲存的自動化，並且回溯資訊的頻率處於有史以來的最高水準。我們的思維似乎有一種卸下或外化記憶的固有趨勢，記憶讓我們在某些情況下成為更高效的思考者。我們能很快地回憶出已經溢出思維的事實。
但是，思維活動的自動化過度簡化了思維活動，以至於我們不用去記憶或理解，這時候，思維卸下記憶或外化記憶的趨勢就演變成一種病態。
只有當某項任務具有心理準備和認知基礎時，顯性知識才會發揮一定的作用。要掌握一項技能，你需要具備隱性知識，而隱性知識只有通過真實的經歷才能獲得——通過一遍又一遍地練習某項技能。你練習的次數越多，就越不會去想你的動作。原來那些斷斷續續的、遲緩的意識負責你的技能，而現在潛意識接手了，潛意識的運轉速度較快而且很流暢。此時，你的意識獲得了解放，能專注於技能中更細微的部分，當這些細微的部分也實現了自動化以後，你就進入了下一個階段。就這樣一直前進，一直自我推動，最終實現技能內化，從而掌握了這門技能。
自動化涉及大腦在深度和廣度上的調整。某些腦細胞或神經元進行調整以後，能很好地適應手頭的任務，並且通過神經突觸產生的電化學連接協同工作。
如果不在不同的環境下對這項技能進行大量的、反覆的練習，你和你的大腦永遠不會真正掌握這項技能，至少對於那些複雜的技能而言是這樣的。並且，沒有持續的訓練，你已經獲得的技能也會生鏽。
自動性，正如它的名字一樣，可以被看作一種內化的自動化。它是人體進行困難、重複的例行工作時所採用的方式。身體的運動和步驟被編寫進肌肉記憶中，通過感官對環境模式的即時認知形成理解和判斷。科學家很久以前就發現思維的受限程度令人驚訝，它攝取和處理資訊的能力很有限。沒有自動性，我們的思維意識將一直處於超載狀態。
懷特海德認為，工具和其他技術充其量只能用於完成一些類似的任務，大腦自動性的容量也是有限的。我們無意識的思維能實現許多功能，既快速又高效，但也並不是無所不能。你能記住十二個甚至二十個時間表，但是再多就記不住了。即使你的大腦還能儲存記憶，你也耗盡了耐心。
從長遠來說，隱性知識的缺乏可能還會對培養醫生的直覺造成影響，在緊急情況或意外情況下，病人命懸一線，醫生不能有條不紊地、謹慎仔細地考慮治療方案，也不能通過範本搜集和分析資訊，他們需要憑藉直覺救治患者。此時，電腦幫不上什麼忙。醫生必須行動起來，立即做出診療決定。認知科學家對醫師的思維過程進行了研究。他們認為，在緊急情況下，專業的臨床醫生不會進行有意識的推理，也不會按照固定的規則行事。
他們根據已有的知識和經驗，一下子就找到問題所在——有時候在幾秒鐘內就做出診斷，然後採取所需的救治措施。傑洛姆﹒古柏曼在《醫生如何想》中寫道：「醫生將病情的關鍵資訊集合起來，形成某種疾病的症狀模式，或者患者染病後會出現的各種狀況。」
古柏曼表示，這種判斷屬於高級別技能，「思維和行動是不可分割的」。同其他的思維自動性一樣，培養這種判斷力，需要不斷地實踐，獲得直接的、即刻的回饋。螢幕橫亙在醫生和病人之間距離，要培養自動性和直覺的難度就增加了。
在《國富論》中，亞當﹒史密斯寫道：「他們一輩子都在重複一些簡單的操作，這些操作的功能通常是相同的或非常類似的，工人沒有機會鍛鍊創造力，在面對前所未有的困難時尋找應急策略。」「因此，他們自然而然地就喪失這些能力，並且大多數人會變得極其愚笨、無知。」
在一家生產大頭針的工廠裡，大頭針高級工每製作一枚大頭針都需要耗費在，幾個沒有技術的工人就取代了高級技工的工作。這些工人各自的任務非常有限：「第一個人將金屬拉成絲，第二個人將金屬絲拉直，第三個人複製金屬絲，第四個人磨尖針頭。
要製作大頭針的針頂需要兩三道獨立的工序，製作大頭針的兩項特殊工序，甚至將大頭針插到紙裡也算是一道工序，在這個過程中，可以分成十八道不同的工序。」沒有工人知道如何製作一枚完整的大頭針專屬的部分並協同工作，就可以大規模生產大頭針，這比相同數量的手工工的大頭針的總數還要多。並且，因為工人不需要什麼技能或訓練，製造商中雇用工人，避免了為專門技術支付額外費用。
亞當﹒史密斯還注意到，勞動分工可以推動機械化，進一步弱化工人的雜的流程分解成一系列定義清晰的「簡單操作」，這樣一來，設計一臺機器分相對簡單了。工廠工人的分工可以作為機器的設計說明書。
我們想把電腦地圖看作具有交互性的高技術紙本地圖，但這是一種錯誤的想法。這是替代神話的另一種表現。傳統的地圖為我們提供背景環境。我們能對一個地區有總體的認識要自己找出所在位置，後制訂計畫或在腦中設想到達下一站的最佳路徑。是的，紙本地圖要我們費些工夫----好的工具總是這樣。但是腦力勞動有助於大腦對某一地區形成自己的認知地圖。研究表明，閱讀地圖有助於加深我們的方向廠，鍛鍊導航能力----這樣即使是有地圖的情況下，我們也能輕鬆地穿梭往來。
我們並沒有意識到，在某個城市或鄉鎮辨別方向時，我們喚起了對紙本地圖的潛意識記憶，然後確定路線，以到達目的地。有一項實驗揭示了這一點，研究人員發現，只有在面向北方時，人的方向厭才最強烈----這與地圖的指向一致。
紙本地圖不僅引領我們穿梭於各地，還教會我們如何對空間進行思考。而電腦同衛星連接所生成的地圖則大不相同。這類地圖通常很少提供空間資訊或導航線索。我們不用弄清楚所在位置，GPS設備將我們設定為地圖的中心，然後讓整個世界圍著我們轉。
許多世界著名的建築師和建築學者都警告稱，過度依賴電腦會限制設計者的視野，造成技能和創造性的退化。倫佐﹒皮亞諾就是其中之一，他認為電腦已經成為建築必不可少的元素，但是他也擔心，設計師交給軟體完成的任務太多了。雖然自動化可以讓建築師快速地製作出精確、完整的3D設計，但是，機器的高速和精確性也會縮短麻煩、費力的探索過程，這一過程通常會帶來最具啟發的、最有意義的設計。螢幕上顯示的設計作品具有一定的魅力，但這種魅力可能只是個假像。皮亞諾表示：「你知道，電腦越來越聰明，這有點像鋼琴，你按一個鍵，它就會演奏出恰恰和倫巴的曲子。你可能彈得很糟糕，但你覺得自己彷彿是個優秀的鋼琴家。這一點在當今的建築領域也同樣適用。你可能發現，按個按鈕你就能造出任何東西。但是，建築並不只是想像，有時是一個緩慢的過程。你需要花費一定的時間。電腦的缺點就都發展得太快了。」
到目前為止，關於機器人和其他機器的道德問題一直停留在理論層面，科幻小說或想像中的事情也只是在哲學範圍內進行試驗。對道德的考量經常會影響工具的設計----槍有保險栓，車有限速器，搜尋引擎有過濾裝置，但是機器不需要有思維意識。它們不需要即時調整運行狀況以應對各種各樣的道德問題。在過去，如果出現技術使用的道德問題，人們會插手干預，把事情調查清楚。在未來，卻無法始終做到這一點。因為機器人和電腦感知世界和自動執行的能力越來越強，它們不可避免地會面臨沒有正確選擇的局面。它們不得不自己解決令人苦的決定。而如果不能自動做出道德的選擇，也就不可能實現人類活動的完全自動化。
當遇到道德倫理判斷時，人類會暴露許多缺點。我們經常犯錯誤，有時候是出於混亂或粗心大意，而有時是出於故意。很多人爭辯說，相比於人類立即做出的決定，機器人分揀選項、預估可能性和衡量後果的速度非常快，這使得它們的選擇更明智。這是事實。在某些情況下，特別是在只是錢或其他財產受到威脅時，能夠對可能性進行快速計算就足夠了，就能以此做出行動判斷，帶來最優結果。雖然可能會造成交通事故，但一些人類司機在交通燈剛變紅時會快速闖過馬路。電腦卻永遠不會這麼匆忙地做出決定。
但是，兩難境地並不會這麼容易就得到解決，要用數學的方法解開這些難題，你就會面臨一個更基本的問題:在道德模糊的局勢下，誰決定什麼是「最優的」或「理性的」選擇?誰將為設計機器人而感到自責?是機器人的製造商嗎?機器人的主人嗎?軟體工程師?政客?政府法規?哲學家?還是保險承保人呢?
殺戮機器人的挑戰
「回想一下，飛機和無人機最開始應用於武裝衝突只是出於監察目的，因為可能帶來負面影響，所以不能用於攻擊。而後來的情況表明，當技術具有更多明顯的優勢時，最初的想法就被拋棄了。」一旦一種新的武器問世，總是會伴隨著軍備競賽。從這一點來看，「特權階層的權力會阻礙人類採取相應的控制。」
有兩種基本的方式，可以為機器人編寫電腦程式，做出道德決策:自上而下和自下而上。自上而下的方式是指，提前編寫好控制機器人決策的所有規則，機器人只需遵守這些規則，「不需要改變，也不用具有靈活性」。阿西莫夫在嘗試制定機器人道德體系時發現，這個體系聽起來很簡單，但其實不然。我們無法預測機器人可能遭遇的所有情況。
自上而下變成的「嚴格性」，會弄巧成拙，學者寫到:「當出現某些事件或局勢，是工程師沒有預見的或設想不充分的，就會導致機器人無法工作，或犯下可怕的錯誤，這正是因為機器人是受規則束縛的。」而自下而上的程式設計方法是指機器人被嵌入一些基本的規則，然後投入使用。這種方式利用機器的自學技術，培養機器人自己的道德程式，並根據遇到的新環境加以調整。「就像個孩子，機器人面臨紛繁複雜的局勢，通過嘗試和錯誤(以及反饋)，學習認識新事物以及行為禁忌」。機器人遇到的困境越多，道德判斷就越合理。
但是，自下而上的程式設計方法會帶來更嚴重的問題。首先，這是無法實現的。我們還沒有發明出來能夠做出道德決策的精密且穩定的機器自學演算法。其次，在攸關生死的情況下，也不允許嘗試或犯錯誤。自下而上這種程式設計方法本身就是不道德的。
再次，我們無法保證電腦衍生出來的道德可以反映人類的道德，或同人類的道德標準相適應。
留言