【AI】Day 30: 未竟的旅程：自然語言處理的拉乎德爾

「終點，是旅程的一部分。」
東尼・史塔克《復仇者聯盟4：終局之戰》

最後一天，我想來談談 「人工智慧」。

在過去的旅程中，我們花了將近一半的篇幅在討論機器學習模型。從一開始的 N-Gram、BoW、樸素貝氏分類模型、羅吉斯迴歸，一直到深度學習的神經網路模型，像是循環神經網路、長短期記憶，還有利用自注意力機制的 Transformer，還有踩在巨人肩膀上，使用預訓練模型完成任何任務的 BERT，是一段旅程，而且絕對是一段縱覽從過去到現在自然語言處理以及計算語言學的朝聖之旅。

不知道大家是否還記得，我在第一天的文章，也就是 前往NLP的偉大航道！一起成為我的夥伴吧！中提到了計算語言學、自然語言處理、人工智慧還有非常大的進步空間，但我們不免還是能從過去的研究中，看出發展的脈絡。

但今天，我們不再講機器學習，讓我把視角稍微拉大，在鐵人賽的最後，來簡單聊聊「人工智慧」。

關於人工智慧

在 Kate Crawford 所撰寫的《人工智慧最後的秘密》一書中，一開始提到了「聰明漢斯」。「聰明漢斯」是一匹能夠計算數學、告知時間、辨識日期以及音符，還可以拼出文法跟句子。訓練者馮・奧斯頓在一開始訓練這匹馬時，透過握住馬匹的腿，讓他學習數字，並引導馬匹用馬蹄敲出正確的答案作為回應。他發現漢斯非常能理解人類智慧才能掌握的概念，於是便聲稱「動物也能推理」。經過教育局組成的委員會，其中的心理學家斯圖姆夫以及芬斯特，再加上其他研究者的檢驗，發現不管奧斯頓是否在場，漢斯都能夠回答出正確答案；但也發現，如果提問者不知道正確答案，或是站得離馬匹很遠，那漢斯就很少給出正確答案。

後來芬斯特就發現，提問者的姿勢、呼吸和臉部表情，會在提問者移動到正確答案時，出現細微的變化；漢斯感知到這些變化後，便能在正確答案時停下動作，最後解答出正確答案。而提問者通常不知道自己給了馬匹線索。

有趣的是，奧斯頓的馬匹後來流入了市場，情感以及經濟上的刺激還有投資，吸引了社會在財務、文化以及科學研究上的關注

當我們把這個「聰明漢斯效應」，或是「觀察者期望效應」放在機器學習上，其實就代表著今天人類，以及透過資料所訓練的機器學習模型之間的關係。我們很難得知機器學習模型從資料中學習到了什麼，透過模型，我們可以基於需求輸出理想的資料結果，但我們不知道為什麼模型會輸出這樣的結果，因為機器學習模型從資料學到了什麼，基本上無從得知。

「聰明漢斯效應」的迷思

Crawford 在書中提到，從「聰明漢斯」的案例，可以發現兩種迷思。首先，我們假設非人系統比擬作人類心智，也就是說，只要給出夠多的資料，並以足夠的資源經過適當的訓練，就能打造出與人類相似的智慧，但卻忽略了人類是以什麼形式，不管是文化、科學，亦或是歷史、政治形式，與社會互動。第二個迷思則是，智慧是獨立存在的，智慧並不會影響社會的運作形式，也不會與歷史、政治、力量，以及文化層面有任何牽扯。

人工智慧的真相

但在現代社會中，人工智慧的掌握者，事實上，就代表了權力所在。從 Crawford 的觀點來看，人工智慧既非人工，也不是智慧。這是因為人工智慧並非自主學習，也不是理性且無所不察的，如同先前介紹的那些語言學習模型，只要有大型的資料集，或是對這些資料集預先定義好的標籤等等，進行廣泛密集運算的訓練。要進行這些模型的訓練，需要極為大量運算資源，這也就仰賴擁有這些資源以及資本的大企業，為了保有這些資源，人工智慧也有很大一部分是基於優勢階層的利益所建置。一旦這些人工智慧大量融入我們日常生活當中，成為我們日常生活的微觀權力，便會像是拉大貧富差距等，在在影響人類社會以及文化。

那要如何有意識地對人工智慧的機器學習模型進行掌控，我認為可以從以下幾點做起。

資料的合理運用

我們就該因為這樣就放棄使用人工智慧嗎？筆者我本人倒也覺得不必要因此而因噎廢食。我們反倒更應該以更多不同面向以及角度去看待人工智慧，並小心處理每一個細節。我認為留意資料的使用就是一點，且可以從兩個角度出發。

1. 作爲一般公民，有意識地掌握自身資料如何為人所用

在這個時代，我們能做到的，就是要有意識掌握自身資料的使用方式。現在在使用各種雲端服務時，公司都會需要你加入會員方可使用。只是在註冊的過程中，資料很容易就會被拿去做別的用途。所以在輸入任何資料的場合，都要知道自己的資料可能會被拿去做什麼事情，並有意識地去保護自己的資料。

2. 作為資料處理者，有意識地仔細審閱資料的合適性

作為進行自然語言處理研究的我們，在處理語言資料時，也要小心資料的運用上，是否符合需求，以及這些資料是否有害，以及是否會造成模型偏誤，導致模型無法達成我們的需求。畢竟資料會影響模型的每一步決策，因此更要小心處理。

❗資料為何重要？

資料的選擇不當，很有可能會造成模型偏誤，甚至影響到社會架構，我們來舉以下例子，來說明資料的重要性。訓練模型的過程中，通常都會需要取得大量的資料，而這些來源通常都來自過去的工作人員所收集的，但難保這些資料的運用，都是在一個公平且透明的框架下進行。在《大數據的傲慢與偏見》一書中就舉了一個例子：假如問一名在舒適市郊社區長大的犯人「第一次與警方交手的狀況」，他可能除了導致他入獄的那件事之外，就再也沒有跟警方交手的經驗；但若是年輕男性黑人，可能就並不是這樣。紐約公民自由聯盟的研究發現，雖然 14-24 歲的黑人跟拉美裔男性僅佔紐約 4.7%，但警方臨檢的比例卻有 40% 的盤查對象卻屬於這一群人。而這項問題的結果則會納入美國犯罪的再犯模型當中，導致警察巡邏的範圍區域，就會有極大的偏差，更因為有些未成年，並不如富人區的孩子幸運，可能會喝酒或藏有大麻而因此惹上麻煩，卻也因為這個再犯模型誤了一生，導致惡性循環。所以即使問卷中並沒有加入種族問題（因為畢竟不可能問說你是黑人還是白人），但資料仍然會有隱性的偏見存在。

為了要解決這項問題，模型的解釋能力，還有解釋性人工智慧（Explainable AI, XAI）就成為一個近年最重要的議題。

解釋性人工智慧

所謂的解釋性人工智慧，就是藉由一系列方法，將 「黑盒子模型」 打開，了解人工智慧的決策方式，讓人類更容易理解機器學習模型，以及模型進行決策的方式。首先，我們先從黑盒子開始講起：

在圖中，我們可以看到哆啦A夢拿出了一台機器，並跟大雄說，只要將手塚治虫的漫畫丟進機器中，機器就如哆啦A夢所說：「變成手塚老師了」，最後，機器會產出一本類似於原子小金剛的漫畫（因為畢竟他是手塚治虫老師嘛！）我們從中可以發現一件事：

我們並不知道哆啦A夢的機器是怎麼學習手塚老師的畫風、劇本能力。

哆啦A夢的這個道具，就是一種黑盒子模型。而至今為止我們所學到的那些統計語言模型，循環神經網路、長短期記憶模型、GRU，乃至於 Transformer、BERT，都屬於黑盒子模型，因為我們無從得知模型如何產出當下的結果，只知道模型能夠解決任務，僅僅如此而已。但準確度不該是模型該追求的目標，應該說，人類該如何為模型制定適當的準確度標準，才是應該思考的方向。藉此預防像是在科幻電影《2001太空漫遊》中，人工智慧最後決定殺死船艦上的所有人類，僅僅是因為任務「重要到無法允許這些人類阻礙完成任務」。

我們可以從三個方向，與預測結果搭配，藉此來提升模型解釋能力。

模型驗證能力（Model Validation）

我們可以藉由檢查機器學習模型是否存在「偏誤」，也就是如前面所説，模型是否只針對特定族群的資料進行訓練，以及這些「毒性」資料是否影響著模型的決策。另外，敏感私人資訊也必須進行適當的去識別化，以保護個人資訊的外流（例如法律資訊、醫療隱私等）

模型偵錯能力（Model Debugging）

為了保證模型的可靠度與精實度，模型必須要能夠偵錯。我們必須了解機器模型背後產出結果的原因以及理由。也就是說，輸入資料的細微更動，不會大幅度地改變預測結果，這麼做可以減少混淆模型的風險。因此，更需要賦予模型透明性與詮釋性，以便在模型出現不當現象或是不合理預測時進行偵錯。

了解領域知識（Knowledge Discovery）

我們必須要確認模型是否真正理解某特定過程以及事件。也就是說，僅僅進行預測是不適當的，仍要必須解釋並了解案例中的因果關係。例如過去預測肺炎致死率的模型顯示，患有氣喘疾病可以降低肺炎死亡的風險。但事實上這是因為氣喘病患可以得到更多醫療上的治療。這其實就顯示了模型解釋能力的重要性。

結語：終點，是旅程的一部分

最後，如同引言所說，「終點，是旅程的一部分。」雖然三十天的旅程在這邊要畫下句點了，感謝各位的陪伴，但這不代表是我學習的終點。自然語言處理的旅程，對我來說還有非常長一段路要走，對於這個領域的研究，有著更多需要我去探索的新世界，希望在接下來的旅程中，能夠繼續保有我所重視的，增長我所需要的，並開拓我所感興趣的。魯夫還沒到達拉乎德爾，但曾經說過，在這片大海上，最自由的就是海賊王；我在還沒成為那個令自己滿意的自己之前，只要能夠維持初衷、維持好奇、維持求知，那這一切的辛苦也就值得了。