米蘭牛角尖

逐漸發展出成熟人工智慧的人類，藉由電影、小說、文本揮灑著人類的想像，描繪出在後人類時代，身為萬物之靈的我們，該如何自處的觀點與逐漸對未來失去控制的焦慮。在電影《A.I.人工智慧》中，為人類未來描繪出了後末日的想像，在全球暖化後的社會，海平面的上升淹沒了現今仍富有繁榮的曼哈頓，會生老病死的人類也開發出了有感情、同時也超越人類極限的機器人，以彌補內心無法逾越的匱乏，同時卻又害怕機器人影響人類在社會上

「終點，是旅程的一部分。」東尼・史塔克《復仇者聯盟4：終局之戰》 最後一天，我想來談談 「人工智慧」。 在過去的旅程中，我們花了將近一半的篇幅在討論機器學習模型。從一開始的 N-Gram、BoW、樸素貝氏分類模型、羅吉斯迴歸，一直到深度學習的神經網路模型，像是循環神經網路、長短期記憶，還有利用自注意力機制的 Transformer，還有踩在巨人肩膀上，使用預訓練模型完成任何任務的 BERT，是

終於快要到鐵人賽的尾聲，在處理 NLP 任務的時候，除了要瞭解不同語言模型的內部架構、功能，還有這些模型適合的不同任務內容，有時候也會需要學習其他技能，來幫助你執行 NLP 的任務。所謂的其他技能，除了最基本的程式語言之外（不一定是 Python），我們昨天以及前天所說的網路爬蟲，就是除了模型以外，處理自然語言處理任務上，可能會需要學習的。那由於時間的關係，再加上這些主題有太多內容可以講，所以今天

聖誕快樂！你這骯髒的小畜生！《小鬼當家2》 昨天我們把所有寫爬蟲時可能會需要的先備知識都學起來了，今天就要直接進入爬蟲主題啦！以往我在教同學寫網路爬蟲的時候，我都會用一個我自己原創的比喻：聖誕節大採購！且聽我娓娓道來吧！ 爬蟲出動！過去從來沒有接觸過網路爬蟲的人，可能會覺得爬蟲是一個很難理解的技術，對初學者而言就更不用說了。但其實爬蟲的概念很簡單，就是： 把所有要爬網頁瀏覽一遍，把我們要的資

在我們過去一起經歷的旅程中，我們從一開始的正規表達式、詞頻、N-Gram，一直到機器學習，像是貝氏分類器、羅吉斯迴歸等等，接著又講到了深度學習，利用神經網路來進行自然語言處理，比如說像是循環神經網路、長短期記憶等等，後來又發展出了自注意機制，有了 Transformer 以及 BERT 還有他的芝麻街小夥伴，又學到了以語言學基礎的工具 Articut 以及 Loki。 我們一起學習了好多好多的語言

你所做的這些浮誇的浪漫舉動—其實你做的、你所說的根本一點都不重要，真正重要的是你的意圖。真正重要的是你願意花時間在那個你在乎的人身上，告訴他：「我願意就這樣看著你，也願意聆聽你的聲音。」我很清楚，你現在需要的是什麼，然後我現在在告訴你，你知道這件事情，對我來說有多麼重要。Jack Pearson《這就是我們》 昨天分享了 Articut ，今天來介紹 Loki。 有了 Articut 的基礎，

我們尋找的並不應該是英雄，而是一個好的想法Noam Chomsky 前言還記得碩一下的時候，Lab 的老師找了以前一個現在在擔任軟體工程師的同學來課堂上演講，還有職涯分享。這位工程師說：「自然語言處理在台灣還不算特別盛行，但我覺得有慢慢被重視的感覺。就像每年 台灣PyCon 都會有一位名字叫 PeterWolf 的人，都會在 PyCon 上分享自然語言處理的技術，我覺得他超級猛。」 心想，真巧

別想太多，做就對了！《捍衛戰士：獨行俠》 前兩天我們已經了解 BERT 的內部運作，還有 BERT 在進行語言處理上的一些缺陷。今天不聊理論，我們來簡單一一解析 Tensorflow 的官方教學 沒錯，又是 Tensorflow 了喔，並結合前兩天所學到的知識，來對教學中程式碼進行剖析。由於 BERT 的應用實在太多了，所以今天只會提到最簡單的情緒文本分析，也就是先前所說的多對一文本分類，若各

真正掌握權力的人，通常都躲在表面上有權力的人後面，操控著一切。法蘭西斯・安德伍德《紙牌屋》 這幾天在研究 BERT 的時候想著，如果要拿流行文化來比喻的話，可以用什麼。嗯…利用別人達到更好的成就、亦正亦邪，表現上看起來風風光光，但其實細思極恐，突然想到，還能有比紙牌屋的主角法蘭克還要更好的比喻了嗎？法蘭克也是為了要達成自己的目標，不斷踩在別人（屍）身前進，表面上看起來很厲害，但站上高位之後，卻

在這裡，你可以盡情揮灑你的想像力，不覺得這很令人難以想像嗎？《芝麻街》Elmo 在過去幾天的旅程中，我們了解如何利用各種神經網路模型來幫助我們處理不同自然語言處理任務，計算語言學家接著也基於前面講過的那些神經網路模型，陸續發展了許多其他新型態的語言模型，例如：基於BiLSTM的ELMo。我想應該是研究太苦悶了，或者說是一種惡趣味吧？自然語言處理專家特別喜歡用芝麻街的角色來為這些語言模型命名，