Hao-Yun's Geekbase

在這裡，你可以盡情揮灑你的想像力，不覺得這很令人難以想像嗎？《芝麻街》Elmo 在過去幾天的旅程中，我們了解如何利用各種神經網路模型來幫助我們處理不同自然語言處理任務，計算語言學家接著也基於前面講過的那些神經網路模型，陸續發展了許多其他新型態的語言模型，例如：基於BiLSTM的ELMo。我想應該是研究太苦悶了，或者說是一種惡趣味吧？自然語言處理專家特別喜歡用芝麻街的角色來為這些語言模型命名，

啊！好久沒有實作了，不曉得各位還記不記得怎麼寫 Python 呢？今天的這篇文章將主要以實作為主，簡單地介紹如何搭建出我們在過去幾天的旅程中，學到的那些形形色色的深度學習模型：LSTM、GRU，以及兩者的雙向版本，也就是BiLSTM、以及BiGRU。不過，你可能已經發現，咦？那單純的 RNN 呢？事實上，在自然語言處理的實務中，由於先前提過的那些缺失，如記性不好等問題，已經很少人使用單純的 RNN

空頭不死，多頭不止；多頭不死，空頭不止不詳 在股票市場中，人人著稱的一句話：「空頭不死，多頭不止；多頭不死，空頭不止。」意思是，如果股價在下降的趨勢時中，如果想一直有抄底，期望做反彈的人不斷進場的話，那麼市場就會不斷下跌。我想我在這裡可以再多加一句： 單頭一有，強到流油；注意多頭，更上層樓！By me 只是差別是，一個在講的是股市走向及股民心理，另一個則是在講 Attention Is A

如果我能看得更遠，那是因為站在巨人的肩膀上。牛頓 經過了前幾天的旅程，相信大家對於運用在自然語言處理的神經網路，應該已經有了一定程度的認識。神經網路是深度學習的起點，我們一路從機器學習一直到現在的深度學習，其實都依循著一定的脈絡在往前走。不知道大家是否還記得我們在旅程一開始的時候曾經說過，為了要讓機器學習模型理解文字，首要工作是要將文字轉換成數字，因此發展出了許多如詞頻、TF-IDF等以詞為模

我們透過最具革新性且客製化的裝修結構，將兩片晶片合在一起。這種雙晶片的結構領先於現今業界的任何一種晶片。Apple Event, March 8, 2022, Introduction to Apple M1 Ultra 不知道你是否記得，我們在圓圓圈圈圓圓～深度學習：循環神經網路 RNN、跟你我一樣選擇性記憶的神經網路？深度學習：長短期記憶 LSTM，以及每天成為更好的自己！神經網路也是！深

今天沒有引言，但是有梗圖 前天的文章介紹了基本的循環神經網路RNN，但RNN的致命缺點是容易導致梯度下降或是梯度爆炸。為了要解決這個問題，必須在以下兩點有所突破： 優化梯度演算法 在神經網路的節點中，設計較好的激勵函數（activation function） 昨天的文章所介紹的長短期記憶神經網路模型選擇往第二點的方向突破，在神經網路節點中加入了輸入閥（input gate）、遺忘閥（

記憶是個很奇妙的東西。他並不如我想像中那樣運作的。我們太受限於時間了，尤其是時間的順序…《異星入境》Louise Banks 昨天我們剛介紹完循環神經網路（Recurrent Neural Network），提到說雖然循環神經網路很常被拿來利用在自然語言處理上，原因是因為循環神經網路有記憶的功能，可以考慮到輸入文本的上下文關係，並藉此來達到更好的效果。 但再厲害的技術，也都會有它優缺點，就如同

對啊，這也是一種世界。也是我心中的可能性。現在的我並不只是我，還可以有很多種自我。《新世紀福音戰士》碇真嗣 循環神經網路（Recurrent Neural Network），作為神經網路的其中一種變體，是在所有神經網路的模型中，最常被拿來應用在自然語言處理任務的模型之一。原因有二，首先，相對於其他的神經網路模型，循環神經網路模型的輸入資料較為彈性，意即當其他的神經網路只能接受固定的字數時，循環

在夜城，不要相信任何人，受到背叛也是自己的錯…琦薇《電馭叛客：邊緣行者》 我很喜歡賽博龐克風格的相關作品，像是銀翼殺手、攻殼機動隊，都是我很愛的作品。最近在看《電馭叛客：邊緣行者》（好看，推薦大家去看），在動畫中，或是說在賽博龐克風格作品中的人物，為了要達到更高更強大的身體能力，會用電子零件（像是電子手臂，或是增快移動速度的軍事武器植入物等）將身體的一部分改造。而在電馭叛客中有個名詞：神機錯亂

人類與動物的學習大都是非監督學習。所以說如果「智慧」是一塊蛋糕，那麼非監督學習才是蛋糕本體，監督學習則是那層糖霜，強化學習不過是上頭的櫻桃。Most of human and animal learning is unsupervised learning. If intelligence was a cake, unsupervised learning would be the cake,