1. 人工智能1.0時代

1.1. 推理與搜索佔據主導

1.2. 達特茅斯會議後的20年，是人工智能1.0時代

1.3. 符號主義幾乎主導了人工智能領域的研究，推理和搜索成為人們的主要研究對象，啓發式搜索、知識表示和機器翻譯等技術獲得了很大的發展

1.4. 1956年IBM公司科學家亞瑟·塞繆爾在電視上首次展示了會下西洋跳棋的人工智能程序，給當時的人們留下了很深的印象

• 1.4.1. 可以記住17500張棋譜，在實戰中能自動分析哪些棋步源於書上推薦的走法，準確率達48%

• 1.4.2. 跳棋程序就戰勝了塞繆爾本人，到1962年它甚至擊敗了美國一個州的跳棋冠軍

• 1.4.3. 基本原理是“搜索式推理”算法

• 1.4.4. 一旦“迷宮”過大，盲目式搜索（暴力計算）的效率過低，走完“迷宮”所花的時間就太長

1.5. 鑑於人工智能1.0時代的計算效率低下，處理稍微複雜一些的問題時，盲目式搜索就顯得力不從心了

1.6. 啓發式的搜索，就是利用常識或者邏輯推理來迅速縮小搜索範圍，這與人類的思維方式類似

• 1.6.1. 在解決實際問題時，人們通常不會尋求全局最優解，而是尋求可以用的結果（滿意解）​，因此很快就能在浩如煙海的結果中找到自己想要的

• 1.6.2. 紐厄爾和司馬賀研發的“邏輯理論家”和“通用問題求解器”(general problem solver, GPS)，IBM公司赫伯特·格林特(Herbert Gelernter)發明的“幾何定理證明機”​，都屬於“啓發式搜索”領域的出色成

1.7. 啓發式搜索最成功的應用領域是機器定理證明

• 1.7.1. 1956年，​“邏輯理論家”程序可用來證明羅素、懷德海所著《數學原理》中的許多定理

• 1.7.2. 1959年，​“幾何定理證明機”能夠做一些中學的幾何題，速度與學生相當

• 1.7.3. 1960年，美籍華人科學家王浩在IBM 704機器上編寫程序，證明了羅素、懷德海《數學原理》中的幾乎所有定理

1.8. 麻省理工學院科學家約瑟夫·魏澤堡(Joseph Weizenbaum)開發的聊天機器人“Eliza”​

1.9. 明斯基的學生丹尼爾·鮑勃羅(Daniel Bobrow)創建的自然語言理解程序“STUDENT”​

1.10. 1957年，美國康奈爾航天實驗室科學家弗蘭克·羅森布拉特(Frank Rosenblatt)參考生物學原理，在IBM 704計算機上實現了“感知機”(Perceptron)模型

• 1.10.1. 感知機是一種簡單的神經網絡結構，與多層神經網絡的“輸入層—隱藏層—輸出層”結構不同，它只包含輸入層和輸出層

• 1.10.2. 受硬件限制，感知機所需的超大計算量無法實現

• 1.10.3. 感知機連最基本的布爾函數異或運算(XOR)都做不到

1.11. 第一輪人工智能寒冬

• 1.11.1. 1973年，英國數學家詹姆斯·萊特希爾(James Lighthill)受英國科學研究委員會委託撰寫了《萊特希爾報告》​，批評人工智能無法實現其宏偉目標，尤其指出了當時的人工智能對“組合爆炸”問題無可奈何

2. 人工智能2.0時代

2.1. 專家系統引領商業潮流

2.2. 到了人工智能2.0時代，專家系統可以包含某個領域大量專家水平的知識或經驗，用於處理這個領域中普通甚至是困難的問題

• 2.2.1. 專家系統能夠根據該領域已有的知識或經驗進行推理和判斷，從而做出媲美人類專家的決策

2.3. 世界上第一個專家系統程序DENDRAL

• 2.3.1. DENDRAL內嵌有化學家們的知識和質譜儀的數據，可以根據有機化合物的分子式和質譜圖，從海量的分子結構中判斷出哪一個是正確的

2.4. 醫學專家系統MYCIN最負盛名

• 2.4.1. 20世紀70年代，斯坦福大學博士生愛德華·肖特立夫(Edward Shortliffe)在布魯斯·布坎南(Bruce Buchanan)和費根鮑姆等人的指導下，利用LISP語言寫出了用於診斷血液傳染病的專家系統MYCIN

• 2.4.2. MYCIN具有450條規則，其推導患者病情的過程與專家的推導過程相似，因此可以在部分程度上替代人類

• 2.4.3. MYCIN系統開處方的正確率達到了69%，這要比初級醫師的表現更好，但與專業從事細菌感染的醫師（正確率80%）相比還是差了一些

2.5. 1982年，美國生物物理學家約翰·霍普菲爾德發明了新型的異步網絡模型，後被稱為“Hopfield網絡

2.6. 1986年，美國心理學家大衞·魯梅哈特(David Rumelhart)和加拿大計算機科學家傑弗裏·辛頓重新提出了反向傳播(BP)算法

• 2.6.1. 1974年保羅·沃伯斯就提出了，但未受到重視

2.7. 第二輪“人工智能寒冬”​

• 2.7.1. 蘋果和IBM台式機的高性能使運行Lisp語言的機器失去了存在的價值

• 2.7.2. 專家系統難以升級維護，其實用性僅僅侷限於某些特定領域

• 2.7.3. 第五代計算機計劃失敗，人們已經意識到理想與現實的巨大差距

3. 人工智能3.0時代

3.1. 自20世紀90年代以來，機器學習領域相繼誕生了卷積神經網絡(CNN)、支持向量機(SVM)、隨機森林(RF)和循環神經網絡(RNN)等一系列算法，在語音識別、圖像識別、人臉檢測、自然語言處理、推薦系統和垃圾郵件過濾等領域獲得了實際應用

3.2. 數據對人工智能發展的重要性不言而喻

• 3.2.1. 數據就是人工智能時代的“新石油”​

3.3. 1983年，Internet的前身ARPANET（由ARPA開發）開始啓用TCP/IP協議，標誌着計算機網絡時代的來臨

3.4. 1984年，蘋果公司推出了改變世界的產品—Macintosh（麥金塔）​，雖然CPU主頻只有6MHz，但功能和用户體驗卻已經相當接近今天的電腦

3.5. 1989年，英國計算機科學家蒂姆·伯納斯·李發明了轟動世界的World Wide Web，掀開了互聯網發展的新篇章

3.6. 2000年英特爾公司推出的奔騰處理器主頻就達到1.5GHz，Wintel（微軟＋英特爾）聯盟使PC機真正普及了

3.7. 進入人工智能3.0時代初期，機器學習領域被支持向量機所支配，神經網絡算法則黯然失色

3.8. 機器學習本身涉及的理論極廣，包括計算機科學、概率論、統計學、函數逼近論、控制論和決策論等，是一門極為深度交叉的學科

• 3.8.1. 機器學習算法還包括有監督學習、無監督學習（無樣本標註）​、半監督學習（少量樣本標註）和強化學習（通過試錯學習）等，它們都有各自適用的場景

• 3.8.2. 最早的機器學習算法，要算1949年唐納德·赫布(Donald Hebb)提出的“赫布理論”​

• 3.8.3. 1952年亞瑟·塞繆爾開發的跳棋程序也包含了簡單的機器學習算法

• 3.8.4. 1959年，塞繆爾正式提出了機器學習的概念，他因此被稱為機器學習的鼻祖

• 3.8.5. 1974年，保羅·沃伯斯首次提出了反向傳播算法和多層感知機(MLP)

• 3.8.6. 1986年，大衞·魯梅哈特和傑弗裏·辛頓提出了MLP與BP訓練相結合的思路

• 3.8.7. 1989年，羅伯特·夏皮爾(Robert Schapire)提出了一種多項式級的算法Boosting，並於數年後提出了改進的AdaBoost算法

• 3.8.8. 1990年，楊立昆借鑑動物視覺神經系統，提出了卷積神經網絡算法

• 3.8.9. 1991年，慕尼黑工業大學的學生塞普·霍克賴特(Sepp Hochreiter)在答辯論文中指出，採用反向傳播算法訓練多層神經網絡時會發生梯度損失，使得模型訓練超過一定迭代次數後會產生過擬合（模型把數據學習得太徹底，以至於把噪聲數據的特徵也學到了，導致不能正確地識別數據）​

• 3.8.10. 1995年，弗拉基米爾·萬普尼克(Vladimir Vapnik)和科林納·科爾特斯(Corinna Cortes)提出了支持向量機(SVM)算法（一種快速可靠的分類算法）​

• 3.8.10.1. 支持向量機無疑是機器學習領域的一項重大突破

• 3.8.10.2. SVM算法具有完善的數學理論（統計學和凸優化等）作為支撐，無需大量數據和計算資源即可工作，在人像識別、文本分類、筆跡識別和生物信息學等模式識別領域有着出色的表現，在商業上也獲得了突出的成就

• 3.8.10.3. 在誕生後的20年裏，SVM在許多之前由神經網絡佔據的任務中獲得了更好的效果，神經網絡已無力和SVM競爭

• 3.8.11. 2001年，隨機森林被提出

3.9. 深度學習的發展並沒有特別清晰的脈絡，很多算法是不同流派的學者根據不同機制發明的

3.10. 直到2012年，深度神經網絡獲得突破，人工智能進入了深度學習時代

• 3.10.1. 深度學習再領風潮

• 3.10.2. 神經網絡再次捲土重來，主導了人工智能領域的發展

3.11. GAN算法使得一些監督學習問題慢慢過渡到無監督學習，而無監督學習才是自然界中普遍存在的，GAN因此掀起了深度學習的新一波高潮

3.12. 目前的深度學習算法強烈依賴海量數據和超高算力，同時具有解釋性差、難以遷移、無法判斷數據準確性等問題，亟待理論層面的重大變革