【大學數(shù)學】重新理解系列之二：現(xiàn)代數(shù)學的體系

《【大學數(shù)學】重新理解系列之二：現(xiàn)代數(shù)學的體系》由會員分享，可在線閱讀，更多相關《【大學數(shù)學】重新理解系列之二：現(xiàn)代數(shù)學的體系（15頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、【大學數(shù)學】重新理解系列之二：現(xiàn)代數(shù)學的體系 ?。哼@篇文章轉載自人人網(wǎng)“彭成的日志”。 MIT牛人解說數(shù)學體系 在過去的一年中，我一直在數(shù)學的海洋中游蕩，research進展不多，對于數(shù)學世界的閱歷算是有了一些長進。 為什么要深入數(shù)學的世界 【學數(shù)學的目的，帶著問題和目的去學習各門學科，效率超高?！? 作為計算機的學生，我沒有任何企圖要成為一個數(shù)學家。我學習數(shù)學的目的，是要想爬上巨人的肩膀，希望站在更高的高度，能把我自己研究的東西看得更深廣一些。 【數(shù)學能交給人抽象思維，能抓住問題的本質(zhì)和共性，而學習理解抽象代數(shù)就是非常好的方式，可惜哥不懂抽象代數(shù)啊。。?！? 說起來，我在

2、剛來這個學校的時候，并沒有預料到我將會有一個深入數(shù)學的旅程。我的導師最初希望我去做的題目，是對appearance和motion建立一個unified的model。這個題目在當今Computer Vision中百花齊放的世界中并沒有任何特別的地方。事實上，使用各種Graphical Model把各種東西聯(lián)合在一起framework，在近年的論文中并不少見。 我不否認現(xiàn)在廣泛流行的Graphical Model是對復雜現(xiàn)象建模的有力工具，但是，我認為它不是panacea，并不能取代對于所研究的問題的深入的鉆研。如果統(tǒng)計學習包治百病，那么很多 “下游”的學科也就沒有存在的必要了。事實上，開始的

3、時候，我也是和Vision中很多人一樣，想著去做一個Graphical Model——我的導師指出，這樣的做法只是重復一些標準的流程，并沒有很大的價值。經(jīng)過很長時間的反復，另外一個路徑慢慢被確立下來——我們相信，一個圖像是通過大量“原子”的某種空間分布構成的，原子群的運動形成了動態(tài)的可視過程。微觀意義下的單個原子運動，和宏觀意義下的整體分布的變換存在著深刻的聯(lián)系——這需要我們?nèi)グl(fā)掘。 【他給出了需要解決研究問題，怎么用數(shù)學刻畫這些問題。】 在深入探索這個題目的過程中，遇到了很多很多的問題，如何描述一個一般的運動過程，如何建立一個穩(wěn)定并且廣泛適用的原子表達，如何刻畫微觀運動和宏觀分布變換的

4、聯(lián)系，還有很多。在這個過程中，我發(fā)現(xiàn)了兩個事情： · 我原有的數(shù)學基礎已經(jīng)遠遠不能適應我對這些問題的深入研究。 【數(shù)學在“高精尖”中的作用非常之大。如果把數(shù)學比作一種編程語言，沒有學習數(shù)學的人只會機器語言和匯編語言，而掌握了數(shù)學這一工具的人會c、java、matlab等，解決問題的效率和手段不可同日而語。用匯編語言寫出一個操作系統(tǒng)是多么不可思議的事情。編程語言在進化，數(shù)學也是。】 · 在數(shù)學中，有很多思想和工具，是非常適合解決這些問題的，只是沒有被很多的應用科學的研究者重視。 【可以看看我之前的一篇日志“數(shù)學有什么用處？【轉】（寫這篇文章的人視眼很寬廣）”】 于是，我決心開始深入

5、數(shù)學這個浩瀚大海，希望在我再次走出來的時候，我已經(jīng)有了更強大的武器去面對這些問題的挑戰(zhàn)。 【數(shù)學能給他的研究工作提供強有力的武器?！? 我的游歷并沒有結束，我的視野相比于這個博大精深的世界的依舊顯得非常狹窄。在這里，我只是說說，在我的眼中，數(shù)學如何一步步從初級向高級發(fā)展，更高級別的數(shù)學對于具體應用究竟有何好處。 【數(shù)學的抽象（進化）與應用】 集合論：現(xiàn)代數(shù)學的共同基礎 現(xiàn)代數(shù)學有數(shù)不清的分支，但是，它們都有一個共同的基礎——集合論——因為它，數(shù)學這個龐大的家族有個共同的語言。集合論中有一些最基本的概念：集合(set)，關系(relation)，函數(shù)(function)，等價 (equi

6、valence)，是在其它數(shù)學分支的語言中幾乎必然存在的。對于這些簡單概念的理解，是進一步學些別的數(shù)學的基礎。我相信，理工科大學生對于這些都不會陌生。 【集合論是現(xiàn)代數(shù)學的基礎，數(shù)學研究空間與關系，而空間是集合+結構，關系是空間到空間的映射（或推廣）】 不過，有一個很重要的東西就不見得那么家喻戶曉了——那就是“選擇公理” (Axiom of Choice)。這個公理的意思是“任意的一群非空集合，一定可以從每個集合中各拿出一個元素?！薄坪跏秋@然得不能再顯然的命題。不過，這個貌似平常的公理卻能演繹出一些比較奇怪的結論，比如巴拿赫-塔斯基分球定理——“一個球，能分成五個部分，對它們進行一系列

7、剛性變換（平移旋轉）后，能組合成兩個一樣大小的球”。正因為這些完全有悖常識的結論，導致數(shù)學界曾經(jīng)在相當長時間里對于是否接受它有著激烈爭論?，F(xiàn)在，主流數(shù)學家對于它應該是基本接受的，因為很多數(shù)學分支的重要定理都依賴于它。在我們后面要回說到的學科里面，下面的定理依賴于選擇公理： 1. 拓撲學：Baire Category Theorem 2. 實分析（測度理論）：Lebesgue 不可測集的存在性 3. 泛 函分析四個主要定理：Hahn-Banach Extension Theorem, Banach-Steinhaus Theorem (Uniform boundedness princ

8、iple), Open Mapping Theorem, Closed Graph Theorem 【選擇公理的強大之處，沒有選擇公理很多漂亮的定理就沒有依據(jù)，但選擇公理只是充分條件，不是必要條件；如果能找到一個稍微弱一點的條件，也能建立這些體系，而不至于引入悖論，就很精彩了。哥德爾不完備定理說了任何一個公理體系不能包含所有知識？】 在集合論的基礎上，現(xiàn)代數(shù)學有兩大家族：分析(Analysis)和代數(shù)(Algebra)。至于其它的，比如幾何和概率論，在古典數(shù)學時代，它們是和代數(shù)并列的，但是它們的現(xiàn)代版本則基本是建立在分析或者代數(shù)的基礎上，因此從現(xiàn)代意義說，它們和分析與代數(shù)并不是平行的關系

9、。 【代數(shù)和分析是現(xiàn)代數(shù)學的主流，概率和幾何使用代數(shù)和分析的工具來解決其問題?！? 分析：在極限基礎上建立的宏偉大廈 微積分：分析的古典時代——從牛頓到柯西 先說說分析(Analysis)吧，它是從微積分(Caculus)發(fā)展起來的——這也是有些微積分教材名字叫“數(shù)學分析”的原因。不過，分析的范疇遠不只是這些，我們在大學一年級學習的微積分只能算是對古典分析的入門。分析研究的對象很多，包括導數(shù)(derivatives)，積分(integral)，微分方程(differential equation)，還有級數(shù)(infinite series)——這些基本的概念，在初等的微積分里面都有介紹。

10、如果說有一個思想貫穿其中，那就是極限——這是整個分析（不僅僅是微積分）的靈魂。 【再強調(diào)一下：極限是分析的靈魂?。?！也可以說分析的本質(zhì)就是極限，歐拉的“無窮小分析引論”是數(shù)學的七大名著！】 一 個很多人都聽說過的故事，就是牛頓(Newton)和萊布尼茨 (Leibniz)關于微積分發(fā)明權的爭論。事實上，在他們的時代，很多微積分的工具開始運用在科學和工程之中，但是，微積分的基礎并沒有真正建立。那個長時間一直解釋不清楚的“無窮小量”的幽靈，困擾了數(shù)學界一百多年的時間——這就是“第二次數(shù)學危機”。直到柯西用數(shù)列極限的觀點重新建立了微積分的基本概念，這門學科才開始有了一個比較堅實的基礎。直到今天，

11、整個分析的大廈還是建立在極限的基石之上。 【微積分的認識從萊布尼茲的無窮小=>柯西數(shù)列序列=>威爾斯特拉斯的epsilon，delta=>羅賓遜的非標準分析（類似無窮?。?，一直都在圍繞著無窮和極限來展開和前進?！? 柯西(Cauchy)為分析的發(fā)展提供了一種嚴密的語言，但是他并沒有解決微積分的全部問題。在19世紀的時候，分析的世界仍然有著一些揮之不去的烏云。而其中最重要的一個沒有解決的是“函數(shù)是否可積的問題”。我們在現(xiàn)在的微積分課本中學到的那種通過“無限分割區(qū)間，取矩陣面積和的極限”的積分，是大約在1850年由黎曼(Riemann)提出的，叫做黎曼積分。但是，什么函數(shù)存在黎曼積分呢（黎曼可積

12、）？數(shù)學家們很早就證明了，定義在閉區(qū)間內(nèi)的連續(xù)函數(shù)是黎曼可積的?？墒牵@樣的結果并不令人滿意，工程師們需要對分段連續(xù)函數(shù)的函數(shù)積分。 【什么函數(shù)黎曼可積？黎曼可積的充要條件是什么？在實變函數(shù)中回答了此問題?！? 實分析：在實數(shù)理論和測度理論上建立起現(xiàn)代分析 在 19世紀中后期，不連續(xù)函數(shù)的可積性問題一直是分析的重要課題。對于定義在閉區(qū)間上的黎曼積分的研究發(fā)現(xiàn)，可積性的關鍵在于“不連續(xù)的點足夠少”。只有有限處不連續(xù)的函數(shù)是可積的，可是很多有數(shù)學家們構造出很多在無限處不連續(xù)的可積函數(shù)。顯然，在衡量點集大小的時候，有限和無限并不是一種合適的標準。在探討“點集大小”這個問題的過程中，數(shù)學家發(fā)現(xiàn)實數(shù)

13、軸——這個他們曾經(jīng)以為已經(jīng)充分理解的東西——有著許多他們沒有想到的特性。在極限思想的支持下，實數(shù)理論在這個時候被建立起來，它的標志是對實數(shù)完備性進行刻畫的幾條等價的定理（確界定理，區(qū)間套定理，柯西收斂定理，Bolzano-Weierstrass Theorem和Heine-Borel Theorem等等）——這些定理明確表達出實數(shù)和有理數(shù)的根本區(qū)別：完備性（很不嚴格的說，就是對極限運算封閉）。隨著對實數(shù)認識的深入，如何測量“點集大小”的問題也取得了突破，勒貝格創(chuàng)造性地把關于集合的代數(shù)，和Outer content（就是“外測度”的一個雛形）的概念結合起來，建立了測度理論(Measure The

14、ory)，并且進一步建立了以測度為基礎的積分——勒貝格(Lebesgue Integral)。在這個新的積分概念的支持下，可積性問題變得一目了然。 【實變函數(shù)的基礎是實數(shù)理論和測度類似集合的面積，實數(shù)的幾個基本定理從拓撲上看將更加清晰。實變函數(shù)研究的內(nèi)容就是測度和可測函數(shù)的積分?！? 上面說到的實數(shù)理論，測度理論和勒貝格積分，構成了我們現(xiàn)在稱為實分析 (Real Analysis)的數(shù)學分支，有些書也叫實變函數(shù)論。對于應用科學來說，實分析似乎沒有古典微積分那么“實用”——很難直接基于它得到什么算法。而且，它要解決的某些“難題”——比如處處不連續(xù)的函數(shù)，或者處處連續(xù)而處處不可微的函數(shù)——在工程

15、師的眼中，并不現(xiàn)實。但是，我認為，它并不是一種純數(shù)學概念游戲，它的現(xiàn)實意義在于為許多現(xiàn)代的應用數(shù)學分支提供堅實的基礎。下面，我僅僅列舉幾條它的用處： 1. 黎曼可積的函數(shù)空間不是完備的，但是勒貝格可積的函數(shù)空間是完備的。簡單的說，一個黎曼可積的函數(shù)列收斂到的那個函數(shù)不一定是黎曼可積的，但是勒貝格可積的函數(shù)列必定收斂到一個勒貝格可積的函數(shù)。在泛函分析，還有逼近理論中，經(jīng)常需要討論“函數(shù)的極限”，或者“函數(shù)的級數(shù)”，如果用黎曼積分的概念，這種討論幾乎不可想像。我們有時看一些paper中提到Lp函數(shù)空間，就是基于勒貝格積分。 2. 勒貝格積分是傅立葉變換（這東西在工程中到處都是）的基礎。很多關

16、于信號處理的初等教材，可能繞過了勒貝格積分，直接講點面對實用的東西而不談它的數(shù)學基礎，但是，對于深層次的研究問題——特別是希望在理論中能做一些工作——這并不是總能繞過去。 3. 在下面，我們還會看到，測度理論是現(xiàn)代概率論的基礎。 【實變函數(shù)的最重要的作用是為許多現(xiàn)代的應用數(shù)學分支提供堅實的基礎。完備性（極限運算的封閉性）是其目的】 拓撲學：分析從實數(shù)軸推廣到一般空間——現(xiàn)代分析的抽象基礎 隨著實數(shù)理論的建立，大家開始把極限和連續(xù)推廣到更一般的地方的分析。事實上，很多基于實數(shù)的概念和定理并不是實數(shù)特有的。很多特性可以抽象出來，推廣到更一般的空間里面。對于實數(shù)軸的推廣，促成了點集拓撲學

17、(Point- set Topology)的建立。很多原來只存在于實數(shù)中的概念，被提取出來，進行一般性的討論。在拓撲學里面，有4個C構成了它的核心： 1. Closed set（閉集合）。在現(xiàn)代的拓撲學的公理化體系中，開集和閉集是最基本的概念。一切從此引申。這兩個概念是開區(qū)間和閉區(qū)間的推廣，它們的根本地位，并不是一開始就被認識到的。經(jīng)過相當長的時間，人們才認識到：開集的概念是連續(xù)性的基礎，而閉集對極限運算封閉——而極限正是分析的根基。 2. Continuous function （連續(xù)函數(shù)）。連續(xù)函數(shù)在微積分里面有個用epsilon-delta語言給出的定義，在拓撲學中它的定義是“開集

18、的原像是開集的函數(shù)”。第二個定義和第一個是等價的，只是用更抽象的語言進行了改寫。我個人認為，它的第三個（等價）定義才從根本上揭示連續(xù)函數(shù)的本質(zhì)——“連續(xù)函數(shù)是保持極限運算的函數(shù)” ——比如y是數(shù)列x1, x2, x3, … 的極限， 那么如果 f 是連續(xù)函數(shù)，那么 f(y) 就是 f(x1), f(x2), f(x3), …的極限。連續(xù)函數(shù)的重要性，可以從別的分支學科中進行類比。比如群論中，基礎的運算是“乘法”，對于群，最重要的映射叫“同態(tài)映射”——保持“乘法”的映射。在分析中，基礎運算是“極限”，因此連續(xù)函數(shù)在分析中的地位，和同態(tài)映射在代數(shù)中的地位是相當?shù)摹? 3. Connected s

19、et （連通集合）。比它略為窄一點的概念叫(Path connected)，就是集合中任意兩點都存在連續(xù)路徑相連——可能是一般人理解的概念。一般意義下的連通概念稍微抽象一些。在我看來，連通性有兩個重要的用場：一個是用于證明一般的中值定理(Intermediate Value Theorem)，還有就是代數(shù)拓撲，拓撲群論和李群論中討論根本群(Fundamental Group)的階。 4. Compact set（緊集）。Compactness似乎在初等微積分里面沒有專門出現(xiàn)，不過有幾條實數(shù)上的定理和它其實是有關系的。比如，“有界數(shù)列必然存在收斂子列”——用compactness的語言來說就

20、是——“實數(shù)空間中有界閉集是緊的”。它在拓撲學中的一般定義是一個聽上去比較抽象的東西——“緊集的任意開覆蓋存在有限子覆蓋”。這個定義在討論拓撲學的定理時很方便，它在很多時候能幫助實現(xiàn)從無限到有限的轉換。對于分析來說，用得更多的是它的另一種形式 ——“緊集中的數(shù)列必存在收斂子列”——它體現(xiàn)了分析中最重要的“極限”。Compactness在現(xiàn)代分析中運用極廣，無法盡述。微積分中的兩個重要定理：極值定理(Extreme Value Theory)，和一致收斂定理(Uniform Convergence Theorem)就可以借助它推廣到一般的形式。 從某種意義上說，點集拓撲學可以看成是關于“極限

21、”的一般理論，它抽象于實數(shù)理論，它的概念成為幾乎所有現(xiàn)代分析學科的通用語言，也是整個現(xiàn)代分析的根基所在。 【點集拓撲學是現(xiàn)代分析的通用語言，將實數(shù)軸推廣為拓撲空間，極限的概念也建立起來，也就可以用于分析?！? 微分幾何：流形上的分析——在拓撲空間上引入微分結構 拓撲學把極限的概念推廣到一般的拓撲空間，但這不是故事的結束，而僅僅是開始。在微積分里面，極限之后我們有微分，求導，積分。這些東西也可以推廣到拓撲空間，在拓撲學的基礎上建立起來——這就是微分幾何。從教學上說，微分幾何的教材，有兩種不同的類型，一種是建立在古典微機分的基礎上的“古典微分幾何”，主要是關于二維和三維空間中的一些幾何量的計算

22、，比如曲率。還有一種是建立在現(xiàn)代拓撲學的基礎上，這里姑且稱為“現(xiàn)代微分幾何”——它的核心概念就是“流形”(manifold)——就是在拓撲空間的基礎上加了一套可以進行微分運算的結構。現(xiàn)代微分幾何是一門非常豐富的學科。比如一般流形上的微分的定義就比傳統(tǒng)的微分豐富，我自己就見過三種從不同角度給出的等價定義——這一方面讓事情變得復雜一些，但是另外一個方面它給了同一個概念的不同理解，往往在解決問題時會引出不同的思路。除了推廣微積分的概念以外，還引入了很多新概念：tangent space, cotangent space, push forward, pull back, fibre bundle,

23、flow, immersion, submersion 等等。 近 些年，流形在machine learning似乎相當時髦。但是，坦率地說，要弄懂一些基本的流形算法，甚至“創(chuàng)造”一些流形算法，并不需要多少微分幾何的基礎。對我的研究來說，微分幾何最重要的應用就是建立在它之上的另外一個分支：李群和李代數(shù)——這是數(shù)學中兩大家族分析和代數(shù)的一個漂亮的聯(lián)姻。分析和代數(shù)的另外一處重要的結合則是泛函分析，以及在其基礎上的調(diào)和分析。 【原來微分幾何是拓撲+微分結構，古典的是講具體的幾何量的計算。把握住核心再去看這門學科將更加清晰】 代數(shù)：一個抽象的世界 關于抽象代數(shù) 回過頭來，再說說另一個大家族—

24、—代數(shù)。 如果說古典微積分是分析的入門，那么現(xiàn)代代數(shù)的入門點則是兩個部分：線性代數(shù)(linear algebra)和基礎的抽象代數(shù)(abstract algebra)——據(jù)說國內(nèi)一些教材稱之為近世代數(shù)。 【線性代數(shù)和抽象代數(shù)是代數(shù)的入門。線性代數(shù)用處非常廣，但抽象代數(shù)有什么用呢？對稱需要群。其他呢？讓我們期待下面的闡述】 代數(shù)——名稱上研究的似乎是數(shù)，在我看來，主要研究的是運算規(guī)則。一門代數(shù)，其實都是從某種具體的運算體系中抽象出一些基本規(guī)則，建立一個公理體系，然后在這基礎上進行研究。一個集合再加上一套運算規(guī)則，就構成一個代數(shù)結構。在主要的代數(shù)結構中，最簡單的是群(Group)——它只有一

25、種符合結合率的可逆運算，通常叫“乘法”。如果，這種運算也符合交換率，那么就叫阿貝爾群 (Abelian Group)。如果有兩種運算，一種叫加法，滿足交換率和結合率，一種叫乘法，滿足結合率，它們之間滿足分配率，這種豐富一點的結構叫做環(huán)(Ring)，如果環(huán)上的乘法滿足交換率，就叫可交換環(huán)(Commutative Ring)。如果，一個環(huán)的加法和乘法具有了所有的良好性質(zhì)，那么就成為一個域(Field)?；谟?，我們可以建立一種新的結構，能進行加法和數(shù)乘，就構成了線性代數(shù)(Linear algebra)。 【代數(shù)結構就是集合+運算規(guī)則，線性代數(shù)是最簡單最核心的一部分?！? 代數(shù)的好處在于，它只關心

26、運算規(guī)則的演繹，而不管參與運算的對象。只要定義恰當，完全可以讓一只貓乘一只狗得到一頭豬:-)。基于抽象運算規(guī)則得到的所有定理完全可以運用于上面說的貓狗乘法。當然，在實際運用中，我們還是希望用它干點有意義的事情。學過抽象代數(shù)的都知道，基于幾條最簡單的規(guī)則，比如結合律，就能導出非常多的重要結論——這些結論可以應用到一切滿足這些簡單規(guī)則的地方——這是代數(shù)的威力所在，我們不再需要為每一個具體領域重新建立這么多的定理。 【代數(shù)的好處是什么？其實可以說是抽象的好處是什么？只關心規(guī)則不關心對象，只要你符合我們的規(guī)則就可以得到相同的結論，“代數(shù)面前人人平等”，面向對象編程也是一種抽象的過程，能使結構清晰，代

27、碼更簡潔，不那么冗余。其實函數(shù)傳參數(shù)就可以認為是一種簡單的代數(shù)規(guī)則的應用。】 抽象代數(shù)有在一些基礎定理的基礎上，進一步的研究往往分為兩個流派：研究有限的離散代數(shù)結構（比如有限群和有限域），這部分內(nèi)容通常用于數(shù)論，編碼，和整數(shù)方程這些地方；另外一個流派是研究連續(xù)的代數(shù)結構，通常和拓撲與分析聯(lián)系在一起（比如拓撲群，李群）。我在學習中的focus主要是后者。 【離散和連續(xù)】 線性代數(shù)：“線性”的基礎地位 對于做Learning, vision, optimization或者statistics的人來說，接觸最多的莫過于線性代數(shù)——這也是我們在大學低年級就開始學習的。線性代數(shù)，包括建立在它基礎

28、上的各種學科，最核心的兩個概念是向量空間和線性變換。線性變換在線性代數(shù)中的地位，和連續(xù)函數(shù)在分析中的地位，或者同態(tài)映射在群論中的地位是一樣的 ——它是保持基礎運算（加法和數(shù)乘）的映射。 【現(xiàn)代數(shù)學幾乎任何一門學科最重要的兩個概念就是：空間及其上面的映射?？催@門學科先看這兩個是啥】 在 learning中有這樣的一種傾向——鄙視線性算法，標榜非線性。也許在很多場合下面，我們需要非線性來描述復雜的現(xiàn)實世界，但是無論什么時候，線性都是具有根本地位的。沒有線性的基礎，就不可能存在所謂的非線性推廣。我們常用的非線性化的方法包括流形和kernelization，這兩者都需要在某個階段回歸線性。流形需要

29、在每個局部建立和線性空間的映射，通過把許多局部線性空間連接起來形成非線性；而kernerlization則是通過置換內(nèi)積結構把原線性空間“非線性”地映射到另外一個線性空間，再進行線性空間中所能進行的操作。而在分析領域，線性的運算更是無處不在，微分，積分，傅立葉變換，拉普拉斯變換，還有統(tǒng)計中的均值，通通都是線性的。 【幾乎任何非線性運算都是轉化為線性運算，像強大如微積分也是將非線性函數(shù)轉化為線性的，然后線性代數(shù)接手處理。微積分+線性代數(shù)就是兩好基友啊?！? 泛函分析：從有限維向無限維邁進 在大學中學習的線性代數(shù)，它的簡單主要因為它是在有限維空間進行的，因為有限，我們無須借助于太多的分析手段。

30、但是，有限維空間并不能有效地表達我們的世界——最重要的，函數(shù)構成了線性空間，可是它是無限維的。對函數(shù)進行的最重要的運算都在無限維空間進行，比如傅立葉變換和小波分析。這表明了，為了研究函數(shù)（或者說連續(xù)信號），我們需要打破有限維空間的束縛，走入無限維的函數(shù)空間——這里面的第一步，就是泛函分析。 泛函分 析(Functional Analysis)是研究的是一般的線性空間，包括有限維和無限維，但是很多東西在有限維下顯得很trivial，真正的困難往往在無限維的時候出現(xiàn)。在泛函分析中，空間中的元素還是叫向量，但是線性變換通常會叫作“算子”(operator)。除了加法和數(shù)乘，這里進一步加入了一些運算

31、，比如加入范數(shù)去表達“向量的長度”或者“元素的距離”，這樣的空間叫做“賦范線性空間”(normed space)，再進一步的，可以加入內(nèi)積運算，這樣的空間叫“內(nèi)積空間”(Inner product space)。 【為什么要引入無限維？數(shù)組成的空間大多為有限維，但函數(shù)組成的空間是無限維】 大家發(fā)現(xiàn)，當進入無限維的時間時，很多老的觀念不再適用了，一切都需要重新審視。 1. 所有的有限維空間都是完備的（柯西序列收斂），很多無限維空間卻是不完備的（比如閉區(qū)間上的連續(xù)函數(shù)）。在這里，完備的空間有特殊的名稱：完備的賦范空間叫巴拿赫空間(Banach space)，完備的內(nèi)積空間叫希爾伯特空間(Hi

32、lbert space)。 2. 在有限維空間中空間和它的對偶空間的是完全同構的，而在無限維空間中，它們存在微妙的差別。 3. 在有限維空間中，所有線性變換（矩陣）都是有界變換，而在無限維，很多算子是無界的(unbounded)，最重要的一個例子是給函數(shù)求導。 4. 在有限維空間中，一切有界閉集都是緊的，比如單位球。而在所有的無限維空間中，單位球都不是緊的——也就是說，可以在單位球內(nèi)撒入無限個點，而不出現(xiàn)一個極限點。 5. 在 有限維空間中，線性變換（矩陣）的譜相當于全部的特征值，在無限維空間中，算子的譜的結構比這個復雜得多，除了特征值組成的點譜(point spectrum)

33、，還有approximate point spectrum和residual spectrum。雖然復雜，但是，也更為有趣。由此形成了一個相當豐富的分支——算子譜論(Spectrum theory)。 6. 在 有限維空間中，任何一點對任何一個子空間總存在投影，而在無限維空間中，這就不一定了，具有這種良好特性的子空間有個專門的名稱切比雪夫空間(Chebyshev space)。這個概念是現(xiàn)代逼近理論的基礎(approximation theory)。函數(shù)空間的逼近理論在Learning中應該有著非常重要的作用，但是現(xiàn)在看到的運用現(xiàn)代逼近理論的文章并不多。 【這一段關于“有限維VS無限維

34、”的論述很精彩！】 繼續(xù)往前：巴拿赫代數(shù)，調(diào)和分析，和李代數(shù) 基本的泛函分析繼續(xù)往前走，有兩個重要的方向。第一個是巴拿赫代數(shù) (Banach Algebra)，它就是在巴拿赫空間（完備的內(nèi)積空間）的基礎上引入乘法（這不同于數(shù)乘）。比如矩陣——它除了加法和數(shù)乘，還能做乘法——這就構成了一個巴拿赫代數(shù)。除此以外，值域完備的有界算子，平方可積函數(shù)，都能構成巴拿赫代數(shù)。巴拿赫代數(shù)是泛函分析的抽象，很多對于有界算子導出的結論，還有算子譜論中的許多定理，它們不僅僅對算子適用，它們其實可以從一般的巴拿赫代數(shù)中得到，并且應用在算子以外的地方。巴拿赫代數(shù)讓你站在更高的高度看待泛函分析中的結論，但是，我對它在

35、實際問題中能比泛函分析能多帶來什么東西還有待思考。 【巴拿赫代數(shù)=巴拿赫空間（集合+加法+數(shù)乘+范數(shù)+完備）+乘法，矩陣空間就是一個例子】 最能把泛函分析和實際問題在一起的另一個重要方向是調(diào)和分析 (Harmonic Analysis)。我在這里列舉它的兩個個子領域，傅立葉分析和小波分析，我想這已經(jīng)能說明它的實際價值。它研究的最核心的問題就是怎么用基函數(shù)去逼近和構造一個函數(shù)。它研究的是函數(shù)空間的問題，不可避免的必須以泛函分析為基礎。除了傅立葉和小波，調(diào)和分析還研究一些很有用的函數(shù)空間，比如Hardy space，Sobolev space，這些空間有很多很好的性質(zhì)，在工程中和物理學中都有很

36、重要的應用。對于vision來說，調(diào)和分析在信號的表達，圖像的構造，都是非常有用的工具。 【分析+線性代數(shù)=調(diào)和分析（傅立葉+小波非常重要）】 當分析和線性代數(shù)走在一起，產(chǎn)生了泛函分析和調(diào)和分析；當分析和群論走在一 起，我們就有了李群(Lie Group)和李代數(shù)(Lie Algebra)。它們給連續(xù)群上的元素賦予了代數(shù)結構。我一直認為這是一門非常漂亮的數(shù)學：在一個體系中，拓撲，微分和代數(shù)走到了一起。在一定條件下，通過李群和李代數(shù)的聯(lián)系，它讓幾何變換的結合變成了線性運算，讓子群化為線性子空間，這樣就為Learning中許多重要的模型和算法的引入到對幾何運動的建模創(chuàng)造了必要的條件。因此，我們

37、相信李群和李代數(shù)對于vision有著重要意義，只不過學習它的道路可能會很艱辛，在它之前需要學習很多別的數(shù)學。 【連續(xù)的應用在理論上更廣，離散在計算機上用得多】 現(xiàn)代概率論：在現(xiàn)代分析基礎上再生 最后，再簡單說說很多Learning的研究者特別關心的數(shù)學分支：概率論。自從Kolmogorov在上世紀30年代把測度引入概率論以來，測度理論就成為現(xiàn)代概率論的基礎。在這里，概率定義為測度，隨機變量定義為可測函數(shù)，條件隨機變量定義為可測函數(shù)在某個函數(shù)空間的投影，均值則是可測函數(shù)對于概率測度的積分。值得注意的是，很多的現(xiàn)代觀點，開始以泛函分析的思路看待概率論的基礎概念，隨機變量構成了一個向量空間，而

38、帶符號概率測度則構成了它的對偶空間，其中一方施加于對方就形成均值。角度雖然不一樣，不過這兩種方式殊途同歸，形成的基礎是等價的。 在現(xiàn)代概率論的基礎上，許多傳統(tǒng)的分支得到了極大豐富，最有代表性的包括鞅論 (Martingale)——由研究賭博引發(fā)的理論，現(xiàn)在主要用于金融（這里可以看出賭博和金融的理論聯(lián)系，:-P），布朗運動(Brownian Motion)——連續(xù)隨機過程的基礎，以及在此基礎上建立的隨機分析(Stochastic Calculus)，包括隨機積分（對隨機過程的路徑進行積分，其中比較有代表性的叫伊藤積分(Ito Integral)），和隨機微分方程。對于連續(xù)幾何運用建立概率模型以及對分布的變換的研究離不開這些方面的知識。 【現(xiàn)代概率論基本可以與實變函數(shù)的概念對應起來，而隨機分析是核心】 終于寫完了——也謝謝你把這么長的文章看完，希望其中的一些內(nèi)容對你是有幫助的。