文章目录

0. 基础概念0.1 代数系统0.2 数域0.3 完备的空间 1. 线性空间/向量空间2. 度量空间3. 赋范向量空间4. 内积空间5. 巴拿赫空间6. 希尔伯特空间7. 再生核希尔伯特空间8. 总结

0. 基础概念

常见的各种函数空间本质都是定义在数域上的特殊代数系统，先补充基础概念

0.1 代数系统

代数系统是一个定义了一些运算和一些规则集合，其中包含 一组给定元素(element)组成集合（这个集合是代数系统的本体，元素可以是任何东西：数、函数、矩阵…）一组 well define 的运算(operation)（well define 指运算的结果一定是唯一的，即所有 operation 都是合法的函数映射）运算的计算规则(rules of operation)（可以用来进行推理）

0.2 数域

数域F F F是至少包含 0 0 0 和 1 1 1 的一组数，并且在加、减、乘、除下是封闭的，即满足以下性质:

∀ a ∈ F , − a ∈ F ∀ b ∈ F , b ≠ 0 , b − 1 ∈ F ∀ a , b ∈ F , a + b ∈ F , ∀ a , b ∈ F , a ⋅ b ∈ F \begin{aligned} &\forall a \in F, &&-a\in F \\ &\forall b \in F, b\neq 0, &&b^{-1} \in F \\ &\forall a,b \in F, &&a+b\in F, \\ &\forall a,b \in F, &&a·b\in F \end{aligned} ​∀a∈F,∀b∈F,b=0,∀a,b∈F,∀a,b∈F,​​−a∈Fb−1∈Fa+b∈F,a⋅b∈F​

0.3 完备的空间

粗略但是直观的说，完备是指空间中没有任何遗漏的点。所谓 “没有遗漏” 需要用 “距离” 来理解。以实数空间 R \mathbb{R} R 为例，其中距离定义为两元素差的绝对值，这时 “没有任何遗漏的点” 就是说任何一个点在与它距离趋近为 0 的地方都存在一个点，并且这个点是 R \mathbb{R} R 中的，可见实数空间是完备的形式化一点定义，一个空间是完备的当且仅当空间中的任何柯西序列都收敛在该空间之内，柯西序列是指一个这样一个序列，它的元素随着序数的增加而愈发靠近，如下图所示

如果一个空间是完备的，则它对极限操作封闭，这是空间完备性的主要意义

1. 线性空间/向量空间

线性空间linear space：定义在数域 F F F 上的代数系统 V ≠ ∅ V\neq \empty V=∅ 有加法(addition)和数乘(scalar multiplication)两个 operation，如果 V V V 含有零元、负元、幺元等特殊元素；operation 都封闭的且满足八条运算规则，则该代数系统称为线性空间。具体而言，要求

closure properties（封闭性）：

1. ∀ α , β ∈ V , α + β ∈ V \forall \alpha,\beta \in \pmb{V}, \alpha+\beta \in \pmb{V} ∀α,β∈VV,α+β∈VV is unique

2. ∀ k ∈ F , α ∈ V , k ⋅ α ∈ V \forall k \in \pmb{F}, \alpha\in \pmb{V},\space k·\alpha\in \pmb{V} ∀k∈FF,α∈VV,k⋅α∈VV is unique

说明：这里的加法运算 addition 没有什么要求，可以定义任意 V \pmb{V} VV 上的运算作为 “addition”，但是数乘运算 scalar multiplication 要求必须是从数域 F \pmb{F} FF 中取一个数和 V \pmb{V} VV 中元素做数乘，Linear space V \pmb{V} VV over a filed F \pmb{F} FF 指的就是这个。封闭性要求这两个运算的结果都在 V \pmb{V} VV 中

The addition axioms（加法公理）：

The scalar multiplication axioms（乘法公理）：

特殊元素：

注意上面定义的运算就是一般所说的线性运算（加法+数乘，就是线性代数里那种 “线性”），注意下面的逻辑 利用线性运算，可以得到对于集合元素的线性表示、线性相关/无关等概念进一步能定义出关于集合元素的基、维数、坐标等概念任意给定一组基，线性空间 V V V 中的所有元素都能和其坐标一一对应，这等价于一个把所有元素替换为其坐标的新线性空间。也就是说，无论线性空间中的元素是什么（数、函数、矩阵…），都能将其等价地变化为一个以 “数的向量” 为元素的线性空间，因此线性空间linear space也称为向量空间vector space，这两个是一回事

2. 度量空间

度量空间metric space：是定义了距离operation的集合：设 V V V 是任意集合，定义距离为函数 d ( x , y ) : V × V → R d(x,y): V\times V\to \mathbb{R} d(x,y):V×V→R， ∀ x , y ∈ V \forall x,y \in V ∀x,y∈V 满足

正定性： d ( x , y ) ≥ 0 且 d ( x , y ) = 0 ⇔ x = y 对称性： d ( x , y ) = d ( y , x ) 三角不等式： d ( x , y ) ≤ d ( x , z ) + d ( z , y ) \begin{aligned} 正定性：&d(x, y) \geq 0 \space且\space d(x, y)=0 \Leftrightarrow x=y\\ 对称性：&d(x, y)=d(y, x) \\ 三角不等式：&d(x, y) \leq d(x, z)+d(z, y) \end{aligned} 正定性：对称性：三角不等式：​d(x,y)≥0且d(x,y)=0⇔x=yd(x,y)=d(y,x)d(x,y)≤d(x,z)+d(z,y)​ 定义了距离的线性空间称为线性度量空间直观上看，度量空间是定义了“元素间距离”概念的集合

3. 赋范向量空间

赋范向量空间Normed vector space是定义了范数operation的向量空间：设 V V V 是数域 F F F 上的线性空间，定义范数为函数 ∣ ∣ ⋅ ∣ ∣ : V → R ||·||: V\to \mathbb{R} ∣∣⋅∣∣:V→R， ∀ x , y ∈ V , ∀ a ∈ F \forall x,y \in V, \forall a\in F ∀x,y∈V,∀a∈F 满足

正定性： ∣ ∣ x ∣ ∣ ≥ 0 且 ∣ ∣ x ∣ ∣ = 0 ⇔ x = 0 三角不等式： ∣ ∣ x + y ∣ ∣ ≤ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ 正齐次性： ∣ ∣ a x ∣ ∣ = ∣ a ∣ ∣ ⋅ ∣ x ∣ ∣ \begin{aligned} 正定性：&||x|| \geq 0 \space且\space ||x|| =0 \Leftrightarrow x=\pmb{0}\\ 三角不等式：&||x+y|| \leq ||x||+||y|| \\ 正齐次性：&||ax|| = |a||·|x|| \end{aligned} 正定性：三角不等式：正齐次性：​∣∣x∣∣≥0且∣∣x∣∣=0⇔x=00∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣∣∣ax∣∣=∣a∣∣⋅∣x∣∣​ 从范数的定义中可见数乘 a x a x ax 和加法 x + y x+y x+y 都封闭，因此赋范向量空间一定是特殊的线性空间可以用范数定义距离： d ( x , y ) : = ∣ ∣ x − y ∣ ∣ d(x,y) := ||x-y|| d(x,y):=∣∣x−y∣∣，因此赋范向量空间都可以（定义距离后）成为度量空间具有完备性的赋范向量空间称为巴拿赫空间直观上看，赋范向量空间是定义了“元素自身长度”概念的向量空间

4. 内积空间

内积空间Inner product space是定义了内积operation的向量空间：设 V V V 是数域 F F F 上的线性空间，定义内积为函数 ( x , y ) : V × V → R (x,y): V\times V\to \mathbb{R} (x,y):V×V→R， ∀ x , y , z ∈ V , ∀ a ∈ F \forall x,y,z \in V, \forall a\in F ∀x,y,z∈V,∀a∈F 满足

对称性： ( x , y ) = ( y , x ) 可加性： ( x + y , z ) = ( x , z ) + ( y , z ) 齐次性： ( a x , y ) = a ( x , y ) 正定性： ( x , x ) ≥ 0 且 ( x , x ) = 0 ⇔ x = 0 \begin{aligned} &对称性：(x, y)=(y, x) \\ &可加性：(x+y, z)=(x, z)+(y, z) \\ &齐次性：(a x, y)=a(x, y) \\ &正定性：(x, x) \geq 0 \text { 且 }(x, x)=0 \Leftrightarrow x=\mathbf{0} \end{aligned} ​对称性：(x,y)=(y,x)可加性：(x+y,z)=(x,z)+(y,z)齐次性：(ax,y)=a(x,y)正定性：(x,x)≥0且(x,x)=0⇔x=0​ 从内积的定义中可见数乘 a x a x ax 和加法 x + y x+y x+y 都封闭，因此内积空间一定是特殊的线性空间可以用内积定义范数： ∣ ∣ x ∣ ∣ : = ( x , x ) ||x|| := \sqrt{(x,x)} ∣∣x∣∣:=(x,x) ​，因此内积空间都可以（定义范数后）成为赋范向量空间利用内积可在空间中建立欧几里得几何学，例如交角、垂直和投影等，故习惯上称二维或三维的内积空间为欧几里得空间，内积空间是欧几里得空间的一般化具有完备性的内积空间称为希尔伯特空间直观上看，内积空间是定义了“元素间夹角”概念的向量空间

5. 巴拿赫空间

巴拿赫空间Banach space是完备的赋范向量空间，具体而言，巴拿赫空间对其范数诱导的距离度量是完备的

6. 希尔伯特空间

希尔伯特空间Hilbert space是完备的内积空间，具体而言 希尔伯特空间中内积诱导的范数构成一个巴拿赫空间即希尔伯特空间对这个 “内积诱导的范数” 所诱导的距离度量是完备的（巴拿赫空间定义） 希尔伯特空间是一个函数空间，即空间中每个元素都是一个函数，完备意味着对这些函数取极限后还在空间内

Note：离散函数可以看做有限维向量；连续函数可以看做无限维向量

7. 再生核希尔伯特空间

这里涉及到 SVM 中常用的核函数，核函数的想法简单说就是 考虑分类问题，根据 Cover 定理，将数据映射到越高维度的空间，就越容易找出线性分离超平面将其线性分类。这样就能用合适的映射函数 ϕ ( x ) \phi(x) ϕ(x) 将输入空间中的样本 x x x 映射到高维特征空间，再用线性 SVM 分类器进行分类求解线性 SVM 对偶问题时，会发现最终的分离超平面和判别函数都只涉及输入样本特征向量之间的内积，而计算大量形如 ϕ ( x i ) T ϕ ( x j ) \phi(x_i)^T\phi(x_j) ϕ(xi​)Tϕ(xj​) 的高维内积复杂度太高所谓核函数，就是一个无穷维的二维函数，直接满足 K ( x , z ) = ϕ ( x ) T ϕ ( z ) K(x,z) = \phi(x)^T\phi(z) K(x,z)=ϕ(x)Tϕ(z) 利用核函数可以大幅降低计算复杂度，但是正向找出合适的映射函数 ϕ \phi ϕ 来构成 K K K 很困难，我们通常会根据判定核函数的充分条件直接得到符合定义的核函数 K K K，确定核 K K K 后，我们就能用一定的方法构造出它对应的一组映射函数 ϕ \phi ϕ 和它映射到的希尔伯特空间 H \mathcal{H} H，核 K K K 在空间 H \mathcal{H} H 中具有 “再生性”，即有

⟨ K ( ⋅ , x ) , K ( ⋅ , z ) ⟩ = K ( x , z ) \langle K(\cdot,x),K(\cdot,z)\rangle = K(x,z) ⟨K(⋅,x),K(⋅,z)⟩=K(x,z) 因此这个 H \mathcal{H} H 称为 “再生核希尔伯特空间”一句话说，再生核希尔伯特空间是由给定核函数根据一定方式构造出的希尔伯特空间，详细说明请参考 经典机器学习方法（6）—— 非线性支持向量机器与核技巧 1.2 节

8. 总结

总结一下上面说的所有空间

线性空间 = 定义了加法和数乘操作的集合，满足封闭性和8条性质度量空间 = 定义了距离操作的集合赋范向量空间 = 范数 + 线性空间（范数可以诱导度量）内积空间 = 内积 + 线性空间（内积可以诱导范数）欧几里得空间 = 二维或三维的内积空间巴拿赫空间 = 完备 + 赋范向量空间希尔伯特空间 = 完备 + 内积空间再生核希尔伯特空间 = 从核函数构造出的希尔伯特空间