再生希尔伯特空间与核函数讲解

再生希尔伯特空间与核函数讲解

文章目录

再生希尔伯特空间与核函数讲解空间线性空间/向量空间(Linear Space/Vector Space)度量空间赋范线性空间/范数向量空间距离与范数的关系 内积空间(inner product space)欧式空间/欧几里得空间(Euclidean Space)巴拿赫空间希尔伯特空间核函数1.矩阵的特征值分解2.核函数3.Mercer定理4.核函数的作用以及通俗理解 再生核希尔伯特空间具体定义

空间

空间的概念就是空间 = 集合 + 结构

线性空间/向量空间(Linear Space/Vector Space)

线性空间就是线性空间 = 集合 + 线性结构，而其中的线性结构就是线性结构 = 加法 + 数乘

简单说线性空间就是一系列向量的集合并且只满足加法和标量乘（向量的相乘）操作的集合。

加法运算：首先设一个集合 V V V,在集合 V V V中定义元素的加法运算： ∀ x , y ∈ V \forall x,y\in V ∀x,y∈V,在 V V V中都有唯一的一个元素 γ \gamma γ与之对应，称为 x 与 y x与y x与y的和，即 x + y x+y x+y.

数乘运算：数乘就是用一个数字去乘，这个数字的来源就是一个数域 F F F， ∀ a ∈ F , x ∈ V , \forall a \in F, x \in V, ∀a∈F,x∈V,在 V V V中都有唯一的元素 δ \delta δ与之对应，称为 a 与 x a与x a与x的数量乘积

除了运算，以上的两种运算还要满足下面的八种性质：

加法

x + ( y + z ) = ( x + y ) + z x+(y+z) = (x+y)+z x+(y+z)=(x+y)+z x + y = y + x x+y = y+x x+y=y+x存在一个元素 0 ∈ V 0\in V 0∈V,使得 x + 0 = x x+0 = x x+0=x， ∀ x ∈ V \forall x \in V ∀x∈V ∀ x ∈ V \forall x \in V ∀x∈V,存在一个元素 − x ∈ V -x\in V −x∈V,使得 x + ( − x ) = 0 x+(-x) = 0 x+(−x)=0.

数乘

1 x = x 1x = x 1x=x ( a b ) x = a ( b x ) (ab)x=a(bx) (ab)x=a(bx)

二者都有：

( a + b ) x = a x + b x (a+b)x=ax+bx (a+b)x=ax+bx a ( x + y ) = a x + a y a(x+y)=ax+ay a(x+y)=ax+ay

满足以上条件，则称V是数域F上的线性空间或者向量空间，V中的元素称为向量。

度量空间

度量空间 = 集合 + 拓扑结构

给定一个集合 V V V，在 V V V上定义一种新的运算：距离： V × V → R , ∀ x , y ∈ V , V \times V \rightarrow R,\forall x,y \in V, V×V→R,∀x,y∈V,在 R R R中都有唯一的元素 δ \delta δ与之对应，称为 x , y x,y x,y之间的距离。

满足的性质：

d ( x , y ) ⩾ 0 , ∀ x , y ∈ V d(x,y)\geqslant0,\forall x,y \in V d(x,y)⩾0,∀x,y∈V且 d ( x , y ) = 0 ⇔ x = y d(x,y)=0\Leftrightarrow x=y d(x,y)=0⇔x=y（非负性） d ( x , y ) ⩽ d ( x , y ) + d ( y , z ) d(x,y)\leqslant d(x,y)+d(y,z) d(x,y)⩽d(x,y)+d(y,z)（三角不等式） d ( x , y ) = d ( y , x ) d(x,y)=d(y,x) d(x,y)=d(y,x)（自反性）

其中 ( V , d ) (V,d) (V,d)为度量空间或者距离空间，其中V的元素称为点。

赋范线性空间/范数向量空间

赋范线性空间 = 线性空间 + 范数：就是给线性空间穿上拓扑结构的外衣。

设 V V V是一个实线性空间，对应的数域为 R R R，在其上定义范数运算 ∥ ⋅ ∥ : V → R , \Vert·\Vert:V \rightarrow R, ∥⋅∥:V→R,即 ∀ x ∈ V , \forall x \in V, ∀x∈V,在 R R R中都有唯一的元素 δ \delta δ与之对应，称之为x的范数，记为 ∥ x ∥ \Vert x\Vert ∥x∥。

满足的性质：

∥ x ∥ ⩾ 0 \Vert x\Vert \geqslant 0 ∥x∥⩾0且 ∥ x ∥ = 0 ⇔ x = 0 \Vert x\Vert = 0 \Leftrightarrow x=0 ∥x∥=0⇔x=0（非负性） ∥ a x ∥ = ∣ a ∣ ∥ x ∥ , a ∈ R \Vert ax\Vert = \vert a\vert \Vert x \Vert, a\in R ∥ax∥=∣a∣∥x∥,a∈R（齐次性） ∥ x + y ∥ ⩽ ∥ x ∥ + ∥ y ∥ , x , y ∈ V \Vert x+y\Vert \leqslant \Vert x\Vert + \Vert y\Vert, x,y\in V ∥x+y∥⩽∥x∥+∥y∥,x,y∈V（三角不等式）

则称 ( V , ∥ ⋅ ∥ ) (V,\Vert ·\Vert) (V,∥⋅∥)为赋范线性空间。

如果我们使用范数来定义距离，即令 d ( x , y ) = ∥ x − y ∥ d(x,y)=\Vert x-y\Vert d(x,y)=∥x−y∥,则

d ( x , y ) ⩾ 0 , ∀ x , y ∈ V d(x,y)\geqslant0,\forall x,y\in V d(x,y)⩾0,∀x,y∈V且 d ( x , y ) = 0 ⇔ x = y d(x,y)=0\Leftrightarrow x=y d(x,y)=0⇔x=y d ( x , y ) = ∥ x − z ∥ = ∥ x − y + y − z ∥ ⩽ ∥ x − y ∥ + ∥ y − z ∥ = d ( x , y ) + d ( y , z ) d(x,y) = \Vert x-z \Vert = \Vert x-y+y-z\Vert \leqslant \Vert x-y\Vert+\Vert y-z\Vert=d(x,y)+d(y,z) d(x,y)=∥x−z∥=∥x−y+y−z∥⩽∥x−y∥+∥y−z∥=d(x,y)+d(y,z)

所以d是V上的距离， ( V , d ) (V,d) (V,d)是度量空间，赋范线性空间V也具有拓扑结构。

距离与范数的关系

距离是空间中任意两点 x , y x,y x,y满足以下三个条件：

d ( x , y ) ⩾ 0 , ∀ x , y ∈ V d(x,y)\geqslant0,\forall x,y \in V d(x,y)⩾0,∀x,y∈V且 d ( x , y ) = 0 ⇔ x = y d(x,y)=0\Leftrightarrow x=y d(x,y)=0⇔x=y d ( x , y ) ⩽ d ( x , y ) + d ( y , z ) d(x,y)\leqslant d(x,y)+d(y,z) d(x,y)⩽d(x,y)+d(y,z) d ( x , y ) = d ( y , x ) d(x,y)=d(y,x) d(x,y)=d(y,x)

而范数则是空间中的一点到空间零点的距离，满足以下条件：

∥ x ∥ ⩾ 0 \Vert x\Vert \geqslant 0 ∥x∥⩾0且 ∥ x ∥ = 0 ⇔ x = 0 \Vert x\Vert = 0 \Leftrightarrow x=0 ∥x∥=0⇔x=0 ∥ a x ∥ = ∣ a ∣ ∥ x ∥ , a ∈ R \Vert ax\Vert = \vert a\vert \Vert x \Vert, a\in R ∥ax∥=∣a∣∥x∥,a∈R ∥ x + y ∥ ⩽ ∥ x ∥ + ∥ y ∥ , x , y ∈ V \Vert x+y\Vert \leqslant \Vert x\Vert + \Vert y\Vert, x,y\in V ∥x+y∥⩽∥x∥+∥y∥,x,y∈V

可以看出范数是在距离的基础上添加了新的约束限制，所以范数与距离的关系可以类似理解为与红富士苹果与苹果的关系。

内积空间(inner product space)

内积空间 = 线性空间 + 内积

给定一个集合 V V V，在 V V V上定义一种新的运算：内积： V × V → R , ∀ x , y ∈ V , V \times V \rightarrow R,\forall x,y \in V, V×V→R,∀x,y∈V,在 R R R中都有唯一的元素 δ \delta δ与之对应，称为 x , y x,y x,y之间的内积，记为 ( x , y ) (x,y) (x,y)。

满足性质：

( x , y ) ⩾ 0 (x,y)\geqslant0 (x,y)⩾0且 ( x , x ) = 0 ⇔ x = 0 (x,x)=0\Leftrightarrow x=0 (x,x)=0⇔x=0 ( x , y ) = ( y , x ) (x,y)=(y,x) (x,y)=(y,x) ( a x , z ) = a ( x , z ) , a ∈ R (ax,z)=a(x,z),a\in R (ax,z)=a(x,z),a∈R ( x + y , z ) = ( x , z ) + ( y , z ) (x+y,z)=(x,z)+(y,z) (x+y,z)=(x,z)+(y,z)

则 ( V , ( ⋅ , ⋅ ) ) (V,(·,·)) (V,(⋅,⋅))为内积空间。

如果使用内积定义范数，令 ∥ x ∥ = ( x , x ) \Vert x \Vert=\sqrt{(x,x)} ∥x∥=(x,x) ​，则

∥ x ∥ ⩾ 0 \Vert x\Vert\geqslant 0 ∥x∥⩾0且 ∥ x ∥ = 0 ⇔ 0 \Vert x\Vert=0 \Leftrightarrow 0 ∥x∥=0⇔0 ∥ a x ∥ = ( a x , a x ) = a 2 ( x , x ) = ∣ a ∣ ∥ x ∥ \Vert ax\Vert=\sqrt{(ax,ax)}=\sqrt{a^2(x,x)}=\vert a\vert\Vert x\Vert ∥ax∥=(ax,ax) ​=a2(x,x) ​=∣a∣∥x∥

则 ∥ x ∥ = ( x , x ) \Vert x \Vert=\sqrt{(x,x)} ∥x∥=(x,x) ​是线性空间V上的范数， V , ( ⋅ , ⋅ ) V,\sqrt{(·,·)} V,(⋅,⋅) ​是赋范线性空间。

欧式空间/欧几里得空间(Euclidean Space)

设 V V V是实数域 R R R上的线性空间（或称为向量空间），若 V V V上定义着正定对称双线性型 g g g（ g g g称为内积），则 V V V称为（对于 g g g的）内积空间或欧几里德空间（有时仅当 V V V是有限维时，才称为欧几里德空间）。这些数学空间可以被扩展来应用于任何有限维度，而这种空间叫做 n n n维欧几里得空间（甚至简称 n n n维空间）或有限维实内积空间。

欧里几何空间可以说是内积空间的引申。

巴拿赫空间

巴拿赫空间 = 赋范空间 + 完备性

希尔伯特空间

在内积空间上扩展，使得内积空间满足完备性，形成希尔伯特空间如下：

希尔伯特空间 = 内积空间 + 完备性

其中完备性的意思就是空间中的极限运算不能跑出该空间，如有理数空间中的 2 \sqrt{2} 2 ​的小数表示，其极限随着小数位数的增加收敛到 2 \sqrt{2} 2 ​，但 2 \sqrt{2} 2 ​属于无理数，并不在有理数空间，故不满足完备性。

一个通俗的理解是把学校理解为一个空间，你从学校内的宿舍中开始一直往外走，当走不动停下来时（极限收敛），发现已经走出学校了（超出空间），不在学校范围内了（不完备了）。希尔伯特就相当于地球，无论你怎么走，都还在地球内（飞出太空除外）。

希尔伯特空间是一个函数空间，即空间中每个元素都是一个函数。

核函数

1.矩阵的特征值分解

在一般的欧氏空间中，我们可以定义一个 n × n n\times n n×n的矩阵的特征值和特征向量。

A x = λ x A\mathbf{x}=\lambda \mathbf{x} Ax=λx

其中 λ \lambda λ是矩阵 A A A的特征值，而 x \mathbf{x} x则是对应的特征向量。如果 A A A有两个不同的特征值 λ 1 \lambda_1 λ1​与 λ 2 \lambda_2 λ2​,对应不同的特征向量 x 1 \mathbf{x_1} x1​与 x 2 \mathbf{x_2} x2​,且 λ 1 ≠ λ 2 \lambda_1 \neq\lambda_2 λ1​​=λ2​,则有

λ 1 x 1 T x 2 = x 1 T A T x 2 = x 1 T A x 2 = λ 2 x 1 T x 2 \lambda_1\mathbf{x}^T_1\mathbf{x}_2=\mathbf{x}^T_1A^T\mathbf{x}_2=\mathbf{x}^T_1A\mathbf{x}_2=\lambda_2\mathbf{x}^T_1\mathbf{x}_2 λ1​x1T​x2​=x1T​ATx2​=x1T​Ax2​=λ2​x1T​x2​

但是由于 λ 1 ≠ λ 2 \lambda_1 \neq\lambda_2 λ1​​=λ2​，那么一定有 x 1 T x 2 = 0 \mathbf{x}^T_1\mathbf{x}_2=0 x1T​x2​=0，即 x 1 \mathbf{x_1} x1​与 x 2 \mathbf{x_2} x2​正交，即两个特征向量是正交的。

对于矩阵 A ∈ R n × n A\in \mathcal{R}^{n\times n} A∈Rn×n,可以找到n个特征值及其对应的特征向量。则A可以按照下面的形式进行特征值分解

A = Q D Q T A=QDQ^T A=QDQT

其中 Q Q Q为正交矩阵（ Q Q T = I QQ^T=I QQT=I）， D = d i a g ( λ 1 , λ 2 , . . . , λ n ) D=diag(\lambda_1,\lambda_2,...,\lambda_n) D=diag(λ1​,λ2​,...,λn​)。

A = Q D Q T = ( q 1 , q 2 , . . . , q n ) { λ 1 λ 2 λ 3 } { q 1 T q 2 T . . . q n T } = ( λ 1 q 1 , λ 2 q 2 , . . . , λ n q n ) { q 1 T q 2 T . . . q n T } = ∑ i = 1 n λ i q i q i T A=QDQ^T=(\mathbf{q_1,q_2,...,q_n}) \left\{ \begin{matrix} \lambda_1 & & \\ & \lambda_2 & \\ & & \lambda_3 \end{matrix} \right\} \left\{ \begin{matrix} q_1^T\\ q_2^T\\ ...\\ q_n^T\\ \end{matrix} \right\}\\ =(\lambda_1q_1,\lambda_2q_2,...,\lambda_nq_n) \left\{ \begin{matrix} q_1^T\\ q_2^T\\ ...\\ q_n^T\\ \end{matrix} \right\}\\ =\sum\limits^{n}\limits_{i=1}{\lambda_iq_iq^T_i} A=QDQT=(q1​,q2​,...,qn​)⎩⎨⎧​λ1​​λ2​​λ3​​⎭⎬⎫​⎩⎪⎪⎨⎪⎪⎧​q1T​q2T​...qnT​​⎭⎪⎪⎬⎪⎪⎫​=(λ1​q1​,λ2​q2​,...,λn​qn​)⎩⎪⎪⎨⎪⎪⎧​q1T​q2T​...qnT​​⎭⎪⎪⎬⎪⎪⎫​=i=1∑n​λi​qi​qiT​

这里的 { q i } i = 1 n \{q_i\}^n_{i=1} {qi​}i=1n​为 R n \mathcal{R^n} Rn空间中的一组正交基。

当一个矩阵可以进行特征值分解的时候，其特征向量构成了这个 n n n维空间的一组基底.

2.核函数

每一个函数 f f f都可以看做一个无限维的向量，那么二元函数 K ( x , y ) K(\mathbf{x,y}) K(x,y)就可以看做是一个无限维的矩阵。如果它满足：

正定性

∫ ∫ f ( x ) K ( x , y ) f ( y ) d x d y ⩾ 0 \int\int f(x)K(\mathbf{x,y})f(y)dxdy \geqslant0 ∫∫f(x)K(x,y)f(y)dxdy⩾0

对称性

K ( x , y ) = K ( y , x ) K(\mathbf{x,y})= K(\mathbf{y,x}) K(x,y)=K(y,x)

那么它就是一个核函数。

3.Mercer定理

与矩阵特征值和特征向量类似，核函数存在特征值和特征函数（将函数看做无限维向量）。也就是：

∫ K ( x , y ) ψ ( x ) d x = λ ψ ( y ) \int K(\mathbf{x,y})\psi(\mathbf{x})dx=\lambda\psi(\mathbf{y}) ∫K(x,y)ψ(x)dx=λψ(y)

类比于上面的矩阵，对于不同的特征值 λ 1 , λ 2 \lambda_1,\lambda_2 λ1​,λ2​,及其对应的特征方程 ψ 1 ( x ) , ψ 2 ( x ) \psi_1(\mathbf{x}),\psi_2(\mathbf{x}) ψ1​(x),ψ2​(x)

∫ λ 1 ψ 1 ( x ) ψ 2 ( x ) d x = ∫ λ 2 ψ 2 ( x ) ψ 1 ( x ) d x \int \lambda_1 \psi_1(\mathbf{x})\psi_2(\mathbf{x})dx=\int \lambda_2 \psi_2(\mathbf{x})\psi_1(\mathbf{x})dx ∫λ1​ψ1​(x)ψ2​(x)dx=∫λ2​ψ2​(x)ψ1​(x)dx

因此， < ψ 1 , ψ 2 > = ∫ ψ 1 ( x ) ψ 2 ( x ) d x = 0 <\psi_1,\psi_2>=\int\psi_1(\mathbf{x})\psi_2(\mathbf{x})dx=0 <ψ1​,ψ2​>=∫ψ1​(x)ψ2​(x)dx=0.即特征方程是正交的。

一个核函数对应无穷个特征值 { λ i } i = 1 ∞ \{\lambda_i\}^{\infty}_{i=1} {λi​}i=1∞​和无穷个特征方程 { ψ i } i = 1 ∞ \{\psi_i\}^{\infty}_{i=1} {ψi​}i=1∞​。和矩阵类似，

K ( x , y ) = ∑ i = 0 ∞ λ i ψ i ( x ) ψ j ( y ) K(\mathbf{x,y})=\sum\limits^{\infty}\limits_{i=0}\lambda_i \psi_i(\mathbf{x})\psi_j(\mathbf{y}) K(x,y)=i=0∑∞​λi​ψi​(x)ψj​(y)

这里 ψ i , ψ j ⩾ 0 , i ≠ j \psi_i ,\psi_j \geqslant0,i \neq j ψi​,ψj​⩾0,i​=j。 { ψ i } i = 1 ∞ \{\psi_i\}^{\infty}_{i=1} {ψi​}i=1∞​是原来函数空间的一组正交基。

4.核函数的作用以及通俗理解

问题：给杜两个向量 x i , x j \mathbf{x_i,x_j} xi​,xj​，目标是要计算它们的内积 I = < x i , x j > I=<\mathbf{x_i,x_j}> I=<xi​,xj​>。

现在通过某种非线性变换 Φ : x → ϕ ( x ) \Phi:\mathbf{x\rightarrow \phi(x)} Φ:x→ϕ(x)被它们映射到一个高维空间中，映射后的变量就变成了 ϕ ( x i ) , ϕ ( x j ) \phi(x_i),\phi(x_j) ϕ(xi​),ϕ(xj​)，映射后的内积变为 I ′ = < ϕ ( x i ) , ϕ ( x j ) > I^{'}=<\phi(x_i),\phi(x_j)> I′=<ϕ(xi​),ϕ(xj​)>。

那么现在要如何计算变换后的内积呢？

传统方法是先计算映射后的向量 ϕ ( x i ) , ϕ ( x j ) \phi(x_i),\phi(x_j) ϕ(xi​),ϕ(xj​)，然后再计算它俩的内积。但是这样做计算很复杂，因为映射到高维空间后的数据维度很高。比如，假设 x i , x j \mathbf{x_i,x_j} xi​,xj​映射之后都是一个(1×10000)维的向量，那么他们的内积计算就需要做10000次加法操作和10000次乘法操作，显然复杂度很高。

那么能不能在原始空间找到一个函数 K ( x i , x j ) K(\mathbf{x_i,x_j}) K(xi​,xj​)使得 K ( x i , x j ) = < ϕ ( x i ) , ϕ ( x j ) > K(\mathbf{x_i,x_j})=<\phi(x_i),\phi(x_j)> K(xi​,xj​)=<ϕ(xi​),ϕ(xj​)>？如果可以的话，我们就可以在低维空间直接计算 K ( x i , x j ) K(\mathbf{x_i,x_j}) K(xi​,xj​)的值，不需要先把数据映射到高维空间，再通过复杂的计算求解映射后的内积了。这样的函数是存在的，这样的函数叫做核函数。

例子： x = ( x 1 , x 2 , x 3 , x 4 ) ; y = ( y 1 , y 2 , y 3 , y 4 ) x = (x1, x2, x3, x4); y = (y1, y2, y3, y4) x=(x1,x2,x3,x4);y=(y1,y2,y3,y4)

f ( x ) = ( x 1 x 1 , x 1 x 2 , x 1 x 3 , x 1 x 4 , x 2 x 1 , x 2 x 2 , x 2 x 3 , x 2 x 4 , x 3 x 1 , x 3 x 2 , x 3 x 3 , x 3 x 4 , x 4 x 1 , x 4 x 2 , x 4 x 3 , x 4 x 4 ) f(x) = (x1x1, x1x2, x1x3, x1x4, x2x1, x2x2, x2x3, x2x4, x3x1, x3x2, x3x3, x3x4, x4x1, x4x2, x4x3, x4x4) f(x)=(x1x1,x1x2,x1x3,x1x4,x2x1,x2x2,x2x3,x2x4,x3x1,x3x2,x3x3,x3x4,x4x1,x4x2,x4x3,x4x4)

f ( y ) f(y) f(y)同理。令核函数 K ( x , y ) = ( < x , y > ) 2 K(\mathbf{x,y})=(<\mathbf{x,y}>)^2 K(x,y)=(<x,y>)2.

x = ( 1 , 2 , 3 , 4 ) ; y = ( 5 , 6 , 7 , 8 ) . x = (1, 2, 3, 4); y = (5, 6, 7, 8). x=(1,2,3,4);y=(5,6,7,8).

不使用核函数： f ( x ) = ( 1 , 2 , 3 , 4 , 2 , 4 , 6 , 8 , 3 , 6 , 9 , 12 , 4 , 8 , 12 , 16 ) ; f(x) = ( 1, 2, 3, 4, 2, 4, 6, 8, 3, 6, 9, 12, 4, 8, 12, 16) ; f(x)=(1,2,3,4,2,4,6,8,3,6,9,12,4,8,12,16);

f ( y ) = ( 25 , 30 , 35 , 40 , 30 , 36 , 42 , 48 , 35 , 42 , 49 , 56 , 40 , 48 , 56 , 64 ) ; f(y) = (25, 30, 35, 40, 30, 36, 42, 48, 35, 42, 49, 56, 40, 48, 56, 64) ; f(y)=(25,30,35,40,30,36,42,48,35,42,49,56,40,48,56,64);

< f ( x ) , f ( y ) > = 25 + 60 + 105 + 160 + 60 + 144 + 252 + 384 + 105 + 252 + 441 + 672 + 160 + 384 + 672 + 1024 = 4900. <f(x), f(y)> = 25+60+105+160+60+144+252+384+105+252+441+672+160+384+672+1024 = 4900. <f(x),f(y)>=25+60+105+160+60+144+252+384+105+252+441+672+160+384+672+1024=4900.

使用核函数： K ( x , y ) = ( 5 + 12 + 21 + 32 ) 2 = 7 0 2 = 4900 K(\mathbf{x,y})=(5+12+21+32)^2=70^2=4900 K(x,y)=(5+12+21+32)2=702=4900

再生核希尔伯特空间

将 { λ i ψ i } i = 1 ∞ \{\sqrt{\lambda_i}\psi_i\}^{\infty}_{i=1} {λi​ ​ψi​}i=1∞​作为一组正交基构建一个希尔伯特空间H \mathcal{H} H,这个空间中的任何一个函数（向量）都可以表示为这组基的线性组合。如

f = ∑ i = 1 ∞ f i λ i ψ i f=\sum\limits^{\infty}\limits_{i=1}f_i\sqrt{\lambda_i}\psi_i f=i=1∑∞​fi​λi​ ​ψi​

则 f f f就可以表示为 H \mathcal{H} H中的一个无限维的向量： f = ( f 1 , f 2 , . . . ) H T f=(f_1,f_2,...)^T_{\mathcal{H}} f=(f1​,f2​,...)HT​, K ( x , y ) K(\mathbf{x,y}) K(x,y)表示二元函数或无限维矩阵， K ( x , ⋅ ) K(\mathbf{x,·}) K(x,⋅)就可以表示矩阵第x行的一元函数或无限维向量，也就是固定核函数的一个参数为x，那么

K ( x , ⋅ ) = ( λ 1 ψ 1 ( x ) , λ 2 ψ 2 ( x ) , . . . ) H T K(\mathbf{x,·})=(\sqrt{\lambda_1}\psi_1(\mathbf{x}),\sqrt{\lambda_2}\psi_2(\mathbf{x}),...)^T_{\mathcal{H}} K(x,⋅)=(λ1​ ​ψ1​(x),λ2​ ​ψ2​(x),...)HT​

同样的，

K ( y , ⋅ ) = ( λ 1 ψ 1 ( y ) , λ 2 ψ 2 ( y ) , . . . ) H T K(\mathbf{y,·})=(\sqrt{\lambda_1}\psi_1(\mathbf{y}),\sqrt{\lambda_2}\psi_2(\mathbf{y}),...)^T_{\mathcal{H}} K(y,⋅)=(λ1​ ​ψ1​(y),λ2​ ​ψ2​(y),...)HT​

因此，

< K ( x , ⋅ ) , K ( y , ⋅ ) > H = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i ( y ) = K ( x , y ) <K(\mathbf{x,·}),K(\mathbf{y,·})>_{\mathcal{H}}=\sum\limits^{\infty}_{i=0}{\lambda_i \psi_i(\mathbf{x})\psi_i(\mathbf{y})}=K(\mathbf{x,y}) <K(x,⋅),K(y,⋅)>H​=i=0∑∞​λi​ψi​(x)ψi​(y)=K(x,y)

以上就是核的可再生性(reproducing)，即用核函数来再生两个函数的内积。也被叫做可再生核希尔伯特空间.

具体定义

设 H \mathcal{H} H是一个由定义在非空集合 X \mathcal{X} X上的函数 f : X → K f:\mathcal{X}\rightarrow \mathbb{K} f:X→K构成的希尔伯特函数空间，若函数 k ： X × X → R k：\mathcal{X}\times\mathcal{X}\rightarrow\mathbb{R} k：X×X→R满足：

∀ x ∈ X , k ( ⋅ , x ) ∈ K ∀x∈\mathcal{X} ,k(⋅,x)∈\mathbb{K} ∀x∈X,k(⋅,x)∈K

∀ x ∈ X , ∀ f ∈ H , < f , k ( ⋅ , x ) > H = f ( x ) ∀x∈\mathcal{X},∀f∈\mathcal{H},\left <f,k(⋅,x) \right >_\mathcal{H}=f(x) ∀x∈X,∀f∈H,⟨f,k(⋅,x)⟩H​=f(x)

∀ x , y ∈ X , k ( x , y ) = < k ( ⋅ , x ) , k ( ⋅ , y ) > H ∀x,y∈\mathcal{X},k(x,y)=\left <k(⋅,x),k(⋅,y) \right >_\mathcal{H} ∀x,y∈X,k(x,y)=⟨k(⋅,x),k(⋅,y)⟩H​

其中 < ⋅ , ⋅ > H <⋅,⋅>_\mathcal{H} <⋅,⋅>H​是内积，则 k k k称为 H \mathcal{H} H的再生核函数， H \mathcal{H} H称为再生核希尔伯特空间（RKHS）.

距离⟶范数⟶内积

向量空间+范数⟶ 赋范空间+线性结构⟶线性赋范空间+内积运算⟶内积空间+完备性⟶希尔伯特空间

内积空间+有限维⟶欧几里德空间

赋范空间+完备性⟶巴拿赫空间

转载或参考：

/asd136912/article/details/79163368/zhouchangyu1221/article/details/103776670/lulu950817/article/details/80424288?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control/question/27903807/p/29527729/damin1909/p/12955240.html/zkq_1986/article/details/52448238