欧式空间与希尔伯特空间

在学习统计学习方法的时候，遇到核技巧的时候，理解从输入空间到特征空间的非线性映射出现了俩个空间，有些难懂，特意做一些笔记欧几里得空间，希尔伯特空间，巴拿赫空间或者是拓扑空间都属于函数空间。函数空间 = 元素 + 规则 ，即一个函数空间由 元素 与 元素所满足的规则 定义，而要明白这些函数空间的定义首先得从距离，范数，内积，完备性等基本概念说起

距离

说到距离，我们首先想到的是点与点之间的距离，除此之外还有向量之间的距离，曲线之间的距离，函数之间的距离…。这儿谈到 距离 的定义是一种泛指的概念。点与点之间的距离 与 距离 就类似于苹果与水果之间的关系。距离 这个概念的作用主要用于衡量同一空间不同元素之间的差异情况，从这个出发点我们可以得到关于距离的一些属性：

元素之间的距离大于等于0，若距离等于0则为相同元素。

元素A到B之间的距离等于元素B到A之间的距离。

元素之间的距离满足三角不等式。

满足以上三条属性即可称作元素之间的距离，其正式定义如下

设X是一个非空集合，任给一对这一集合的元素 X , Y X,Y X,Y。都给定一个实数 d ( X , Y ) d(X,Y) d(X,Y) 与之对应，并且满足

d ( X , Y ) ≥ 0 ; d ( X , Y ) = 0 ⇔ X = Y ; d(X,Y) \ge 0 ; \quad d(X,Y) =0 \Leftrightarrow X=Y ; d(X,Y)≥0;d(X,Y)=0⇔X=Y;

d ( X , Y ) = d ( Y , X ) ; d(X,Y)=d(Y,X); d(X,Y)=d(Y,X);

d ( X , Y ) ≤ d ( X , Z ) + d ( Y , Z ) ; d(X,Y) \le d(X,Z)+d(Y,Z); d(X,Y)≤d(X,Z)+d(Y,Z);

则称 d ( X , Y ) d(X,Y) d(X,Y)是元素X,Y之间的距离

线性

线性这个概念可以说是很熟悉了，即为加法与乘法的结合。若一个空间为线性空间，只要我们知道了此空间的所有基，便可以用加法与数乘表示这一空间所有的元素，如二维平面中能用X轴的单位向量与Y轴的单位向量表示此平面的任意向量

范数

范数的概念是在距离的基础上多了一个零点的概念，拥有范数的空间称作赋范空间，用符号 ||X|| 表示元素 X 的范数。因为范数的概念是在距离的概念上加了新的限制，则赋范空间一定是度量空间。我们可以用范数定义距离：

d ( X , Y ) = ∣ ∣ X − Y ∣ ∣ d(X,Y)=||X-Y||

d(X,Y)=∣∣X−Y∣∣

总结：元素 X X X的范数||X|| 可简单看做 X X X到零点的近距离。

内积

X与 Y Y Y的内积用符号 ( X , Y ) (X,Y) (X,Y)表示，内积的结果同样是为实数。内积是在范数的概念上加了更多限制条件，即内积空间一定为赋范空间，同样的，可以用内积定义范数如下：

||X||^2 = (X,X)

目前为止便完成了本文的大部分内容，有限维内积空间便是我们最熟悉的欧几里得空间

完备

完备性这个概念的历史渊源比较深厚，作为非数学专业的工科生我也不太明白完备性的具体含义，简单来说对集合中的元素取极限不超出此空间便称其具有完备性，完备性是在极限的基础上衍生的概念。例如在有理数集上的一个序列{1，1.4，1.41，1.414，1.4142…}，可知此序列极限为 √2

线性完备内积空间称作希尔伯特空间

线性完备赋范空间称作巴拿赫空间

有限维线性内积空间称作欧几里得空间

​

参考

/weixin_36811328/article/details/81207753