注：在此讨论的内容默认是针对监督学习
一、输入空间
直白点，输入‘X’可能取值的集合就是输入空间（input space）。输入空间可以是有限集合空间，也可以是整个欧式空间。
二、输出空间
同样的，输出‘Y’可能取值的集合就是输出空间（output space）。输出空间可以是有限集合空间，也可以是整个欧式空间。
三、特征空间
对于上面讨论的输入空间，每个具体的输入就是一个实例（instance）,这个实例是由特征向量（feature vector）表示,如下图（图一）：其中x就是输入空间X中的一个输入实例，由n维特征向量组成（x(n)）；
（图一）
一般的，用大写的X/Y代表输入输出空间，小写的x/y代表一个具体的输入输出实例（标量或者向量）；向量默认为列向量， 所以上图中对于x的输入向量用行向量转置的方式（符号'T'）来表示列向量
我们再看下图（图二）：
图一与图二的不同之处在于和, 其中代表多个输入变量x中的第i个；
另外与的区别在于：代表输入x的第i个特征。 所以图二代表的意思是：第i个输入变量中，由n个特征组成。
