输入空间、输出空间、特征空间与假设空间是监督学习中的基本概念，我把它们放到一起方便记忆。
输入空间(input space)：输入所有可能取值的集合输出空间(output space)：输出所有可能取值的集合
输入与输出空间可以是有限元素的集合，也可以是整个欧式空间（定义了內积的实线性空间），它们可以是同一个空间，也可以是不同的空间，通常，输出空间远远小于输入空间。特征空间(feature space)：所有特征向量存在的空间。每个具体的输入是一个实例，通常由特征向量表示。
例如：输入实例x的特征向量记作 x=(x(1),x(2),…,x(i),…,x(n))Tx=(x^{(1)},x^{(2)},…,x^{(i)},…,x^{(n)})^Tx=(x(1),x(2),…,x(i),…,x(n))T
其中，x(i)表示x的第i个特征向量，通常用xi表示多个输入变量中的第i个,多个这样的特征向量组成的空间就叫特征空间。假设空间(hypothesis space)：输入空间到输出空间映射的集合。这一映射由模型来表示，换句话说，这是学习模型的集合
