Column Space and Null Space of a Matrix
Zhao Zhao

Column Space and Null Space of a Matrix

Definition: Column Space of a Matrix

The column space of an matrix is the span of the columns of . It is a subspace of and we denote it by col().

Determine whether and are in the column space of We need to solve the two vector equations of the form where first being , then . The respective reduced row-echelon forms (简化行阶梯形式) of the augmented matrices corresponding to the two systems are Therefore we can find scalars , and holds when , , but not when . From this we deduce that is in col(), but is not.

Recall that the system of linear equations in unknowns can be written in linear combination form: Note that the left side of this equation is simply a linear combination of the columns of , with the scalars being the components of . The system will have a solution if, and only if, can be written as a linear combination of the columns of . Stated another way, we have the following:

Theorem: A system has a solution (meaning at least one solution) if, and only if, is in the column space of .

Let’s consider now only the case where , so we have linear equations in unknowns. We have the following facts:

  • If col() is all of , then will have a solution for any vector . What’s more, the solution will be unique.
  • If col() is a proper subspace of (that is, it is not all of R n), then the equation will have a solution if, and only if, is in col(). If is in col() the system will have infinitely many solutions.

Next we define the null space of a matrix.

Definition: Null Space of a Matrix

The null space of an matrix is the set of all solutions to . It is a subspace of and is denoted by null().

Determine whether and are in the column space of A vector is in the null space of a matrix if . We see that

so is in the null() and is not.

Still considering only the case where , we have the following fact about the null space:

  • If null() is just the zero vector, is invertible and has a unique solution for any vector .

  1. 向量空间

向量空间又称线性空间,是线性代数的中心内容和基本概念之一。

如果几个向量的线性组合在某一个向量空间中,并且该向量空间仅包括这几个向量的线性组合,那么这个向量空间就叫做这几个向量张成的空间。简单地说,个向量张成的空间就是个向量的线性组合.

  1. 子空间

的一个非空子集,若中的任意个向量的线性组合依然属于,则称的一个线性子空间,简称子空间。

根据概念,如果的线性子空间,则V一定满足:

  • 包含向量;
  • 中的一个向量,那么与一个变量的乘积也在线性子空间中——数乘封闭性;
  • 中的两个向量,那么也在线性子空间中——加法封闭性;
  1. 零空间

矩阵,是列向量,如果存在向量集合,满足: 则称N是A的零空间。

零空间的意义

从定义看出,零空间是方程的所有解的集合: 首先,0向量是方程的一组解。再假设, 也都是方程的解,现在来看加法封闭性: 满足加法封闭性。最后验证数乘封闭性,任意常数: 也满足数乘封闭性,所以零空间也是的子空间。既然零空间是子空间,子空间又必须包括零向量,当时,由于没有全零解,一定没有零空间。

找出零空间

先看一个例子: 示例比较简单,除了全零解之外,方程组还有多组解,具体来说,如果是任意常量,则: 空间中,是过原点的直线.

再来个稍微复杂点的例子: 只需求解方程组就可以了,方法之一是将A化为行最简阶梯矩阵: 为了求解方便,我们的目标是让方程组的未知数尽量少,所以还可以进一步化简,让台角上方全为0: 将行最简阶梯矩阵转换为方程组: 两个方程,四个未知数,方程组有无数解,的零空间是整个还是的其它子空间呢?回答这个问题前,还需要对方程组进一步转化: 可以是任意实数,是线性无关的,所以的零空间就是张成的空间: 具体来说,的零空间是空间内过原点的一个平面,当然也是的子空间。

零空间与线性无关

再来关注一下的性质,个列向量组成: 如果是线性无关的,意味着方程组只有一个全零解,或者说,这个方程的解集是的零空间,并且这个零空间只包含零向量。此时,应当可以化简成单位矩阵: 结论是,当是满秩方阵或列满秩的长方矩阵时,的零空间只有零向量(仅仅是行满秩时就不一定了)。

  1. 列空间

如果矩阵,那么的列空间是中所有列向量张成的空间。的列空间用表示: 列空间的意义

先召唤一个矩阵: 三个向量不能构成整个空间,它只能构成的子空间。那么列空间的意义何在呢? 还是要结合方程来看,零空间关心的是的解;列空间关心的是,在中,什么样的才能让方程有解。对于任意的,方程并不总是有解,比如下面这个: 四个方程,三个未知数,方程组可能无解。从向量空间上看,三个向量无法充满整个四维空间,所以肯定有很多不是这三个向量的线性组合。同时,这个方程组也可能是有解的,什么样的才能使方程组有解呢?一个简单的办法是先写出,然后根据反推出 可以看到,的线性组合,所以一定在的列空间内,此时有解;反之,如果不在的列空间中,意味着无解,这就是列空间意义了。

在上面例子中,的第三个列向量可以由前两个的线性组合表示,因此的列空间是的二维子空间: 列空间的基

我们已经理解了列空间,怎样计算列空间的基呢?先来看个例子: A的列空间可以直接写成: 这样写似乎没错,但是的四个列向量是否是线性组合呢?肯定不是,因为至多能张成空间,只需要三个向量就够了,所以的四个向量中至少有一个是多余的,这就需要去掉多余的向量,求得列空间的基,这需要运用零空间的知识进行一些计算。首先将转换为行最简阶梯矩阵,在此基础上让台角上方全为0:

最终化简为行最简阶梯矩阵,阶梯的台角代表主元: 这样看来主元的个数等于矩阵的秩。在中,1、2两列是主元所在的列,它们是线性孤立的,其它列都可以用它们的线性组合表示,这也意味着1、2列的前身——的1、2两列是线性孤立的。因此,只要确定了主元,就可以将列空间的基用主元所在的列数表示,本例中: Q1: 看看哪些是的子空间? 首先回顾一下子空间,子空间包括零向量,子空间内所有向量的线性组合依然在子空间内。

  1. 这里描绘了向量分量间的关系是线性的,可以将其转换为方程: <a1,a2,a3>是<1,1,-1>的零空间,零空间是的子空间.

  2. 三个分量不是线性关系了,这意味着八成不是子空间,可以随意列举几个向量。当a1 =1,a2 =1时,a3 = a1 a2 = 1,<a1,a2,a3> = <1, 1, 1>,由于子空间对数乘封闭,所以<2, 2, 2>也应该在子空间内,但此时 a3 ≠ a1a2,所以问题2的条件不能构成子空间。

  3. 先将表达式化简: <a1,a2,a3>是<1, 0, -1>和<1, 0, 1>的线性组合,是子空间。

  4. 还是先将表达式化简: 注意到第二个分量是1,是定值,无法构成零向量,问题4的条件不能构成子空间。

Q2: 找出Ax=b的列空间: 首先化简为最简行阶梯矩阵: 主元是1、2、4列,列空间是主元所在的列: