直观解释矩阵的特征值与特征向量

矩阵的特征值与特征向量究竟意味着什么?

我的脑子比较笨, 很多东西一定要解释地特别直观, 否则我就是一头雾水. 尤其是矩阵的特征值与特征向量, 是线性代数中非常重要的概念. 我下决心要搞明白它到底有什么直观的含义.

现在只考虑二阶方阵, 并且特征值都是实数. 即假设
$A =\left( \begin{matrix} 4 & -2 \\1 & 1\end{matrix} \right),$A=(41​−21​),
经过计算, 矩阵 $A$A 的两个特征值分别为 $\lambda_1 = 3, \lambda_2 = 2.$λ1​=3,λ2​=2. 对应的特征向量分别为 $x_1 = (0.89, 0.45)^T, x_2=(0.71, 0.71)^T.$x1​=(0.89,0.45)T,x2​=(0.71,0.71)T.

矩阵 $A$A 可以看成一个线性变换的算子, 即 $y=Ax$y=Ax, 即对变量 $x$x 施加一个线性变换得到新的变量 $y$y. 现在先考虑一阶的矩阵 $A$A, 也就是一个标量 $a$a, 也是特殊的矩阵. 于是就得到了一元线性方程 $y=ax$y=ax, 这简单得不能再简单了, 它的涵义也很清楚, 就是把数轴上(一维实数空间)的数变为原来的 $a$a 倍, 有一种把数轴往两边拉长的感觉. “矩阵” $a$a 的特征值为 $a$a, 数轴上每一个向量都是特征向量, 这是因为数轴上任意的一个 “向量” 经过线性变换, 方向都没有改变.

一维空间的理解了, 那么对于二维空间也就好理解了. 回到上面的矩阵 $A$A, 它二维空间上的线性算子, 它比一维情形复杂的地方在于它包含了两个维度之间的线性关系.

为了直观看一看这个线性变换的效果, 我画了个图来说明:

图片最中心是原点, 为了图片简洁, 就没有画坐标轴. 绿线和蓝线分别是特征向量 $x_1$x1​ 和 $x_2$x2​ 所在的方向, 暗红色的点是采样的一些样本点 $x$x, 绿色的点是经过矩阵 $A$A 作用后得到的新的向量, 黄色的是二者的连接线. 这里从一个圆上面采样(注意为了写代码方便, 没有进行均匀采样), 是因为二维空间中的所有向量都可以缩放到圆上, 这里只考察不同方向的向量. 从图中可以看到经过矩阵 $A$A 作用后, 把圆上的向量拉伸变形成了类似椭圆(有待于验证)的形状.

下面从一个矩形区域内采样, 看一看方向变化情况:

这里只看变换后的方向, 所有向量模长都进行归一化处理. 可以看到, 在特征向量方向上的向量没有改变方向, 其它方向的向量都改变了方向.

第一个图的代码(代码中的文件 1500.png 是一个宽高都为 1500 像素的空白图片, 用于画图):

from PIL import Image, ImageDraw
import numpy as np
from numpy.linalg import eig

img = Image.open("1500.png")
draw = ImageDraw.Draw(img) #建立绘图对象
width, height = img.size    #获取原始图像大小


A = np.array([[4, -2], 
              [1, 0.9]])

step = 80  # 每个多远采样一个点
p_range = 500  # 采样点范围

margin = width/2 

all_direction_norm = []
max_norm = 4050 # 提前计算好的最大长度

for i in range(-p_range, p_range, step):
    for j in range(-p_range, p_range, step):
        vector = np.array([i, j]) # 生成向量
        # 可选: 把vector变成单位向量, 再将模长放大50倍, 相当于在一个圆上采样
        vector = 50 * vector / (np.linalg.norm(vector) + 1e-3)

        #print(vector)
        #print(vector[0] + margin, vector[1] + margin)
        conversion = np.matmul(A, vector) # 变换后的向量

        direction_norm = (np.linalg.norm(conversion - vector) + 1e-3)
        all_direction_norm.append(direction_norm)

        direction = (conversion - vector) / direction_norm # 计算移动方向
        direction *= direction_norm # 保证像素长度大, 能画出图来

        # 画出线, 按照 direction_norm 的大小, 赋予由深到浅的颜色, 需要提前确定好最大的 direction_norm
        draw.line( ((vector[0] + margin, vector[1] + margin),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin))),   fill = (200, 200, 50)) #画一条直线，(0, 0)到(width-1, height-1)，fill指线的颜色
        # 把线的起点描成红色
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin,    vector[1] + margin)),       fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin +1, vector[1] + margin)),       fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin+1,  vector[1] + margin+1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin,    vector[1] + margin+1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin-1,  vector[1] + margin)),       fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin-1,  vector[1] + margin+1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin-1,  vector[1] + margin-1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin,    vector[1] + margin-1)),     fill = (150, int(direction_norm / max_norm * 255), 0))
        draw.line( ((vector[0] + margin,    vector[1] + margin),
                    (vector[0] + margin+1,  vector[1] + margin-1)),     fill = (150, int(direction_norm / max_norm * 255), 0))

        # 把线的终点描成绿色
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin))),      fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin) +1, vector[1] + int(direction[1] + margin))),   fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)+1, vector[1] + int(direction[1] + margin)+1)),  fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)+1)),    fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)-1, vector[1] + int(direction[1] + margin))),    fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)-1, vector[1] + int(direction[1] + margin)+1)),  fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)-1, vector[1] + int(direction[1] + margin)-1)),  fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)-1)),    fill = (0, 255, 0))
        draw.line( ((vector[0] + int(direction[0] + margin), vector[1] + int(direction[1] + margin)),
                    (vector[0] + int(direction[0] + margin)+1, vector[1] + int(direction[1] + margin)-1)),  fill = (0, 255, 0))
print("最大长度: ", max(all_direction_norm))

# 画特征向量
vals,  vecs = eig(A) # 特征分解，每一列是特征向量

a1 = vecs[0, 0]
a2 = vecs[1, 0]

b1 = vecs[0, 1]
b2 = vecs[1, 1]

# 画出两个特征向量
draw.line( ((margin,            margin), 
            (margin + a1 * 500, margin + a2 * 500)),
           fill = (0, 10, 255)) #画一条直线，(0, 0)到(width-1, height-1)，fill指线的颜色
draw.line( ((margin,            margin), 
            (margin + b1 * 500, margin + b2 * 500)),
           fill = (0, 255, 10)) #画一条直线，(0, 0)到(width-1, height-1)，fill指线的颜色
# 画出紫色中心点
draw.line(((margin, margin), (margin, margin)), fill = (255, 0, 255))#画一条直线，(0, 0)到(width-1, height-1)，fill指线的颜色

img.save("result.png")#保存新图像


print("特征值：", vals)
print("特征向量：", vecs)