numpy linalg模块的具体使用方法

最近在看机器学习的 logisticregressor，bayesianlogisticregressor算法，里面得到一阶导数矩阵g和二阶导数hessian矩阵h的时候，用到了这个模块进行求解运算，记录一下。

numpy.linalg模块包含线性代数的函数。使用这个模块，可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

import numpy as np

# 1. 计算逆矩阵
# 创建矩阵
a = np.mat("0 1 2;1 0 3;4 -3 8")
print (a)
#[[ 0 1 2]
# [ 1 0 3]
# [ 4 -3 8]]

# 使用inv函数计算逆矩阵
inv = np.linalg.inv(a)
print (inv)
#[[-4.5 7. -1.5]
# [-2. 4. -1. ]
# [ 1.5 -2. 0.5]]

# 检查原矩阵和求得的逆矩阵相乘的结果为单位矩阵
print (a * inv)
#[[ 1. 0. 0.]
# [ 0. 1. 0.]
# [ 0. 0. 1.]]

注：矩阵必须是方阵且可逆，否则会抛出linalgerror异常。

# 2. 求解线性方程组
# numpy.linalg中的函数solve可以求解形如 ax = b 的线性方程组，其中 a 为矩阵，b 为一维或二维的数组，x 是未知变量
 
#创建矩阵和数组
b = np.mat("1 -2 1;0 2 -8;-4 5 9")
b = np.array([0,8,-9])
 
# 调用solve函数求解线性方程
x = np.linalg.solve(b,b)
print (x)
#[ 29. 16. 3.]
 
# 使用dot函数检查求得的解是否正确
print (np.dot(b , x))
# [[ 0. 8. -9.]]

# 3. 特征值和特征向量
# 特征值（eigenvalue）即方程 ax = ax 的根，是一个标量。
 
#其中，a 是一个二维矩阵，x 是一个一维向量。特征向量（eigenvector）是关于特征值的向量
# numpy.linalg模块中，eigvals函数可以计算矩阵的特征值，而eig函数可以返回一个包含特征值和对应的特征向量的元组
 
# 创建一个矩阵
c = np.mat("3 -2;1 0")
 
# 调用eigvals函数求解特征值
c0 = np.linalg.eigvals(c)
print (c0)
# [ 2. 1.]
 
# 使用eig函数求解特征值和特征向量 
#(该函数将返回一个元组，按列排放着特征值和对应的特征向量，其中第一列为特征值，第二列为特征向量)
c1,c2 = np.linalg.eig(c)
print (c1)
# [ 2. 1.] 
print (c2)
#[[ 0.89442719 0.70710678]
# [ 0.4472136 0.70710678]]
 
# 使用dot函数验证求得的解是否正确
for i in range(len(c1)):
print ("left:",np.dot(c,c2[:,i]))
print ("right:",c1[i] * c2[:,i])
#left: [[ 1.78885438]
# [ 0.89442719]]
#right: [[ 1.78885438]
# [ 0.89442719]]
#left: [[ 0.70710678]
# [ 0.70710678]]
#right: [[ 0.70710678]
# [ 0.70710678]]

# 4.奇异值分解
# svd（singular value decomposition，奇异值分解）是一种因子分解运算，将一个矩阵分解为3个矩阵的乘积
# numpy.linalg模块中的svd函数可以对矩阵进行奇异值分解。该函数返回3个矩阵——u、sigma和v，其中u和v是正交矩阵，sigma包含输入矩阵的奇异值。
 
import numpy as np
 
# 分解矩阵
d = np.mat("4 11 14;8 7 -2")
# 使用svd函数分解矩阵
u,sigma,v = np.linalg.svd(d,full_matrices=false)
print ("u:",u)
#u: [[-0.9486833 -0.31622777]
# [-0.31622777 0.9486833 ]]
print ("sigma:",sigma)
#sigma: [ 18.97366596 9.48683298]
print ("v",v)
#v [[-0.33333333 -0.66666667 -0.66666667]
# [ 0.66666667 0.33333333 -0.66666667]]
# 结果包含等式中左右两端的两个正交矩阵u和v，以及中间的奇异值矩阵sigma
 
# 使用diag函数生成完整的奇异值矩阵。将分解出的3个矩阵相乘
print (u * np.diag(sigma) * v)
#[[ 4. 11. 14.]
# [ 8. 7. -2.]]

# 5. 广义逆矩阵
# 使用numpy.linalg模块中的pinv函数进行求解,
# 注：inv函数只接受方阵作为输入矩阵，而pinv函数则没有这个限制
 
import numpy as np
 
# 创建一个矩阵
e = np.mat("4 11 14;8 7 -2")
# 使用pinv函数计算广义逆矩阵
pseudoinv = np.linalg.pinv(e)
print (pseudoinv)
#[[-0.00555556 0.07222222]
# [ 0.02222222 0.04444444]
# [ 0.05555556 -0.05555556]]
 
# 将原矩阵和得到的广义逆矩阵相乘
print (e * pseudoinv)
#[[ 1.00000000e+00 -5.55111512e-16]
# [ 0.00000000e+00 1.00000000e+00]]

# 6. 行列式
# numpy.linalg模块中的det函数可以计算矩阵的行列式
 
import numpy as np
 
# 计算矩阵的行列式
f = np.mat("3 4;5 6")
# 使用det函数计算行列式
print (np.linalg.det(f))
# -2.0

学完这些之后，再用其中的numpy.linalg.solve()函数对（h，g）线性方程组进行求解。

def _fit(self, x, t, max_iter=100): #输入样本 ， 0,1标签 ，最大迭代步数
  self._check_binary(t)
  w = np.zeros(np.size(x, 1))  #初始化权重矩阵 x行
  for _ in range(max_iter):
    w_prev = np.copy(w)    #保存原先的权重信息 用来更新权重
    y = self._sigmoid(x @ w)  #sigmoid 特征向量@权重矩阵 输出y
    grad = x.t @ (y - t)    #一阶导数
    hessian = (x.t * y * (1 - y)) @ x  #二阶导数 hessian矩阵
    try:
      w -= np.linalg.solve(hessian, grad)
      print(w)
    except np.linalg.linalgerror:
      break
    if np.allclose(w, w_prev): #收敛到一定的精度
      break
  self.w = w
# [-0.17924772 1.02982033 0.54459921]
# [-0.25994586 1.76892341 0.90294418]
# [-0.35180664 2.60346027 1.25122256]
# [-0.468509  3.54309929 1.60131553]
# [-0.58591528 4.43787542 1.93496706]
# [-0.65896159 4.97839095 2.14764763]
# [-0.67659725 5.10615457 2.20048333]
# [-0.67736191 5.11159274 2.20281247]
# [-0.67736325 5.11160214 2.20281657]

ps:更多示例

# 线性代数
# numpy.linalg模块包含线性代数的函数。使用这个模块，可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等。

import numpy as np

# 1. 计算逆矩阵
# 创建矩阵
a = np.mat("0 1 2;1 0 3;4 -3 8")
print (a)
#[[ 0 1 2]
# [ 1 0 3]
# [ 4 -3 8]]

# 使用inv函数计算逆矩阵
inv = np.linalg.inv(a)
print (inv)
#[[-4.5 7. -1.5]
# [-2. 4. -1. ]
# [ 1.5 -2. 0.5]]

# 检查原矩阵和求得的逆矩阵相乘的结果为单位矩阵
print (a * inv)
#[[ 1. 0. 0.]
# [ 0. 1. 0.]
# [ 0. 0. 1.]]

# 注：矩阵必须是方阵且可逆，否则会抛出linalgerror异常。


# 2. 求解线性方程组
# numpy.linalg中的函数solve可以求解形如 ax = b 的线性方程组，其中 a 为矩阵，b 为一维或二维的数组，x 是未知变量

import numpy as np

#创建矩阵和数组
b = np.mat("1 -2 1;0 2 -8;-4 5 9")
b = np.array([0,8,-9])

# 调用solve函数求解线性方程
x = np.linalg.solve(b,b)
print (x)
#[ 29. 16. 3.]

# 使用dot函数检查求得的解是否正确
print (np.dot(b , x))
# [[ 0. 8. -9.]]


# 3. 特征值和特征向量
# 特征值（eigenvalue）即方程 ax = ax 的根，是一个标量。其中，a 是一个二维矩阵，x 是一个一维向量。特征向量（eigenvector）是关于特征值的向量
# numpy.linalg模块中，eigvals函数可以计算矩阵的特征值，而eig函数可以返回一个包含特征值和对应的特征向量的元组 

import numpy as np

# 创建一个矩阵
c = np.mat("3 -2;1 0")

# 调用eigvals函数求解特征值
c0 = np.linalg.eigvals(c)
print (c0)
# [ 2. 1.]

# 使用eig函数求解特征值和特征向量 (该函数将返回一个元组，按列排放着特征值和对应的特征向量，其中第一列为特征值，第二列为特征向量)
c1,c2 = np.linalg.eig(c)
print (c1)
# [ 2. 1.] 
print (c2)
#[[ 0.89442719 0.70710678]
# [ 0.4472136 0.70710678]] 

# 使用dot函数验证求得的解是否正确
for i in range(len(c1)):
 print ("left:",np.dot(c,c2[:,i]))
 print ("right:",c1[i] * c2[:,i])
#left: [[ 1.78885438]
# [ 0.89442719]]
#right: [[ 1.78885438]
# [ 0.89442719]]
#left: [[ 0.70710678]
# [ 0.70710678]]
#right: [[ 0.70710678]
# [ 0.70710678]]

 

# 4.奇异值分解
# svd（singular value decomposition，奇异值分解）是一种因子分解运算，将一个矩阵分解为3个矩阵的乘积
# numpy.linalg模块中的svd函数可以对矩阵进行奇异值分解。该函数返回3个矩阵——u、sigma和v，其中u和v是正交矩阵，sigma包含输入矩阵的奇异值。

import numpy as np

# 分解矩阵
d = np.mat("4 11 14;8 7 -2")
# 使用svd函数分解矩阵
u,sigma,v = np.linalg.svd(d,full_matrices=false)
print ("u:",u)
#u: [[-0.9486833 -0.31622777]
# [-0.31622777 0.9486833 ]]
print ("sigma:",sigma)
#sigma: [ 18.97366596 9.48683298]
print ("v",v)
#v [[-0.33333333 -0.66666667 -0.66666667]
# [ 0.66666667 0.33333333 -0.66666667]]
# 结果包含等式中左右两端的两个正交矩阵u和v，以及中间的奇异值矩阵sigma

# 使用diag函数生成完整的奇异值矩阵。将分解出的3个矩阵相乘
print (u * np.diag(sigma) * v)
#[[ 4. 11. 14.]
# [ 8. 7. -2.]]

# 5. 广义逆矩阵
# 使用numpy.linalg模块中的pinv函数进行求解,
# 注：inv函数只接受方阵作为输入矩阵，而pinv函数则没有这个限制

import numpy as np

# 创建一个矩阵
e = np.mat("4 11 14;8 7 -2")
# 使用pinv函数计算广义逆矩阵
pseudoinv = np.linalg.pinv(e)
print (pseudoinv)
#[[-0.00555556 0.07222222]
# [ 0.02222222 0.04444444]
# [ 0.05555556 -0.05555556]]

# 将原矩阵和得到的广义逆矩阵相乘
print (e * pseudoinv)
#[[ 1.00000000e+00 -5.55111512e-16]
# [ 0.00000000e+00 1.00000000e+00]]

# 6. 行列式
# numpy.linalg模块中的det函数可以计算矩阵的行列式

import numpy as np

# 计算矩阵的行列式
f = np.mat("3 4;5 6")
# 使用det函数计算行列式
print (np.linalg.det(f))
# -2.0

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。