欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

创新实训第八周总结

程序员文章站 2024-03-22 21:56:46
...

直接变化的深度图和解线性方程组的深度图分别如下
创新实训第八周总结
创新实训第八周总结
解方程得到深度图

https://www.jianshu.com/p/1aac118197ff(obj文件的格式)
OBJ文件 – 基本结构
OBJ文件不需要任何种文件头(File Header),尽管经常使用几行文件信息的注释作为文件的开头。OBJ文件由一行行文本组成,注释行以一个“井”号(#)为开头,空格和空行可以随意加到文件中以增加文件的可读性。有字的行都由一两个标记字母也就是关键字(Keyword)开头,关键字可以说明这一行是什么样的数据。多行可以逻辑地连接在一起表示一行,方法是在每一行最后添加一个连接符()。注意连接符()后面不能出现空格或tab格,否则将导致文件出错。下列关键字可以在OBJ文件使用。在这个列表中, 关键字根据数据类型排列,每个关键字有一段简短描述。
几个重要 的顶点数据(Vertex data):
v 几何体顶点 (Geometric vertices)
vt 贴图坐标点 (Texture vertices)
vn 顶点法线 (Vertex normals)

接下来从深度图重新构建三维模型,深度值从之前得到的深度图直接读取,构建三维mesh时,将相邻的四个点相连,构造成两个三角形,点的顺序逆时针,主要代码如下

with open(r'b.obj','w+') as file:
    #几何体顶点
    for q in pointdepth:
        file.write('v '+str(q[0])+' '+str(q[1])+' '+str(q[2])+'\n')
 
    for q in back_pointdepth:
        file.write('v '+str(q[0])+' '+str(q[1])+' '+str(q[2])+'\n')
        
        
    #面
    for i in range(x-1):
        for ii in range(y-1):
            if(img[i][ii]!=0 and img[i+1][ii]!=0 and img[i+1][ii+1]!=0 and img[i][ii+1]!=0):
                qurt.append([dp_matrix_value[i,ii],dp_matrix_value[i+1,ii],dp_matrix_value[i+1,ii+1],dp_matrix_value[i,ii+1]])
 
                
#     124 234
 
    for qu in qurt:
        file.write('f '+str(int(qu[0]))+' '+str(int(qu[1]))+' '+str(int(qu[3]))+'\n') 
        file.write('f '+str(int(qu[1]))+' '+str(int(qu[2]))+' '+str(int(qu[3]))+'\n') 
        
    
        #面
    for i in range(x-1):
        for ii in range(y-1):
            if(back_img[i][ii]!=0 and back_img[i+1][ii]!=0 and back_img[i+1][ii+1]!=0 and back_img[i][ii+1]!=0):
                back_qurt.append([back_dp_matrix_value[i,ii],back_dp_matrix_value[i+1,ii],back_dp_matrix_value[i+1,ii+1],back_dp_matrix_value[i,ii+1]])
 
                
#     124 234
 
    for qu in back_qurt:
        file.write('f '+str(int(qu[0]))+' '+str(int(qu[1]))+' '+str(int(qu[3]))+'\n') 
        file.write('f '+str(int(qu[1]))+' '+str(int(qu[2]))+' '+str(int(qu[3]))+'\n') 

构造出的obj正面结果还不错
创新实训第八周总结
背面由于深度值缺失,效果较差
创新实训第八周总结
鉴于边界点等效果较差,采取两种措施

(1)使用bfs思想平滑图片。通过常识我们知道,相邻像素之间的深度值不会差别很大。从这种想法出发,选取基本点,然后用bfs方法减少相邻的像素之间的深度值差。

import queue
 
# 从中心点开始,bfs向外扩展,将变化大的点的深度值平滑
# x,y为图片中心,img为图片深度值,gap为相邻元素深度值最大差,diff为深度值差合理范围
def bfs_smooth(x,y,img,gap,diff):
    q = queue.Queue()
    visited = np.mat(np.zeros((x,y)))
 
    mid_x = int(x/2)
    mid_y = int(y/2)
    q.put((mid_x,mid_y))
    visited[mid_x,mid_y]=1
    
    while not q.empty():
        cx,cy = q.get()
        before = img[cx][cy]
        for i in range(-1,2):
            for j in range(-1,2):
                new_x = cx+i
                new_y = cy+j
                if(img[new_x][new_y]!=0 and visited[new_x,new_y] == 0 ):
                    visited[new_x,new_y] = 1
                    q.put((new_x,new_y))
 
                    if(abs(int(img[new_x][new_y])-int(before))<diff):
                        pass
                    elif(img[new_x][new_y]>before):
                        img[new_x][new_y] = before+gap
                    else:
                        img[mid_x][i] = before

(2)在前后拼接时,若出现相互交叉的情况,将深度值设为中间值

    for i in range(lenth):
        q1 = pointdepth[i]
        q2 = back_pointdepth[i]
        
        if(q1[2]>q2[2]):
            
            mid = (q1[2]+q2[2])/2
            pointdepth[i][2] = mid
            back_pointdepth[i][2] = mid

得到模型
创新实训第八周总结
创新实训第八周总结
创新实训第八周总结
可以发现,深度值似乎存在一些问题(肚子,腿等姿态),这与相机参数有关

这涉及到世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换关系,https://blog.csdn.net/xueluowutong/article/details/80950915

https://blog.csdn.net/woniu199166/article/details/78625061

https://blog.csdn.net/weixin_33937913/article/details/86132657

问题待解决