创新实训第八周总结

程序员文章站 2024-03-22 21:56:46

...

直接变化的深度图和解线性方程组的深度图分别如下
创新实训第八周总结

解方程得到深度图

https://www.jianshu.com/p/1aac118197ff（obj文件的格式）
OBJ文件 – 基本结构
OBJ文件不需要任何种文件头(File Header)，尽管经常使用几行文件信息的注释作为文件的开头。OBJ文件由一行行文本组成，注释行以一个“井”号(#)为开头，空格和空行可以随意加到文件中以增加文件的可读性。有字的行都由一两个标记字母也就是关键字(Keyword)开头，关键字可以说明这一行是什么样的数据。多行可以逻辑地连接在一起表示一行，方法是在每一行最后添加一个连接符()。注意连接符()后面不能出现空格或tab格，否则将导致文件出错。下列关键字可以在OBJ文件使用。在这个列表中, 关键字根据数据类型排列，每个关键字有一段简短描述。
几个重要的顶点数据(Vertex data)：
v 几何体顶点 (Geometric vertices)
vt 贴图坐标点 (Texture vertices)
vn 顶点法线 (Vertex normals)

接下来从深度图重新构建三维模型，深度值从之前得到的深度图直接读取，构建三维mesh时，将相邻的四个点相连，构造成两个三角形，点的顺序逆时针，主要代码如下

with open(r'b.obj','w+') as file:
    #几何体顶点
    for q in pointdepth:
        file.write('v '+str(q[0])+' '+str(q[1])+' '+str(q[2])+'\n')
 
    for q in back_pointdepth:
        file.write('v '+str(q[0])+' '+str(q[1])+' '+str(q[2])+'\n')
        
        
    #面
    for i in range(x-1):
        for ii in range(y-1):
            if(img[i][ii]!=0 and img[i+1][ii]!=0 and img[i+1][ii+1]!=0 and img[i][ii+1]!=0):
                qurt.append([dp_matrix_value[i,ii],dp_matrix_value[i+1,ii],dp_matrix_value[i+1,ii+1],dp_matrix_value[i,ii+1]])
 
                
#     124 234
 
    for qu in qurt:
        file.write('f '+str(int(qu[0]))+' '+str(int(qu[1]))+' '+str(int(qu[3]))+'\n') 
        file.write('f '+str(int(qu[1]))+' '+str(int(qu[2]))+' '+str(int(qu[3]))+'\n') 
        
    
        #面
    for i in range(x-1):
        for ii in range(y-1):
            if(back_img[i][ii]!=0 and back_img[i+1][ii]!=0 and back_img[i+1][ii+1]!=0 and back_img[i][ii+1]!=0):
                back_qurt.append([back_dp_matrix_value[i,ii],back_dp_matrix_value[i+1,ii],back_dp_matrix_value[i+1,ii+1],back_dp_matrix_value[i,ii+1]])
 
                
#     124 234
 
    for qu in back_qurt:
        file.write('f '+str(int(qu[0]))+' '+str(int(qu[1]))+' '+str(int(qu[3]))+'\n') 
        file.write('f '+str(int(qu[1]))+' '+str(int(qu[2]))+' '+str(int(qu[3]))+'\n')

构造出的obj正面结果还不错
创新实训第八周总结
背面由于深度值缺失，效果较差

鉴于边界点等效果较差，采取两种措施

（1）使用bfs思想平滑图片。通过常识我们知道，相邻像素之间的深度值不会差别很大。从这种想法出发，选取基本点，然后用bfs方法减少相邻的像素之间的深度值差。

import queue
 
# 从中心点开始，bfs向外扩展，将变化大的点的深度值平滑
# x,y为图片中心，img为图片深度值，gap为相邻元素深度值最大差，diff为深度值差合理范围
def bfs_smooth(x,y,img,gap,diff):
    q = queue.Queue()
    visited = np.mat(np.zeros((x,y)))
 
    mid_x = int(x/2)
    mid_y = int(y/2)
    q.put((mid_x,mid_y))
    visited[mid_x,mid_y]=1
    
    while not q.empty():
        cx,cy = q.get()
        before = img[cx][cy]
        for i in range(-1,2):
            for j in range(-1,2):
                new_x = cx+i
                new_y = cy+j
                if(img[new_x][new_y]!=0 and visited[new_x,new_y] == 0 ):
                    visited[new_x,new_y] = 1
                    q.put((new_x,new_y))
 
                    if(abs(int(img[new_x][new_y])-int(before))<diff):
                        pass
                    elif(img[new_x][new_y]>before):
                        img[new_x][new_y] = before+gap
                    else:
                        img[mid_x][i] = before

（2）在前后拼接时，若出现相互交叉的情况，将深度值设为中间值

    for i in range(lenth):
        q1 = pointdepth[i]
        q2 = back_pointdepth[i]
        
        if(q1[2]>q2[2]):
            
            mid = (q1[2]+q2[2])/2
            pointdepth[i][2] = mid
            back_pointdepth[i][2] = mid

得到模型
创新实训第八周总结

可以发现，深度值似乎存在一些问题（肚子，腿等姿态），这与相机参数有关