CUDA By Example(三) 博客分类: GPU
GPU性能的瓶颈往往不在于芯片的数学计算吞吐量,而在于芯片的内存宽带。GPU有非常多的数字逻辑单元(ALU),因此有时输入数据的速率无法维持如此高的计算速率。
CUDA C除了可以使用全局内存和共享内存,还支持常量内存。常量内存用于保持核函数执行期间不会发生变化的数据。NVIDA提供了64KB的常量内存。在某些情况下,用常量内存替代全局内存能有效减少内存宽带。
下面的例子演示光线跟踪。
光线跟踪(Ray Tracing)是从三维对象场景中生成二维图像的一种方式。(OpenGL、DirectX中有一种相同目的的技术:光栅化,Rasterization)。光线跟踪的原理是:在场景中选择一个位置放一台假象的相机,这台相机用光传感器来生成图像,图像的每个像素与命中传感器的光线有着相同的颜色和强度。命中的光线可能来自场景中的任意位置,因此采用逆向计算跟容易一些。从像素中投射出的光线穿过场景,直到光像命中某个物体,然后计算这个像素的颜色,这里称像素将“看到”这个物体。光线跟踪中的大部分计算都是光线与场景中物体的相交运算。
更复杂的光线跟踪模型中,场景中会有反射光线和折射光线出现,这将生成二次射线、三次射线等。
#include "cuda_runtime.h" #include "device_launch_parameters.h" #include "device_functions.h" #include <stdio.h> #include <math.h> #include "bitmap.h" #define INF 2e10f #define SPHERES 20 #define DIM 1024 #define rnd( x ) (x*rand()/RAND_MAX) struct Sphere{ float r,b,g; float radius; float x,y,z; __device__ float hit(float ox,float oy,float *n){ float dx=ox-x; float dy=oy-y; if(dx*dx+dy*dy<radius*radius){ float dz=sqrtf(radius*radius-dx*dx-dy*dy); *n=dz/sqrtf(radius*radius); return dz+z; } return -INF; } }; __global__ void kernel(unsigned char*ptr ,Sphere *s); int main(){ Sphere *s; cudaEvent_t start,stop; cudaEventCreate(&start); cudaEventCreate(&stop); cudaEventRecord(start,0); Bitmap bitmap(DIM ,DIM); unsigned char *dev_bitmap; cudaMalloc((void**)&dev_bitmap,bitmap.image_size()); //给dev_bitmap分配内存 cudaMalloc((void **)&s,sizeof(Sphere)*SPHERES); //给s分配内存 Sphere *temp_s=(Sphere*)malloc(sizeof(Sphere)*SPHERES);//在CPU上先给s一个拷贝 for(int i=0;i<SPHERES;i++){ //生成20个随机数组给temp_s赋值 temp_s[i].r=rnd(1.0f); temp_s[i].g=rnd(1.0f); temp_s[i].b=rnd(1.0f); temp_s[i].x=rnd(1000.0f)-500; temp_s[i].y=rnd(1000.0f)-500; temp_s[i].z=rnd(1000.0f)-500; temp_s[i].radius=rnd(100.0f)+20; } cudaMemcpy(s,temp_s,sizeof(Sphere)*SPHERES,cudaMemcpyHostToDevice); free(temp_s); //数据都分配到GPU上了,接下来启动核函数 dim3 grids(DIM/16,DIM/16); dim3 threads(16,16); kernel<<<grids,threads>>>(dev_bitmap,s); cudaMemcpy(bitmap.get_ptr(),dev_bitmap,bitmap.image_size(),cudaMemcpyDeviceToHost); cudaEventRecord(stop,0); cudaEventSynchronize(stop); float elapsedTime; cudaEventElapsedTime(&elapsedTime,start,stop); printf("time to generate:%3.1f 毫秒",elapsedTime); cudaEventDestroy(start); cudaEventDestroy(stop); bitmap.display_and_exit(); cudaFree(dev_bitmap); cudaFree(s); } __global__ void kernel(unsigned char*ptr,Sphere *s){ int x=threadIdx.x+blockDim.x*blockIdx.x; int y=threadIdx.y+blockDim.y*blockIdx.y; int offset=x+y*blockDim.x*gridDim.x; float ox=(x-DIM/2); float oy=(y-DIM/2); float r=0,g=0,b=0; float maxz=-INF; for(int i=0;i<SPHERES;i++){ float n; float t=s[i].hit(ox,oy,&n); if(t>maxz){ float fscale=n; r=s[i].r*fscale; g=s[i].g*fscale; b=s[i].b*fscale; maxz=t; } } ptr[offset*4+0]=(int)(r*255); ptr[offset*4+1]=(int)(g*255); ptr[offset*4+2]=(int)(b*255); ptr[offset*4+3]=255; }
程序思路大概如下:数据结构Sphere用来保存球的信息(颜色,位置,半径),Sphere中的hit用来计算(ox,oy)的像素的光线是否与这个球面相交。如果相交,那么将这个方法计算从相机到光线命中球面处的距离。然后随机产生一些Sphere,拷贝到GPU上。kernel是一个简单的光线跟踪模型,hit来判断像素点是否看到Sphere,如果比相机更近,那么作为新的最接近球面。
运行结果:
接下来是使用常量的版本。这里讲球Sphere数组设置为常量,常量需要使用需要注意的问题在程序中有说明。
#include "cuda_runtime.h" #include "device_launch_parameters.h" #include "device_functions.h" #include <stdio.h> #include <math.h> #include "bitmap.h" #define INF 2e10f #define SPHERES 200 #define DIM 1024 #define rnd( x ) (x*rand()/RAND_MAX) struct Sphere{ float r,b,g; float radius; float x,y,z; __device__ float hit(float ox,float oy,float *n){ float dx=ox-x; float dy=oy-y; if(dx*dx+dy*dy<radius*radius){ float dz=sqrtf(radius*radius-dx*dx-dy*dy); *n=dz/sqrtf(radius*radius); return dz+z; } return -INF; } }; __global__ void kernel(unsigned char*ptr); //常量这里不需要将指针传递到函数里面去 __constant__ Sphere s[SPHERES]; //常量定义在外面 int main(){ //Sphere *s; cudaEvent_t start,stop; cudaEventCreate(&start); cudaEventCreate(&stop); cudaEventRecord(start,0); Bitmap bitmap(DIM ,DIM); unsigned char *dev_bitmap; cudaMalloc((void**)&dev_bitmap,bitmap.image_size()); //常量不需要分配内存,变量需要分配内存 Sphere *temp_s=(Sphere*)malloc(sizeof(Sphere)*SPHERES); for(int i=0;i<SPHERES;i++){ temp_s[i].r=rnd(1.0f); temp_s[i].g=rnd(1.0f); temp_s[i].b=rnd(1.0f); temp_s[i].x=rnd(1000.0f)-500; temp_s[i].y=rnd(1000.0f)-500; temp_s[i].z=rnd(1000.0f)-500; temp_s[i].radius=rnd(100.0f)+20; } cudaMemcpyToSymbol(s,temp_s,sizeof(Sphere)*SPHERES); //常量拷贝过程用的函数不一样 free(temp_s); dim3 grids(DIM/16,DIM/16); dim3 threads(16,16); kernel<<<grids,threads>>>(dev_bitmap); cudaMemcpy(bitmap.get_ptr(),dev_bitmap,bitmap.image_size(),cudaMemcpyDeviceToHost); cudaEventRecord(stop,0); cudaEventSynchronize(stop); float elapsedTime; cudaEventElapsedTime(&elapsedTime,start,stop); printf("time to generate:%3.1f 毫秒",elapsedTime); cudaEventDestroy(start); cudaEventDestroy(stop); bitmap.display_and_exit(); cudaFree(dev_bitmap); //常量不需要free } __global__ void kernel(unsigned char*ptr){ int x=threadIdx.x+blockDim.x*blockIdx.x; int y=threadIdx.y+blockDim.y*blockIdx.y; int offset=x+y*blockDim.x*gridDim.x; float ox=(x-DIM/2); float oy=(y-DIM/2); float r=0,g=0,b=0; float maxz=-INF; for(int i=0;i<SPHERES;i++){ float n; float t=s[i].hit(ox,oy,&n); if(t>maxz){ float fscale=n; r=s[i].r*fscale; g=s[i].g*fscale; b=s[i].b*fscale; } } ptr[offset*4+0]=(int)(r*255); ptr[offset*4+1]=(int)(g*255); ptr[offset*4+2]=(int)(b*255); ptr[offset*4+3]=255; }
__constant__把变量的访问限制为只读。与全局内存中读取数据相比,从常量内存中读取相同的数据可以节约内存带宽,因为:对常量内存的单次读取可以广播到其他的“近邻”线程;常量内存的数据将缓存起来,因此对相同地址的连续读操作将不会产生额外的内存通信量。
这里所谓的“近邻”涉及到“线程束(wrap)”的概念。线程束可以看成是一组线程通过交织而形成的一个整体。CUDA中,线程束是指一个包含32个线程的集合,这个线程集合交织到一起并以步调一致的形式执行。在程序中的每一行,线程束中的每一个线程都将在不同的数据上执行相同的命令。
当处理常量时,硬件将单次内存读取广播到每半个线程束(包含16个线程),这样,需要的内存流量大概是原始方式的1/16。硬件主动将这个常量数据存在GPU上,在第一次读取常量后,当其他半线程束请求同一数据的地址时,就会命中缓存。
如果16个线程读取相同地址时候能够极大提升性能,如果16个线程分别读取不同地址可能会降低性能。
这里的cudaEvent用来统计执行时间。cudaEventRecord()视为一条记录当前时间的语句。当cudaEventSynchronize()返回时,stop之前的工作就完成了。这时就可以计算时间戳。
CUDA中的event是直接在GPU上实现的,他们不适合计算host与device的混合计时。
推荐阅读
-
CUDA By Example(三) 博客分类: GPU
-
Compass将lucene、Spring、Hibernate三者结合 博客分类: Compass Lucene SpringluceneHibernate搜索引擎XML
-
Compass将lucene、Spring、Hibernate三者结合 博客分类: Compass Lucene SpringluceneHibernate搜索引擎XML
-
加载spring配置文件的常用三种方法 博客分类: Spring SpringWebXMLStrutsJava
-
Apache HTTP Server 与 Tomcat 的三种连接方式介绍 博客分类: apache Tomcat TomcatApacheOpenSourceOSIBM
-
Apache HTTP Server 与 Tomcat 的三种连接方式介绍 博客分类: apache Tomcat TomcatApacheOpenSourceOSIBM
-
Liferay Portal学习笔记(三):自定义页面布局Template 博客分类: Liferay学习 EXTXMLTomcatCMSHTML
-
有关Wiki的三个应用 博客分类: All About Soft 企业应用百度设计模式BlogBBS
-
java面试整理三——常用框架 博客分类: java 游戏javaspringnettydubbokafka
-
java游戏架构那点事儿(三) 博客分类: java 游戏 java游戏架构多线程ThreadPoolExecutor