提高MySQL 查询效率的三个技巧第1/2页

mysql由于它本身的小巧和操作的高效, 在数据库应用中越来越多的被采用.我在开发一个p2p应用的时候曾经使用mysql来保存p2p节点,由于p2p的应用中,结点数动辄上万个,而且节点变化频繁,因此一定要保持查询和插入的高效.以下是我在使用过程中做的提高效率的三个有效的尝试.

l        使用statement进行绑定查询
使用statement可以提前构建查询语法树,在查询时不再需要构建语法树就直接查询.因此可以很好的提高查询的效率. 这个方法适合于查询条件固定但查询非常频繁的场合.
使用方法是:
绑定, 创建一个mysql_stmt变量,与对应的查询字符串绑定,字符串中的问号代表要传入的变量,每个问号都必须指定一个变量. 
查询, 输入每个指定的变量, 传入mysql_stmt变量用可用的连接句柄执行. 
代码如下:

//1.绑定
bool cdbmanager::bindinsertstmt(mysql * connecthandle)
{
       //作插入操作的绑定
       mysql_bind insertbind[feild_num];
       if(m_stinsertparam == null)
              m_stinsertparam = new chostcachetable;
       m_stinsertstmt = mysql_stmt_init(connecthandle);
       //构建绑定字符串
       char insertsql[sql_length];
       strcpy(insertsql, "insert into hostcache(sessionid, channelid, isptype, "
              "externalip, externalport, internalip, internalport) "
              "values(?, ?, ?, ?, ?, ?, ?)");
       mysql_stmt_prepare(m_stinsertstmt, insertsql, strlen(insertsql));
       int param_count= mysql_stmt_param_count(m_stinsertstmt);
       if(param_count != feild_num)
              return false;
       //填充bind结构数组, m_sinsertparam是这个statement关联的结构变量
       memset(insertbind, 0, sizeof(insertbind));
       insertbind[0].buffer_type = mysql_type_string;
       insertbind[0].buffer_length = id_length /* -1 */;
       insertbind[0].buffer = (char *)m_stinsertparam->sessionid;
       insertbind[0].is_null = 0;
       insertbind[0].length = 0;

       insertbind[1].buffer_type = mysql_type_string;
       insertbind[1].buffer_length = id_length /* -1 */;
       insertbind[1].buffer = (char *)m_stinsertparam->channelid;
       insertbind[1].is_null = 0;
       insertbind[1].length = 0;

       insertbind[2].buffer_type = mysql_type_tiny;
       insertbind[2].buffer = (char *)&m_stinsertparam->isptype;
       insertbind[2].is_null = 0;
       insertbind[2].length = 0;

       insertbind[3].buffer_type = mysql_type_long;
       insertbind[3].buffer = (char *)&m_stinsertparam->externalip;
       insertbind[3].is_null = 0;
       insertbind[3].length = 0;

       insertbind[4].buffer_type = mysql_type_short;
       insertbind[4].buffer = (char *)&m_stinsertparam->externalport;
       insertbind[4].is_null = 0;
       insertbind[4].length = 0;

       insertbind[5].buffer_type = mysql_type_long;
       insertbind[5].buffer = (char *)&m_stinsertparam->internalip;
       insertbind[5].is_null = 0;
       insertbind[5].length = 0;

       insertbind[6].buffer_type = mysql_type_short;
       insertbind[6].buffer = (char *)&m_stinsertparam->internalport;
       insertbind[6].is_null = 0;
       insertbind[6].is_null = 0;
       //绑定
       if (mysql_stmt_bind_param(m_stinsertstmt, insertbind))
              return false;
       return true;
}

//2.查询
bool cdbmanager::inserthostcache2(mysql * connecthandle, char * sessionid, char * channelid, int isptype, \
              unsigned int eip, unsigned short eport, unsigned int iip, unsigned short iport)
{
       //填充结构变量m_sinsertparam
       strcpy(m_stinsertparam->sessionid, sessionid);
       strcpy(m_stinsertparam->channelid, channelid);
       m_stinsertparam->isptype = isptype;
       m_stinsertparam->externalip = eip;
       m_stinsertparam->externalport = eport;
       m_stinsertparam->internalip = iip;
       m_stinsertparam->internalport = iport;
       //执行statement,性能瓶颈处
       if(mysql_stmt_execute(m_stinsertstmt))
              return false;
       return true;
}

l         随机的获取记录
在某些数据库的应用中, 我们并不是要获取所有的满足条件的记录,而只是要随机挑选出满足条件的记录. 这种情况常见于数据业务的统计分析,从大容量数据库中获取小量的数据的场合.
      有两种方法可以做到
1.       常规方法,首先查询出所有满足条件的记录,然后随机的挑选出部分记录.这种方法在满足条件的记录数很多时效果不理想.
2.       使用limit语法,先获取满足条件的记录条数, 然后在sql查询语句中加入limit来限制只查询满足要求的一段记录. 这种方法虽然要查询两次,但是在数据量大时反而比较高效.
示例代码如下:

//1.常规的方法
//性能瓶颈,10万条记录时,执行查询140ms, 获取结果集500ms,其余可忽略
int cdbmanager::queryhostcache(mysql* connecthandle, char * channelid, int isptype, cdbmanager::chostcachetable * &hostcache)
{     
       char selectsql[sql_length];
       memset(selectsql, 0, sizeof(selectsql));
       sprintf(selectsql,"select * from hostcache where channelid = '%s' and isptype = %d", channelid, isptype);
       if(mysql_real_query(connecthandle, selectsql, strlen(selectsql)) != 0)   //检索
              return 0;
       //获取结果集
       m_presultset = mysql_store_result(connecthandle);
       if(!m_presultset)   //获取结果集出错
              return 0;
       int iallnumrows = (int)(mysql_num_rows(m_presultset));      ///<所有的搜索结果数
       //计算待返回的结果数
       int ireturnnumrows = (iallnumrows <= return_query_host_num)? iallnumrows:return_query_host_num;
       if(ireturnnumrows <= return_query_host_num)
       {
              //获取逐条记录
              for(int i = 0; i<ireturnnumrows; i++)
              {
                     //获取逐个字段
                     m_row = mysql_fetch_row(m_presultset);
                     if(m_row[0] != null)
                            strcpy(hostcache[i].sessionid, m_row[0]);
                     if(m_row[1] != null)
                            strcpy(hostcache[i].channelid, m_row[1]);
                     if(m_row[2] != null)
                            hostcache[i].isptype      = atoi(m_row[2]);
                     if(m_row[3] != null)
                            hostcache[i].externalip   = atoi(m_row[3]);
                     if(m_row[4] != null)
                            hostcache[i].externalport = atoi(m_row[4]);
                     if(m_row[5] != null)
                            hostcache[i].internalip   = atoi(m_row[5]);
                     if(m_row[6] != null)
                            hostcache[i].internalport = atoi(m_row[6]);              
              }
       }
       else
       {
              //随机的挑选指定条记录返回
              int iremainder = iallnumrows%ireturnnumrows;    ///<余数
              int iquotient = iallnumrows/ireturnnumrows;      ///<商
              int istartindex = rand()%(iremainder + 1);         ///<开始下标  
              //获取逐条记录
        for(int iselectedindex = 0; iselectedindex < ireturnnumrows; iselectedindex++)
        {
                            mysql_data_seek(m_presultset, istartindex + iquotient * iselectedindex);
                            m_row = mysql_fetch_row(m_presultset);
                  if(m_row[0] != null)
                       strcpy(hostcache[iselectedindex].sessionid, m_row[0]);
                   if(m_row[1] != null)
                                   strcpy(hostcache[iselectedindex].channelid, m_row[1]);
                   if(m_row[2] != null)
                       hostcache[iselectedindex].isptype      = atoi(m_row[2]);
                   if(m_row[3] != null)
                       hostcache[iselectedindex].externalip   = atoi(m_row[3]);
                    if(m_row[4] != null)
                       hostcache[iselectedindex].externalport = atoi(m_row[4]);
                   if(m_row[5] != null)
                       hostcache[iselectedindex].internalip   = atoi(m_row[5]);
                   if(m_row[6] != null)
                       hostcache[iselectedindex].internalport = atoi(m_row[6]);
        }
      }
       //释放结果集内容
       mysql_free_result(m_presultset);
       return ireturnnumrows;
} 
 

1