vc6轮询mysql,检查信息过期,使用系统线程池,可慢,求高人指点
2010-08-06 17:36
651 查看
应用背景说明:
1.自己写的一个小程序,从指定网址抓取信息入库,为了确定信息是否被删除,就写了这个程序,查看指点定页面是否出现"该信息不存在,或已被删除"的字样,出现即为过期,不出现为有效;
2.之前没用多线程,现使用系统线程池,可是效率依然没提高,求高人指点。
ThreadPool.h
#include <list>
#include <afxinet.h>
#include <iostream.h>
#include <winsock.h>
#include <mysql.h>
using namespace std;
#pragma comment(lib, "libmysql.lib")
class DbOnMySql
{
public:
DbOnMySql();
virtual ~DbOnMySql();
BOOL ConnDB(const char *host, const char *user,
const char *passwd, const char* dbName);
std::list<CString> GetAllRec();
bool UpdateDataBase(CString strSQL);
void Close();
private:
MYSQL m_mysql;
};
DbOnMySql::DbOnMySql()
{
}
DbOnMySql::~DbOnMySql()
{
}
/* 建立与数据库的连接 */
BOOL DbOnMySql::ConnDB(const char *host,
const char *user,
const char *passwd,
const char* dbName)
{
try
{
/* 初始化MYSQL结构 */
mysql_init(&m_mysql);
/* 连接数据库 */
if(mysql_real_connect(&m_mysql, host, user, passwd,
dbName, 0, NULL, 0) != NULL)
{//成功建立连接
return TRUE;
}
else
{//建立连接失败
return FALSE;
}
}
catch(...)
{
return FALSE;
}
}
/* 关闭数据库连接 */
void DbOnMySql::Close()
{
try
{
mysql_close(&m_mysql);
}
catch(...)
{}
}
std::list<CString> DbOnMySql::GetAllRec()
{
/* 用于保存结果的List */
std::list<CString> recList;
/* 查询语句 */
std::string strsql="SELECT SourceID FROM zf371_zulin_infolist_bak "
"WHERE UpdateFlag='0' ORDER BY SourceID ASC LIMIT 0,50";
//cout << strsql.c_str() << endl;
try
{
/* 执行查询 */
if(mysql_real_query(&m_mysql, strsql.data(), strsql.length()) == 0)
{
/* 取得查询结果 */
MYSQL_RES* pRes = NULL;
pRes = mysql_store_result(&m_mysql);
if(pRes != NULL)
{
/* 取得结果 */
MYSQL_ROW row;
CString strIDs;
int i = 0;
while(row = mysql_fetch_row(pRes))
{
// 保存信息
CString strSourceID;
if(row[0] != NULL)
{
strSourceID.Format("%s", row[0]);
}
if(i == 0)
strIDs = strSourceID;
else
strIDs += "," + strSourceID;
i++;
// 加入List
recList.push_back(strSourceID);
}
if(strIDs != "")
{
//cout << strIDs << endl;
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET UpdateFlag='1'"
" WHERE SourceID IN(%s)", strIDs);
UpdateDataBase(strSql);
//cout << strSql << endl;
}
}
}
}
catch(...)
{}
return recList;
}
bool DbOnMySql::UpdateDataBase(CString strSQL)
{
bool bSucceed = true;
try
{
if(mysql_real_query(&m_mysql,(char*)(LPCTSTR)strSQL,(UINT)strSQL.GetLength())!=0)
{
bSucceed = false;
}
}
catch(...)
{
bSucceed = false;
}
return bSucceed;
}
class CSpider
{
public:
CSpider();
virtual ~CSpider();
static CString GetHttp(CString strUrl);
void SaveToFile(CString strFile, CString strCont);
};
CSpider::CSpider()
{
}
CSpider::~CSpider()
{
}
CString CSpider::GetHttp(CString strUrl)
{
CString strHtml = "";
if(strUrl == "")
{
return "";
}
CInternetSession session(_T(""));;
CInternetFile* file = NULL;
try
{
file = (CInternetFile*)session.OpenURL(strUrl);
}
catch(CInternetException* m_pException)
{
file = NULL;
delete file;
m_pException->Delete();
return "";
}
if(file)
{
CString strTemp;
while(file->ReadString(strTemp) != NULL)
{
strHtml += strTemp;
}
file->Close();
delete file;
}
session.Close();
return strHtml;
}
void CSpider::SaveToFile(CString strFile, CString strCont)
{
FILE *fp = fopen(strFile, "w");
if(fp)
{
fwrite(strCont, 1, strlen(strCont), fp);
}
fclose(fp);
}
main.cpp
#include "ThreadPool.h"
#include <afxmt.h> //CCriticalSection头文件
CCriticalSection g_cs;
DbOnMySql db;
DWORD WINAPI threadfunc(void* p)
{
CSpider spider;
CString strUrl, strHtml, strLink;
g_cs.Lock();
strLink.Format("%s", p);
strUrl.Format("http://house.shangdu.com/fang/f_chuzu.asp?id=%s", strLink);
strHtml = spider.GetHttp(strUrl);
bool bFlag = true; //是否有效,true-有效,false-无效
strHtml.Replace(" ", "");
int nPos = strHtml.Find("该信息不存在,或已被删除");
if(nPos > -1)
bFlag = false; //信息无效
if(bFlag == false) //信息无效,更新Flag为0
{
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET Flag='0' "
"WHERE SourceID='%s'", strLink);
db.UpdateDataBase(strSql);
db.Close();
}
cout << (LPCSTR)strLink << "/t信息失效!" << endl;
}
else
{
cout << (LPCSTR)strLink << "/t信息有效!" << endl;
}
g_cs.Unlock();
return 0;
}
int main(int argc, char* argv[])
{
HINSTANCE hInst=LoadLibrary("Kernel32.DLL");
if(!hInst)
{
cout << "不可使用系统线程池!" << endl;
return 0;
}
typedef BOOL(WINAPI * MYFUNC)(LPTHREAD_START_ROUTINE, PVOID,ULONG);
MYFUNC MyQueueUserWorkItem=NULL;
//取得QueueUserWorkItem函数指针
MyQueueUserWorkItem = (MYFUNC)GetProcAddress(hInst, "QueueUserWorkItem");
if(!MyQueueUserWorkItem)
{
cout << "获取QueueUserWorkItem函数指针失败!" << endl;
return 0;
}
while(true)
{
std::list<CString> recList;
g_cs.Lock();
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
recList = db.GetAllRec();
db.Close();
}
else
{
cout << "数据库连接出错!" << endl;
Sleep(200);
continue;
}
g_cs.Unlock();
//显示记录
std::list<CString>::iterator pos;
int nums = recList.size();
if(nums == 0)
{
cout << "有效性检查结束" << endl;
break;
}
//g_cs.Lock();
for(pos = recList.begin(); pos != recList.end(); ++pos)
{
g_cs.Lock();
CString strLink = *pos;
strLink.TrimLeft();
strLink.TrimRight();
g_cs.Unlock();
//cout << (LPCSTR)strLink << endl;
//MyQueueUserWorkItem(threadfunc, (PVOID)strLink.GetBuffer(strLink.GetLength()), 0);
MyQueueUserWorkItem(threadfunc, (PVOID)(LPCTSTR)strLink, WT_EXECUTEINLONGTHREAD/*WT_EXECUTEINIOTHREAD*/);
Sleep(20);
/*
//g_cs.Lock();
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET UpdateFlag='1' WHERE SourceID='%s'", strLink);
db.UpdateDataBase(strSql);
db.Close();
}
g_cs.Unlock();
*/
//Sleep(10);
}
//g_cs.Unlock();
cout << "--------------------" << endl;
Sleep(100);
}
FreeLibrary(hInst);
return 0;
}
sql.sql
-- phpMyAdmin SQL Dump
-- version 2.6.3-pl1
-- http://www.phpmyadmin.net --
-- 主机: localhost
-- 生成日期: 2010 年 08 月 06 日 09:19
-- 服务器版本: 5.1.33
-- PHP 版本: 5.2.5
--
-- 数据库: `bossdbnew`
--
-- --------------------------------------------------------
--
-- 表的结构 `zf371_zulin_infolist_bak`
--
CREATE TABLE `zf371_zulin_infolist_bak` (
`UserID` int(11) NOT NULL,
`StyID` int(11) NOT NULL,
`SourceID` bigint(20) NOT NULL,
`HzSty` varchar(10) NOT NULL,
`Sex` varchar(10) NOT NULL,
`Area` varchar(30) NOT NULL,
`HuXing` varchar(30) NOT NULL,
`LuCeng` varchar(30) NOT NULL,
`Mianji` varchar(20) NOT NULL,
`ZuJin` int(8) NOT NULL DEFAULT '0',
`Addr` varchar(200) NOT NULL,
`SheShi` varchar(130) NOT NULL,
`Huanjing` varchar(200) NOT NULL,
`GongJiao` varchar(200) NOT NULL,
`BeiZhu` varchar(2000) NOT NULL DEFAULT '',
`HzYaoqiu` varchar(2000) NOT NULL DEFAULT '',
`LianXiRen` varchar(6) NOT NULL,
`Telephone` varchar(100) NOT NULL,
`AddTime` datetime DEFAULT NULL,
`ModTime` datetime DEFAULT NULL,
`ZdID` int(11) NOT NULL,
`ZdTim` datetime DEFAULT NULL,
`IP` varchar(20) NOT NULL,
`ShowFlag` enum('0','1') NOT NULL DEFAULT '0',
`UpdateFlag` enum('0','1') NOT NULL DEFAULT '0',
`Flag` int(11) NOT NULL DEFAULT '0',
KEY `StyID` (`StyID`),
KEY `ShowFlag` (`ShowFlag`),
KEY `SourceID` (`SourceID`),
KEY `UpdateFlag` (`UpdateFlag`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
随后,又用c#写了一个,也是使用系统线程池,感觉比c++写的还快,我就郁闷了
请高人给指点一下,怎么提升运行速度
1.自己写的一个小程序,从指定网址抓取信息入库,为了确定信息是否被删除,就写了这个程序,查看指点定页面是否出现"该信息不存在,或已被删除"的字样,出现即为过期,不出现为有效;
2.之前没用多线程,现使用系统线程池,可是效率依然没提高,求高人指点。
ThreadPool.h
#include <list>
#include <afxinet.h>
#include <iostream.h>
#include <winsock.h>
#include <mysql.h>
using namespace std;
#pragma comment(lib, "libmysql.lib")
class DbOnMySql
{
public:
DbOnMySql();
virtual ~DbOnMySql();
BOOL ConnDB(const char *host, const char *user,
const char *passwd, const char* dbName);
std::list<CString> GetAllRec();
bool UpdateDataBase(CString strSQL);
void Close();
private:
MYSQL m_mysql;
};
DbOnMySql::DbOnMySql()
{
}
DbOnMySql::~DbOnMySql()
{
}
/* 建立与数据库的连接 */
BOOL DbOnMySql::ConnDB(const char *host,
const char *user,
const char *passwd,
const char* dbName)
{
try
{
/* 初始化MYSQL结构 */
mysql_init(&m_mysql);
/* 连接数据库 */
if(mysql_real_connect(&m_mysql, host, user, passwd,
dbName, 0, NULL, 0) != NULL)
{//成功建立连接
return TRUE;
}
else
{//建立连接失败
return FALSE;
}
}
catch(...)
{
return FALSE;
}
}
/* 关闭数据库连接 */
void DbOnMySql::Close()
{
try
{
mysql_close(&m_mysql);
}
catch(...)
{}
}
std::list<CString> DbOnMySql::GetAllRec()
{
/* 用于保存结果的List */
std::list<CString> recList;
/* 查询语句 */
std::string strsql="SELECT SourceID FROM zf371_zulin_infolist_bak "
"WHERE UpdateFlag='0' ORDER BY SourceID ASC LIMIT 0,50";
//cout << strsql.c_str() << endl;
try
{
/* 执行查询 */
if(mysql_real_query(&m_mysql, strsql.data(), strsql.length()) == 0)
{
/* 取得查询结果 */
MYSQL_RES* pRes = NULL;
pRes = mysql_store_result(&m_mysql);
if(pRes != NULL)
{
/* 取得结果 */
MYSQL_ROW row;
CString strIDs;
int i = 0;
while(row = mysql_fetch_row(pRes))
{
// 保存信息
CString strSourceID;
if(row[0] != NULL)
{
strSourceID.Format("%s", row[0]);
}
if(i == 0)
strIDs = strSourceID;
else
strIDs += "," + strSourceID;
i++;
// 加入List
recList.push_back(strSourceID);
}
if(strIDs != "")
{
//cout << strIDs << endl;
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET UpdateFlag='1'"
" WHERE SourceID IN(%s)", strIDs);
UpdateDataBase(strSql);
//cout << strSql << endl;
}
}
}
}
catch(...)
{}
return recList;
}
bool DbOnMySql::UpdateDataBase(CString strSQL)
{
bool bSucceed = true;
try
{
if(mysql_real_query(&m_mysql,(char*)(LPCTSTR)strSQL,(UINT)strSQL.GetLength())!=0)
{
bSucceed = false;
}
}
catch(...)
{
bSucceed = false;
}
return bSucceed;
}
class CSpider
{
public:
CSpider();
virtual ~CSpider();
static CString GetHttp(CString strUrl);
void SaveToFile(CString strFile, CString strCont);
};
CSpider::CSpider()
{
}
CSpider::~CSpider()
{
}
CString CSpider::GetHttp(CString strUrl)
{
CString strHtml = "";
if(strUrl == "")
{
return "";
}
CInternetSession session(_T(""));;
CInternetFile* file = NULL;
try
{
file = (CInternetFile*)session.OpenURL(strUrl);
}
catch(CInternetException* m_pException)
{
file = NULL;
delete file;
m_pException->Delete();
return "";
}
if(file)
{
CString strTemp;
while(file->ReadString(strTemp) != NULL)
{
strHtml += strTemp;
}
file->Close();
delete file;
}
session.Close();
return strHtml;
}
void CSpider::SaveToFile(CString strFile, CString strCont)
{
FILE *fp = fopen(strFile, "w");
if(fp)
{
fwrite(strCont, 1, strlen(strCont), fp);
}
fclose(fp);
}
main.cpp
#include "ThreadPool.h"
#include <afxmt.h> //CCriticalSection头文件
CCriticalSection g_cs;
DbOnMySql db;
DWORD WINAPI threadfunc(void* p)
{
CSpider spider;
CString strUrl, strHtml, strLink;
g_cs.Lock();
strLink.Format("%s", p);
strUrl.Format("http://house.shangdu.com/fang/f_chuzu.asp?id=%s", strLink);
strHtml = spider.GetHttp(strUrl);
bool bFlag = true; //是否有效,true-有效,false-无效
strHtml.Replace(" ", "");
int nPos = strHtml.Find("该信息不存在,或已被删除");
if(nPos > -1)
bFlag = false; //信息无效
if(bFlag == false) //信息无效,更新Flag为0
{
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET Flag='0' "
"WHERE SourceID='%s'", strLink);
db.UpdateDataBase(strSql);
db.Close();
}
cout << (LPCSTR)strLink << "/t信息失效!" << endl;
}
else
{
cout << (LPCSTR)strLink << "/t信息有效!" << endl;
}
g_cs.Unlock();
return 0;
}
int main(int argc, char* argv[])
{
HINSTANCE hInst=LoadLibrary("Kernel32.DLL");
if(!hInst)
{
cout << "不可使用系统线程池!" << endl;
return 0;
}
typedef BOOL(WINAPI * MYFUNC)(LPTHREAD_START_ROUTINE, PVOID,ULONG);
MYFUNC MyQueueUserWorkItem=NULL;
//取得QueueUserWorkItem函数指针
MyQueueUserWorkItem = (MYFUNC)GetProcAddress(hInst, "QueueUserWorkItem");
if(!MyQueueUserWorkItem)
{
cout << "获取QueueUserWorkItem函数指针失败!" << endl;
return 0;
}
while(true)
{
std::list<CString> recList;
g_cs.Lock();
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
recList = db.GetAllRec();
db.Close();
}
else
{
cout << "数据库连接出错!" << endl;
Sleep(200);
continue;
}
g_cs.Unlock();
//显示记录
std::list<CString>::iterator pos;
int nums = recList.size();
if(nums == 0)
{
cout << "有效性检查结束" << endl;
break;
}
//g_cs.Lock();
for(pos = recList.begin(); pos != recList.end(); ++pos)
{
g_cs.Lock();
CString strLink = *pos;
strLink.TrimLeft();
strLink.TrimRight();
g_cs.Unlock();
//cout << (LPCSTR)strLink << endl;
//MyQueueUserWorkItem(threadfunc, (PVOID)strLink.GetBuffer(strLink.GetLength()), 0);
MyQueueUserWorkItem(threadfunc, (PVOID)(LPCTSTR)strLink, WT_EXECUTEINLONGTHREAD/*WT_EXECUTEINIOTHREAD*/);
Sleep(20);
/*
//g_cs.Lock();
if(db.ConnDB("localhost", "wanghui", "huiwang", "bossdbnew"))
{
CString strSql;
strSql.Format("UPDATE zf371_zulin_infolist_bak SET UpdateFlag='1' WHERE SourceID='%s'", strLink);
db.UpdateDataBase(strSql);
db.Close();
}
g_cs.Unlock();
*/
//Sleep(10);
}
//g_cs.Unlock();
cout << "--------------------" << endl;
Sleep(100);
}
FreeLibrary(hInst);
return 0;
}
sql.sql
-- phpMyAdmin SQL Dump
-- version 2.6.3-pl1
-- http://www.phpmyadmin.net --
-- 主机: localhost
-- 生成日期: 2010 年 08 月 06 日 09:19
-- 服务器版本: 5.1.33
-- PHP 版本: 5.2.5
--
-- 数据库: `bossdbnew`
--
-- --------------------------------------------------------
--
-- 表的结构 `zf371_zulin_infolist_bak`
--
CREATE TABLE `zf371_zulin_infolist_bak` (
`UserID` int(11) NOT NULL,
`StyID` int(11) NOT NULL,
`SourceID` bigint(20) NOT NULL,
`HzSty` varchar(10) NOT NULL,
`Sex` varchar(10) NOT NULL,
`Area` varchar(30) NOT NULL,
`HuXing` varchar(30) NOT NULL,
`LuCeng` varchar(30) NOT NULL,
`Mianji` varchar(20) NOT NULL,
`ZuJin` int(8) NOT NULL DEFAULT '0',
`Addr` varchar(200) NOT NULL,
`SheShi` varchar(130) NOT NULL,
`Huanjing` varchar(200) NOT NULL,
`GongJiao` varchar(200) NOT NULL,
`BeiZhu` varchar(2000) NOT NULL DEFAULT '',
`HzYaoqiu` varchar(2000) NOT NULL DEFAULT '',
`LianXiRen` varchar(6) NOT NULL,
`Telephone` varchar(100) NOT NULL,
`AddTime` datetime DEFAULT NULL,
`ModTime` datetime DEFAULT NULL,
`ZdID` int(11) NOT NULL,
`ZdTim` datetime DEFAULT NULL,
`IP` varchar(20) NOT NULL,
`ShowFlag` enum('0','1') NOT NULL DEFAULT '0',
`UpdateFlag` enum('0','1') NOT NULL DEFAULT '0',
`Flag` int(11) NOT NULL DEFAULT '0',
KEY `StyID` (`StyID`),
KEY `ShowFlag` (`ShowFlag`),
KEY `SourceID` (`SourceID`),
KEY `UpdateFlag` (`UpdateFlag`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
随后,又用c#写了一个,也是使用系统线程池,感觉比c++写的还快,我就郁闷了
请高人给指点一下,怎么提升运行速度
相关文章推荐
- [转]排查线程池使用情况,可定时任务统计.打印到指定日志. 获取系统扩容,线程池改造信息.
- Laravel框架使用monolog_mysql实现将系统日志信息保存到mysql数据库的方法
- Laravel中使用monolog_mysql将系统日志信息保存到mysql数据库
- 分布式监控系统Zabbix--完整安装记录(7)-使用percona监控MySQL
- Ubuntu系统下的Mysql安装与使用
- Asp.Net中检查登陆信息(使用全局过程,原创)
- 使用python获取CPU和内存信息的思路与实现(linux系统)
- 使用PHP制作 简易员工管理系统之六(采用分层分页显示用户信息)
- Android系统上使用ANMPP搭建Nginx+PHP+MySQL+FTP服务(以天猫魔盒TMB100A为例)搭建网站
- linux系统环境下--学会使用简单的MySQL操作
- 使用Oracle自带的系统包和过程监控其它会话SQL语句的执行计划等信息
- Android中获取系统内存信息以及进程信息-----ActivityManager的使用(一
- MySQL学习第四天 Windows 64位系统下使用MySQL
- 使用ajax从MySql读数据,根据表中的经纬度信息在地图上打点
- mysql 使用group by with rollup分组聚合信息
- 保存和配置系统硬件注册信息―注册表使用全攻略之十二
- android出现注: 某些输入文件使用或覆盖了已过时的 API。 注: 有关详细信息, 请使用 -Xlint:deprecation 重新编译。 注: 某些输入文件使用了未经检查或不安全的操作。 注
- Linux系统使用mysql命令创建数据库并授权命令
- mysql sql语句执行时是否使用索引检查方法
- 用DOS命令查看完整的Windows系统信息方法 锁定计算机命令 快捷键使用 及结束进程