[编程之美] PSet1.10 双线程高效下载

一，题目

        网络上下载数据，然后存储到硬盘上。简单做法是：先下载一块然后写到硬盘，然后再下载，再写到硬盘上。

        缺点：需要先下载完才能写入硬盘，下载和写是串行操作。

        改进：让两个线程并行进行，设置缓冲区，采用信号量的形式。

                    下载线程，只要缓冲区有空余就下载，下载完成之后告诉写线程缓冲区有数据了。

                     写线程，只要缓冲区有数据就写入，写完后告诉下载线程缓冲区有空闲了。

二，核心源码

假设单线程串行运行的情况下：

//下面是串行实现文件下载与存储
-------API------
//从网络中下载一个数据块
bool GetBlockFromNet(BLOCK *out_Block);
//将数据块信息存入硬盘
bool WriteBlockToDisk(BLOCK *in_Block);
while(true){
bool IsDownloadCompleted;
IsDownloadCompleted = GetBlockFromNet(g_buffer);
WriteBlockToDisk(g_buffer);
if(IsDownloadCompleted)
break;
}

如果希望设计两个线程，使得下载和写硬盘能够并行进行。

线程A：从网络中读取一个数据块，存储到内存的缓冲区中。

线程B：从缓存中读取内容，存储到文件中。

-------API------
class Thread
{
public:
//initalize a thread and set the work function
Thread(void(*work_func)());
//once the object is destructed , the thread will be aborted
~Thread();
//start the thread
void Start();
//stop the thread
void Abort();
};
class Semaphore
{
public:
//initialize semaphore counts
semaphore(int count , int max_count);
~semaphore();
//consume a signal (count--) , block current thread if count==0
void Unsignal();
//raise a signal (count++)
void Signal();
};
//从网络中下载一个数据块
bool GetBlockFromNet(BLOCK *out_Block);
//将数据块信息存入硬盘
bool WriteBlockToDisk(BLOCK *in_Block);
----------------

//分析和解法：
//1.什么时候完成任务？网络数据下载完毕并完全存储到硬盘上，此时正常终止两个线程
//2.下载和存储线程工作条件？
//      所有内容完全下载完毕---下载线程结束;
//      下载工作完成 且 内存缓存区为空---存储线程结束；
//3.共享缓存区数据结构？下载与存储应该满足“先进先出”，保证内容的正确顺序。
#define BUFFER_COUNT 1000
Block g_buffer[BUFFER_COUNT];
Thread g_Download(ProcA);//构造函数初始化两个线程
Thread g_Write(ProcB);

//一开始缓存区空间为BUFFER_COUNT，整个缓存区可供下载数据填充
Semaphore ForDownload(BUFFER_COUNT , BUFFER_COUNT);
//一开始缓存区无数据可供存储
Semaphore ForWrite(0 , BUFFER_COUNT);

//下载任务是否完成
bool g_downloadComplete;
//下载数据从缓存区哪个地方开始填充
int in_index = 0;
//存储数据从缓存区哪个地方开始提取
int out_index = 0;

void main()
{
g_downloadComplete = false;
g_Download.Start();
g_Write.Start();
//wait here till threads finished
}
void ProcA()//下载线程
{
while(true){
ForDownload.Unsignal();
g_downloadComplete = GetBlockFromNet(g_buffer + in_index);
int in_index = (in_index + 1)%BUFFER_COUNT;//循环队列的方式，下标从0开始
ForWrite.Signal();//下载了一个数据块就可以释放一个数据块存储
if(g_downloadComplete)
break;
}
}

void ProcB()//存储线程
{
while(true){
ForWrite.Unsignal();
WriteBlockToDisk(g_buffer + out_index);
int out_index = (out_index + 1)%BUFFER_COUNT;//循环队列方式，下标从0开始
ForDownload.Signal();//存储了一个数据块就可以释放一个数据块覆盖原有数据
if(g_downloadComplete && in_index==out_index)
break;
}
}