Storm读取Mysql数据库不能加大bolt并行数写入hdfs解决方法

解决方法：建立一个中间表    

   spout发射数据给bolt,bolt进行数据清洗，然后插入到一张中间表里面，然后再写一个spout，这个spout不发射数据，每次next时去中间表查看，如果超过预计数据的条数，可以读过来批量插入到hdfs里，一直只有一个spout在写hdfs，或者不写spout，直接写个java程序，每分钟看一次数据库中间表，有数据就写入hdfs。同样，bolt每次被spout或bolt触发时，确实可以去查看中间表，但也存在一个问题，bolt批量去操作中间表插入hdfs会耗时，如果给这个bolt发射的tuple太多，在做批量这个操作时，就会累积大量发射过来的tuple,也会超出队列发生阻塞。中间表可以定时读取数据库时，将数据插入到hdfs，之后把中间表读取的数据都删掉，这样就可以保证了中间表一直就是那么多的数据。bolt自己消费队列数据的速度低于spout插入队列的速度，过一会bolt就会超时。