2014-06-06-sql-for-statistics

2014-06-06-sql-for-statistics---
layout: default
title: 用sql语句做简单的数据统计
category: tech
---

{{ page.title }}

曾经做过一段时间数据分析的工作，当时刚接手工作的时候，还想着学个专门做统计的工具；

后来发现一些简单统计，用数据库做就可以了，偶尔用awk来配合一下，或者excel来做个图就能搞定；

这里就简单来介绍下我用到的一些sql语句，用的是mysql数据库的语法；

Part 1：基础内容

首先一些sql自带的统计函数是必须的，count，sum，avg，max，min；

这些函数望文生义就可以了，都很简单；

另外基础的就是group by和order by；

所谓group by就是按组统计，一般配合上面的那几个望文生义的函数使用，如果分组内要加条件就用having；

下面的例子都基于这个表结构：

job表字段：server_id(int),id(int),jobresult(varchar255)，dt（timestamp),status(int);

例子：

{% highlight java %}
select server_id ,count(*)as num from job group by server_id order by num;
{% endhighlight %}

这句sql的意思是，从job表中，查询每个server有多少条记录，并且按照num从小到大排序；这个要自己试试才能真正体会。

Part2：你可能不知道的内容；

1、按时间统计：比如每五分钟为一个统计时间，

例子：查询2014年6月6日server_id为30的所有5分钟段内的记录数；

{% highlight java %}
select HOUR(dt) AS h, FLOOR(MINUTE(dt) / 5) AS v,count(*) from job where server_id=30 and dt<"2014-06-06" and dt>"2014-06-05" group by h,v;
{% endhighlight %}

聪明的你肯定能明白这是什么意思，hour和minute都是取时间的函数，floor是取整；

2、按天统计；一个表里有n天的数据，统计每天的数据；

你只需要知道一个函数就可以了substr(dt,1,10) as t,这是取前10个字符即“xxxx-xx-xx”时间的前10个字符就是日期了；

如果有其他方法欢迎告知；

3、case when，多条件统计；

例子：统计所有server做任务的成功率（status=1成功）见下面；

{% highlight java %}
select server_id,count(0) as job_num,100*sum(case when status=1 then 1 else 0 end)/count(0)as succ_rate from job group by server order by rate;
{% endhighlight %}

这样一条语句就可以搞定，如果不这样写，你可以用多条语句来实现，就会麻烦很多；

Part3：一些小技巧：

1、建索引，如果想要查询速度快， 那就建索引；

ALTER TABLE `analyip`.`v2ip00` ADD UNIQUE `NewIndex1` (`tk`);

2、更新数据，根据两个表的条件来更新数据；

UPDATE v2ip01 a,tkip01 b SET b.v2ip=a.v2ip, b.sid=a.sid WHERE a.tk=b.tk;

3、distinct 不重复的，可以sum（distinct server_id）查询有多少不同的server_id;

4、group_concat();

用select group_concat(id) from job limit 10; 输出是用逗号隔开的id；这样在做进一步操作时会更方便；
最后再不济写程序，shell脚本很容易实现；

{{ page.date | date_to_string }}

来自为知笔记(Wiz)