Tomcat+red5+ffmpeg实现流媒体资源管理和在线直播

Red5的服务器搭建请看我的另外一篇文章：
http://blog.csdn.net/sunroyi666/article/details/52981639

最近正在开发基于流媒体的资源管理和直播系统，做了不少技术调查，框架的构思，也学到了很多东西。

现在空下来，把最近学到的技术知识和项目的架构分享一下。

首先

系统的开发目的是为了将用户和资源从现在的系统分离出来，为了以后系统扩展，更好的实现统一用户管理和资源管理这一概念。

现存的系统如下，可能大家遇到很多的系统都是这样。



新系统是这样的：



用户中心用CAS实现，这个以后再说。

资源管理系统实际上分两部分，系统部分用的Tomcat，流媒体服务器用的是Red5，两者分离。

实际上我已经把Red5和Tomcat整合好了，但是想想或许分开的话，资源的独立性更强，所以也就分开放了。

整合在一起的话，可以更方便的去控制用户连接到Red5，断开连接时的一些操作。

相互独立的话，很多操作就要放到系统中进行判断控制，或者在Red5这边单独控制。

但总体影响不大。

网上看到很多系统用的是Red5+Nginx而不是+Tomcat，这里感觉也没必要特地使用Nginx。

接下来是系统功能和实现：

1. 资源管理这边提供了两种形式的上传，一种是上传界面，一种是Restful接口。

其他就是将上传的路径指向Red5服务器的目录而已（我这里是将资源管理系统和Red5服务器部署在一起的），然后将Red5服务器上的资源路径返回给用户自己保存。

RTMP是Adobe的私有协议，保存在实现RTMP协议的Red5流媒体服务器上的资源，不会像在Tomcat下面那样输入文件在服务器上的地址就能下载，保证了资源的安全性。

2. 上传的视频资源可用ffmpeg转码成其他格式（如FLV），并截取固定时间点的图片作为封面。

现在Red5已经支持mp4了，所以一般没必要把mp4转FLV。

ffmpeg工具可以去网上自己搜。

/**
* 视频转码 (PC端FLV)
* @param ffmpegPath    转码工具的存放路径
* @param upFilePath    用于指定要转换格式的文件,要截图的视频源文件
* @param codcFilePath    格式转换后的的文件保存路径
* @param mediaPicPath    截图保存路径
* @return
* @throws Exception
*/
public boolean exchangeToFlv(String ffmpegPath, String upFilePath, String codcFilePath,
String mediaPicPath) throws Exception {
// 创建一个List集合来保存转换视频文件为flv格式的命令
List<String> convert = new ArrayList<String>();
convert.add(ffmpegPath); // 添加转换工具路径
convert.add("-i"); // 添加参数＂-i＂，该参数指定要转换的文件
convert.add(upFilePath); // 添加要转换格式的视频文件的路径
convert.add("-qscale");     //指定转换的质量
convert.add("6");
convert.add("-ab");        //设置音频码率
convert.add("64");
convert.add("-ac");        //设置声道数
convert.add("2");
convert.add("-ar");        //设置声音的采样频率
convert.add("22050");
convert.add("-r");        //设置帧频
convert.add("24");
convert.add("-y"); // 添加参数＂-y＂，该参数指定将覆盖已存在的文件
convert.add(codcFilePath);

// 创建一个List集合来保存从视频中截取图片的命令
List<String> cutpic = new ArrayList<String>();
cutpic.add(ffmpegPath);
cutpic.add("-i");
cutpic.add(upFilePath); // 同上（指定的文件即可以是转换为flv格式之前的文件，也可以是转换的flv文件）
cutpic.add("-y");
cutpic.add("-f");
cutpic.add("image2");
cutpic.add("-ss"); // 添加参数＂-ss＂，该参数指定截取的起始时间
cutpic.add("16"); // 添加起始时间为第16秒
cutpic.add("-t"); // 添加参数＂-t＂，该参数指定持续时间
cutpic.add("0.001"); // 添加持续时间为1毫秒
cutpic.add("-s"); // 添加参数＂-s＂，该参数指定截取的图片大小
cutpic.add("350*240"); // 添加截取的图片大小为350*240
cutpic.add(mediaPicPath); // 添加截取的图片的保存路径

boolean mark = true;
ProcessBuilder builder = new ProcessBuilder();
try {
builder.command(convert);
builder.redirectErrorStream(true);
builder.start();

builder.command(cutpic);
builder.redirectErrorStream(true);
// 如果此属性为 true，则任何由通过此对象的 start() 方法启动的后续子进程生成的错误输出都将与标准输出合并，
//因此两者均可使用 Process.getInputStream() 方法读取。这使得关联错误消息和相应的输出变得更容易
builder.start();
} catch (Exception e) {
mark = false;
System.out.println(e);
e.printStackTrace();
}
return mark;
}

3. 因为资源管理用的是Red5流媒体服务器，所以顺便把直播功能也一起实现了，正好也要做这样的系统。

直播界面用Adobe Flash Builder 4.7做的swf。

因为我也是第一次用FlashBuilder，

这里先普及一下Actionscript，AS3，MXML，Flex，FlexBuilder，FlashBuilder，Flash，AIR，FlashPlayer的关系。

Actionscript简称AS，是Flash平台语言，根javascript其实很挺像的。

AS3是Actionscript的3.0版，也是现在最流行的版本。

Flex是官方的开发框架。

MXML是基于XML语法的语言，有点像HTML，可以与AS混用，最终编译成SWF。

Flash是一个平台，包含众多产品，比如网页动画，工具等等。

FlexBuilder是一套基于Eclipse的IDE。FlexBuilder从4.0开始改名为FlashBuilder。

FlashPlayer是播放用Flash制作的swf动画的必需的插件。

AIR是一个Runtime，就像JVM。有了它，用AS3开发的软件就可以跨平台运行。

下面是MXML代码，实现了简单的摄像头画面显示，开始直播和停止直播。

根据不同的用户，直播流的名字肯定是不一样的，这个是从HTML页面传参数给SWF。

当开始直播后，SWF会调用外部方法，去更新直播房间的状态。

<?xml version="1.0" encoding="utf-8"?>
<s:Application xmlns:fx="http://ns.adobe.com/mxml/2009"
xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" creationComplete="init()"  >
<fx:Script>
<![CDATA[
import mx.controls.Alert;
import mx.core.FlexGlobals;
private var nc:NetConnection;
private var cam:Camera ;
private var mic:Microphone;
private var ns:NetStream;
//private var room_id:String = FlexGlobals.topLevelApplication.parameters.roomid;

/***
*** 初始化的方法，默认显示摄像头实时图像，不发布和录像
* ***/
private function init():void
{
cam = Camera.getCamera();
var vi:Video = new Video();
vi.width = 313;
vi.height = 194;
vi.attachCamera(cam);
videoDisplay.addChild(vi);
}
/***
*** 发布直播并录制的方法
***/
private function playClick():void
{
playButton.enabled = false;
stopButton.enabled = true;
recordCheck.enabled = false;
clickHandler("1");
//之前有连接，先关闭
try{
if(nc.connected){
nc.close();
}
}catch(e:Error){}
nc = new NetConnection();
nc.addEventListener(NetStatusEvent.NET_STATUS,connectHandler);
nc.client  = this;
// Red5的RTMP协议地址需要自己修改
nc.connect("rtmp://192.168.3.100:1936/oflaDemo");
}

private function connectHandler(evt:NetStatusEvent):void{
trace(evt.info.code);
//由于flash的异步机制，连接成功后才能做处理，否则NetStream会因为conn没能连接报参数错误#2126

var params:Object = FlexGlobals.topLevelApplication.parameters;
var player:String = params.player;

if (evt.info.code == 'NetConnection.Connect.Success') {
ns = new NetStream(nc);
cam = Camera.getCamera();
if(cam == null)
{
Alert.show("没有发现摄像头","提示")
}
mic = Microphone.getMicrophone();

setupCameraMic();
ns.attachAudio(mic);
ns.attachCamera(cam);

var vi:Video = new Video();
vi.width = videoDisplay.width;
vi.height = videoDisplay.height;
vi.attachCamera(cam);
videoDisplay.addChild(vi);
// live 直播不录制, record 边直播边录制
ns.publish(player, recordCheck.selected?"record":"live");
}
else
{
Alert.show("直播服务器连接已断开","提示")
}
}
/***
***设置摄像头和麦克风的参数
***/
private function setupCameraMic():void
{
cam = Camera.getCamera();
cam.setMode(320, 240, 30);
cam.setQuality(0,70);
mic = Microphone.getMicrophone();
mic.rate = 11;
mic.setSilenceLevel(0);
}

/***
***停止直播
***/
private function stopClick():void
{
clickHandler("0");
nc.close();
ns.close();
playButton.enabled = true;
stopButton.enabled = false;
recordCheck.enabled = true;
}

public function onBWCheck(...arg):void
{
//do nothing
}

public function onBWDone(...arg):void
{
//do nothing
}
//更新直播状态
public function clickHandler(status:String):void
{
if(FlexGlobals.topLevelApplication.parameters.roomid==""){
Alert.show("用户名或密码不能为空","提示");return;
}
statusService.request.roomId=FlexGlobals.topLevelApplication.parameters.roomid;
statusService.request.status=status;
statusService.send();
}
]]>
</fx:Script>
<fx:Declarations>
<s:HTTPService id="statusService" url="/mediamanager/play/mediaPlay/updateStatus"  method="get">
<mx:request xmlns="">
</mx:request>
</s:HTTPService>
</fx:Declarations>
<s:Panel x="66" y="29" title="发布直播" width="534" height="319">
<s:VideoDisplay  x="6" y="10" width="370" height="262" id="videoDisplay" />
<s:Button label="开始" id="playButton" click="playClick();" x="384" y="24"/>
<s:Button label="停止" x="384" y="68"  id="stopButton" click="stopClick();"/>
<s:CheckBox x="469" y="25" label="录制" width="53" id="recordCheck"/>
</s:Panel>
</s:Application>

选择录制的话，会在Red5服务器的streams目录下生成“直播流名.flv”文件。

用FlashBuilder编译以后，在bin-dug目录下会生成一些js和swf文件，一起拷出来，在HTML中调用：

把参数fileName和roomId传入flashvars，swf就可以获取到外部参数了。

<script type="text/javascript" src="<c:url value="/scripts/play/server/swfobject.js"/>"></script>
<script type="text/javascript">
//<!-- For version detection, set to min. required Flash Player version, or 0 (or 0.0.0), for no version detection. -->
var swfVersionStr = "11.1.0";
// To use express install, set to playerProductInstall.swf, otherwise the empty string.
var xiSwfUrlStr = "<c:url value='/scripts/play/server/playerProductInstall.swf'/>";
var flashvars ={};
flashvars.player=$("#fileName").val();
flashvars.roomid=$("#roomId").val();
var params = {};
//params.quality = "high";
//params.bgcolor = "#ffffff";
//params.allowscriptaccess = "sameDomain";
//params.allowfullscreen = "true";
var attributes = {};
attributes.id = "server";
attributes.name = "server";
attributes.align = "middle";
swfobject.embedSWF(
"<c:url value='/scripts/play/server/server.swf'/>", "flashContent",
"100%", "100%",
swfVersionStr, xiSwfUrlStr,
flashvars, params, attributes);
//<!-- JavaScript enabled so display the flashContent div in case it is not replaced with a swf object. -->
swfobject.createCSS("#flashContent", "display:block;text-align:left;");
</script>

直播，更新房间状态的功能就此完成。

想在PC上看直播的话，我用的是jwplayer，代码如下：

<%@ page contentType="text/html;charset=UTF-8" language="java" %>
<%@ include file="../jsp/include/taglibs.jsp"%>
<html>
<head>
<title>JWPlayer</title>
<script type="text/javascript" src="./scripts/jwplayer/jwplayer.js"></script>
</head>
<body>
<div id="player">
<script type="text/javascript">
jwplayer("player").setup({
flashplayer: "./scripts/jwplayer/player.swf",
image:"preview.jpg",
file: "stream1477358653196",
streamer: "rtmp://192.168.3.100:1936/oflaDemo"
});
</script>
</div>
</body>
</html>

上面的file:"stream1477358653196"是直播流的名字，如果是播放资源的话，改成file:"video.mp4"即可。

4. 如果在手机观看直播的话，直播端推荐用Adobe自己的直播软件Adobe Flash Media Live Encoder 3.2。

前面说过，RTMP是Adobe的私有协议，而ios和安卓手机都不支持Adobe，也就无法使用RTMP进行直播了。

现在主流做法是将RTMP用ffmpeg推流成为HLS，在手机端观看。HLS只需要H5的video标签就能播放。

FFMPEG命令如下：

ffmpeg -i "rtmp://192.168.8.79:1937/red5/play live=1"  -strict -2 -c:v libx264 -c:a aac -f hls "D:\apache-tomcat-8.0.9\webapps\resourcemanager\streams\room\hls\hls.m3u8"

注意：

①推正在直播的流的话，rtmp这段里面，"live=1"必须加，且必须用双引号，与rtmp地址包含在一起。

②中间是视频音频的参数设置

③最后"D:\apache-tomcat-8.0.9\webapps\resourcemanager\streams\room\hls\hls.m3u8"是hls协议的视频文件。

它会产生1个m3u8文件（ts文件列表），和N个ts文件（视频片段）

有人会问，既然可以用ffmpeg推流成为hls，那为什么还需要直播软件，直接pc端用swf直播，手机端不就可以看了吗？

请看下图ffmpeg转码时的参数：

这个是用Adobe Flash Media Live Encoder 3.2



这个是用swf直播的时候：



注意音频和视频Stream格式的区别。

用直播软件转码后，视频格式是vp6f，音频格式是mp3。而FlashBuilder并不支持这样的格式，它生成的是flv1和nellymoser。

其结果是，不转码，用swf播放带声音的视频时，会放1秒就卡死。不带声音的话OK，但是直播怎么能没声音呢？

我尝试了一下Red5的官方Demo直播，用手机观看也是同样的卡死。

我觉得肯定是音频格式有问题，所以尝试了下面的方法，但仍然不行：

① 修改音频的输入格式：mic.codec = SoundCodec.SPEEX 

     FlashBuilder只支持nellymoser和speex两种格式。

② 将视频和音频分两个流，然后用ffmpeg合并，视频和音频会出现延迟

ffmpeg.exe -i "rtmp://192.168.8.79:1936/vod/video live=1" -i "rtmp://192.168.8.79:1936/vod/audio live=1" -strict -2 -c:v libx264 -c:a aac -f hls D:\apache-tomcat-8.0.9\webapps\mediamanager\streams\room\sun\sun.m3u8

③ 在手机上放两个播放器，一个播放音频，一个播放视频，还是卡死。

这个就比较奇怪了。难道nellymoser和speex在手机上只能单独播放吗？

如果有人可以在FlashBuilder里面将音频转成mp3格式输入应该就没问题了，可是我不知道怎么转mp3呀


估计单用FlashBuilder是做不到直接转mp3的，需要C或者C++。

其实直播软件也就是将视频音频转码的作用。

参考了一下其他直播网站，他们似乎也推荐使用直播软件进行直播，那算了，我也别费工夫了，大家都用直播软件吧。

虽然最终没能解决音频转码的问题，但是在研究过程中对于ffmpeg的使用，以及视频音频的知识有了更加深入的了解。

系统中还整合了shiro，cas，以及手机端使用的APICloud，等以后有时间再继续分享吧。