Android多媒体框架总结(1) - 利用MediaMuxer合成音视频数据流程分析

场景介绍

　　设备端通过服务器传向客户端(Android手机)实时发送视频数据(H.264)和音频数据(g711a或g711u), 需要在客户端将音视频数据保存为MP4文件存放在本地,用户可以通过APP或者直接在手机上观看MP4文件.

解决方案

　　通过Android MultiMedia Framework提供的MediaMuxer类对音视频数据进行同步合成.

流程图

流程分析

1. 整体来看, 合成的MP4文件, 视频部分为H.264编码格式的数据, 音频部分为AAC编码格式的数据, 因此, 视频数据可以不做任何处理, 直接封装到MP4文件中, 而音频数据需要先将g711格式的数据转为AAC格式的数据, 再封装到MP4文件中；
2. 对于音频部分, 需要先解码为PCM原始音频数据(有很多第三方的解码库可以用), 再将解码后的PCM数据编码为AAC格式的数据；
3. 通过MediaMuxer提供的接口-writeSampleData(), 将H.264和AAC数据分别同时写入到MP4文件。