本書采用從零開始，逐級深入的方式寫作，以項目實戰(zhàn)為階段性目標(biāo)，外加實際生產(chǎn)環(huán)境下的特殊案例作為優(yōu)化方案，讓讀者可以全方位掌握移動平臺下音視頻開發(fā)的大部分內(nèi)容。首先介紹實現(xiàn)視頻播放器和錄制需要的基礎(chǔ)知識，然后通過案例講解如何實現(xiàn)視頻播放器和一個視頻錄制的應(yīng)用。但是一款錄制的應(yīng)用，要想上線，其實還要進行給音頻視頻美化，所以在提高篇，介紹了相應(yīng)的內(nèi)容，并給出了一個實際生產(chǎn)環(huán)境中的案例，之后，指導(dǎo)讀者進階，把前面學(xué)到的基礎(chǔ)內(nèi)容應(yīng)用到直播中。后，給出排錯方法和工具，和大家分享如何更有效率地開發(fā)應(yīng)用程序。

目錄

推薦序一
推薦序二
前言
第1章　音視頻基礎(chǔ)概念 1
1.1　聲音的物理性質(zhì) 1
1.1.1　聲音是波 1
1.1.2　聲波的三要素 2
1.1.3　聲音的傳播介質(zhì) 3
1.1.4　回聲 3
1.1.5　共鳴 4
1.2　數(shù)字音頻 4
1.3　音頻編碼 6
1.4　圖像的物理現(xiàn)象 7
1.5　圖像的數(shù)值表示 8
1.5.1　RGB表示方式 8
1.5.2　YUV表示方式 9
1.5.3　YUV和RGB的轉(zhuǎn)化 10
1.6　視頻的編碼方式 10
1.6.1　視頻編碼 10
1.6.2　編碼概念 11
1.7　本章小結(jié) 13
第2章　移動端環(huán)境搭建 14
2.1　在iOS上如何搭建一個基礎(chǔ)項目 14
2.2　在Android上如何搭建一個基礎(chǔ)項目 21
2.3　交叉編譯的原理與實踐 26
2.3.1　交叉編譯的原理 26
2.3.2　iOS平臺交叉編譯的實踐 27
2.3.3　Android平臺交叉編譯的實踐 33
2.3.4　使用LAME編碼MP3文件 38
2.4　本章小結(jié) 42
第3章　FFmpeg的介紹與使用 43
3.1　FFmpeg的編譯與命令行工具的使用 43
3.1.1　FFmpeg的編譯 43
3.1.2　FFmpeg命令行工具的使用 51
3.2　FFmpeg API的介紹與使用 60
3.3　FFmpeg源碼結(jié)構(gòu) 68
3.3.1　libavformat與libavcodec介紹 68
3.3.2　FFmpeg通用API分析 69
3.3.3　調(diào)用FFmpeg解碼時用到的函數(shù)分析 70
3.3.4　調(diào)用FFmpeg編碼時用到的函數(shù)分析 71
3.3.5　面向?qū)ο蟮腃語言設(shè)計 72
3.4　本章小結(jié) 74
第4章　移動平臺下的音視頻渲染 75
4.1　AudioUnit介紹與實踐 75
4.2　Android平臺的音頻渲染 84
4.2.1　AudioTrack的使用 85
4.2.2　OpenSL ES的使用 87
4.3　視頻渲染 90
4.3.1　OpenGL ES介紹 90
4.3.2　OpenGL ES的實踐 91
4.3.3　上下文環(huán)境搭建 98
4.3.4　OpenGL ES中的紋理 104
4.4　本章小結(jié) 109
第5章　實現(xiàn)一款視頻播放器 110
5.1　架構(gòu)設(shè)計 110
5.2　解碼模塊的實現(xiàn) 115
5.3　音頻播放模塊的實現(xiàn) 118
5.3.1　Android平臺的音頻渲染 118
5.3.2　iOS平臺的音頻渲染 119
5.4　畫面播放模塊的實現(xiàn) 121
5.4.1　Android平臺的視頻渲染 121
5.4.2　iOS平臺的視頻渲染 122
5.5　AVSync模塊的實現(xiàn) 124
5.5.1　維護解碼線程 124
5.5.2　音視頻同步 125
5.6　中控系統(tǒng)串聯(lián)起各個模塊 127
5.6.1　初始化階段 127
5.6.2　運行階段 128
5.6.3　銷毀階段 129
5.7　本章小結(jié) 130
第6章　音視頻的采集與編碼 131
6.1　音頻的采集 131
6.1.1　Android平臺的音頻采集 131
6.1.2　iOS平臺的音頻采集 134
6.2　視頻畫面的采集 137
6.2.1　Android平臺的視頻畫面采集 137
6.2.2　iOS平臺的視頻畫面采集 146
6.3　音頻的編碼 156
6.3.1　libfdk_aac編碼AAC 156
6.3.2　Android平臺的硬件編碼器MediaCodec 158
6.3.3　iOS平臺的硬件編碼器AudioToolbox 161
6.4　視頻畫面的編碼 166
6.4.1　libx264編碼H264 166
6.4.2　Android平臺的硬件編碼器MediaCodec 172
6.4.3　iOS平臺的硬件編碼器 175
6.5　本章小結(jié) 184
第7章　實現(xiàn)一款視頻錄制應(yīng)用 185
7.1　視頻錄制的架構(gòu)設(shè)計 185
7.2　音頻模塊的實現(xiàn) 188
7.2.1　音頻隊列的實現(xiàn) 189
7.2.2　Android平臺的實現(xiàn) 191
7.2.3　iOS平臺的實現(xiàn) 194
7.3　音頻編碼模塊的實現(xiàn) 198
7.3.1　改造編碼器 198
7.3.2　編碼器適配器 199
7.4　畫面采集與編碼模塊的實現(xiàn) 202
7.4.1　視頻隊列的實現(xiàn) 202
7.4.2　Android平臺畫面編碼后入隊 203
7.4.3　iOS平臺畫面編碼后入隊 204
7.5　Mux模塊 205
7.5.1　初始化 206
7.5.2　封裝和輸出 208
7.5.3　銷毀資源 212
7.6　中控系統(tǒng)串聯(lián)起各個模塊 213
7.7　本章小結(jié) 214
第8章　音頻效果器的介紹與實踐 215
8.1　數(shù)字音頻基礎(chǔ) 215
8.1.1　波形圖 215
8.1.2　頻譜圖 217
8.1.3　語譜圖 219
8.1.4　深入理解時域與頻域 219
8.2　數(shù)字音頻處理：快速傅里葉變換 222
8.3　基本樂理知識 229
8.3.1　樂譜 229
8.3.2　音符的音高與十二平均律 231
8.3.3　音符的時值 233
8.3.4　節(jié)拍 233
8.3.5　MIDI格式 234
8.4　混音效果器 235
8.4.1　均衡效果器 236
8.4.2　壓縮效果器 239
8.4.3　混響效果器 240
8.5　效果器實現(xiàn) 243
8.5.1　Android平臺實現(xiàn)效果器 243
8.5.2　iOS平臺實現(xiàn)效果器 252
8.6　本章小結(jié) 255
第9章　視頻效果器的介紹與實踐 256
9.1　圖像處理的基本原理 256
9.1.1　亮度調(diào)節(jié) 257
9.1.2　對比度調(diào)節(jié) 258
9.1.3　飽和度調(diào)節(jié) 259
9.2　圖像處理進階 259
9.2.1　圖像的卷積過程 260
9.2.2　銳化效果器 260
9.2.3　高斯模糊算法 262
9.2.4　雙邊濾波算法 263
9.2.5　圖層混合介紹 264
9.3　使用FFmpeg內(nèi)部的視頻濾鏡 266
9.3.1　FFmpeg視頻濾鏡介紹 266
9.3.2　濾鏡圖的構(gòu)建 267
9.3.3　使用與銷毀濾鏡圖 269
9.3.4　常用濾鏡介紹 270
9.4　使用OpenGL ES實現(xiàn)視頻濾鏡 272
9.4.1　加水印 273
9.4.2　添加自定義文字 278
9.4.3　美顏效果器 282
9.4.4　動圖貼紙效果器 284
9.4.5　主題效果器 288
9.5　本章小結(jié) 291
第10章　專業(yè)的視頻錄制應(yīng)用實踐 292
10.1　視頻硬件解碼器的使用 292
10.1.1　初始化信息準(zhǔn)備 292
10.1.2　VideoToolbox解碼H264 294
10.1.3　MediaCodec解碼H264 298
10.2　音頻效果器的集成 304
10.2.1　Android音效處理系統(tǒng)的實現(xiàn) 305
10.2.2　iOS音效處理系統(tǒng)的實現(xiàn) 308
10.3　一套跨平臺的視頻效果器的設(shè)計與實現(xiàn) 309
10.4　將特效處理庫集成到視頻錄制項目中 315
10.4.1　Android平臺特效集成 316
10.4.2　iOS平臺特效集成 321
10.5　本章小結(jié) 325
第11章　直播應(yīng)用的構(gòu)建 327
11.1　直播場景分析 327
11.2　拉流播放器的構(gòu)建 329
11.2.1　Android平臺播放器增加后處理過程 329
11.2.2　iOS平臺播放器增加后處理過程 332
11.3　推流器的構(gòu)建 335
11.4　第三方云服務(wù)介紹 340
11.5　禮物系統(tǒng)的實現(xiàn) 341
11.5.1　Cocos2dX項目的運行原理 342
11.5.2　關(guān)鍵API詳解 344
11.5.3　實現(xiàn)一款動畫 348
11.6　聊天系統(tǒng)的實現(xiàn) 350
11.6.1　Android客戶端的WebSocket實現(xiàn) 351
11.6.2　iOS客戶端的WebSocket實現(xiàn) 352
11.7　本章小結(jié) 353
第12章　直播應(yīng)用中的關(guān)鍵處理 354
12.1　直播應(yīng)用的細節(jié)分析 354
12.1.1　推流端細節(jié)分析 354
12.1.2　拉流端細節(jié)分析 355
12.2　推流端的關(guān)鍵處理 355
12.2.1　自適應(yīng)碼率的實踐 356
12.2.2　統(tǒng)計數(shù)據(jù)保證后續(xù)的應(yīng)對策略 361
12.3　拉流端的關(guān)鍵處理 363
12.3.1　重試機制的實踐 364
12.3.2　首屏?xí)r間的保證 366
12.3.3　統(tǒng)計數(shù)據(jù)保證后續(xù)的應(yīng)對策略 370
12.4　本章小結(jié) 371
第13章　工欲善其事，必先利其器 372
13.1　Android平臺工具詳解 372
13.1.1　ADB工具的熟練使用 372
13.1.2　MAT工具檢測Java端的內(nèi)存泄漏 377
13.1.3　NDK工具詳解 387
13.1.4　Native層的內(nèi)存泄漏檢測 389
13.1.5　breakpad收集線上Crash 396
13.2　iOS使用Instruments診斷應(yīng)用 399
13.2.1　Debug Navigator 399
13.2.2　Time Profiler 400
13.2.3　Allocations 402
13.2.4　Leaks 403
13.3　本章小結(jié) 405
附錄A　通過Ne10的交叉編譯輸入理解ndk-build 406
附錄B　編碼器的使用細節(jié) 415
附錄C　視頻的表示與編碼 423