本文共 3808 字,大约阅读时间需要 12 分钟。
FFmpeg中的libavfilter提供了一整套的基于filter的机制。
filter本身是一个插件的形式,可以快速的组装需要的效果。
比如下面的filter,可以实现视频的水平镜像效果。
ffplay.exe sample.rmvb -vf hflip
FFmpeg定义的libavcodec接口已经成为在编解码领域的事实上的行业标准。
但音视频filter并没有类似的标准,多个不同的多媒体项目(比如MPlayer、Xine、GStreamer等)都实现了自定义的filter系统。
为了统一filter库API接口,FFmpeg提出了参考DirectDraw实现了高质量、高效、灵活的音视频filter接口。
filter可以翻译成过滤器,滤镜、滤波器。物理概念上,常见的过滤器跟净化器概念重复,比如滤水器、空气净化器等。
换种说法,filter是一种传递(pass-through)代码块,将输入数据做特定的变换并输出。
通常filter自身不做任何输入/输出。
举个例子,linux下的grep可以认为是一个filter,按照正则表达式匹配选择,从输入中选择输出数据。
比如音频处理比较典型的低通滤波器、高通滤波器、带通滤波器、去噪滤波器等。
按照处理数据的类型,通常多媒体的filter分为:
另一种按照处于编解码器的位置划分:
FFmpeg中filter分为:
除了source和sink filter,其他filter都至少有一个输入、至少一个输出。
下面也是一个例子,使用filter实现宽高减半显示:
ffplay.exe sample.rmvb -vf scale=iw/2:ih/2
下面是使用mptestsrc的source filter作为ffplay输入,直接显示:
ffplay -f lavfi mptestsrc=t=dc_luma
ffplay -f lavfi life=s=300x200:mold=10:r=60:ratio=0.1:death_color=#C83232:life_color=#00ff00,scale=1200:800:flags=16
FFmpeg filter可以认为是一些预定义的范式,可以实现类似积木的多种功能的自由组合。
每个filter都有固定数目的输入和输出,而且实际使用中不允许有空悬的输入输出端。
使用文本描述时我们可以通过标识符指定输入和输出端口,将不同filter串联起来,构成更复杂的filter。这就形成了嵌套的filter。
当然每个filter可以通过ffmpeg/ffplay命令行实现,但通常filter更方便。
ffmpeg.exe、ffplay.exe能够通过filter处理原始的音视频数据。
ffmpeg将filtergraph分为simple filtergraph和complex filtergraph。
通常simple filtergraph只有一个输入和输出,ffmpeg命令行中使用-vf、-af识别,
基本原理图如下:
complex filtergraph,通常是具有多个输入输出文件,并有多条执行路径;
ffmpeg命令行中使用-lavfi、-filter_complex,基本原理图如下:
在libavfilter, 一个filter可以包含多个输入、多个输出。
下图是一个filtergraph的示例:
上图中filtergraph将输入 流(INPUT) 分成两个流(分别是main 和 tmp ),
其中一个(即tmp)通过crop filter和vflip filter,它们的输出命名为 (flip)
另一个(即main)不做处理;
然后通过overlay filter将这两个流(即 main 和 flip)合成一个流输出(OUTPUT)。
这个filtergraph可以用下面命令行表示:
ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT
FFmpeg中filter包含三个层次,filter->filterchain->filtergraph。
具体可以参考下图:
上图中,
第一层是 filter 的语法;
第二层是 filterchain的语法;
第三层是 filtergraph的语法。
[input_link_label_1][input_link_label_2] ...
filter_name=param_name1=param_value1:param_name2=param_value2
[ouput_link_lable_1][output_link_label_2]...
其中:
[input_link_label_X] :指以 label 标识的Filter的输入,label可以随意命令,它是可选的,可以有多个,用方括号分隔;
filter_name : 是fliter的名称, 必须有;它的参数是可选 的,以":"分隔或"+"号,可以有参数名,也可以没有;
[output_link_label_X] : 指以 label 标识的Filter的输入,label可以随意命令,它是可选的, 可以有多个,用方括号分隔;
没有音频、视频输入的filter称为source filter;
没有音频、视频输出的filter称为sink filter。
例如:
ffmpeg -i video.avi
-filter_complex 'extractplanes=y+u+v[y][u][v]' -map '[y]' y.avi -map '[u]' u.avi -map '[v]' v.avi
这个抽取视频Y、U、V分量的filter,就有三个输出,分别是 [y][u][v], 抽取后,将不同的输出保存到不同的文件中;
例如:
ffmpeg -i video.avi -vf 'delogo=x=0:y=0:w=100:h=77:band=10' output.avi
filter1,filter2,....
它是多个filter的组合,以逗号分隔;并且每个filter是输入是前一个filter的输出;
例如:
ffmpeg -i audio.aac
-filter_complex "aresample=async=16000,adelay=316397,volume=1.0" -acodec libfdk_aac -y output.mp4
这里用到了三个filter,分别的aresample, adelay, volume, 组成一个filterchain;
filterchain1;filterchain2;...
它是多个filterchain的组合,以分号";"分隔,
例如:
ffmpeg -i INPUT -filter_complex "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT
这里用到了三个filterchain, 分别是:
split [main][tmp]; // 它只有一个filter,即 split; 它有一个默认的输入,即INPUT解码后的frame;
有两个输出, 以 [main], [tmp] 标识;
[tmp] crop=iw:ih/2:0:0, vflip [flip] // 它由两个filter组成,即crop和vflip;一个输入 [tmp], 一个输出[flip];
[main][flip] overlay=0:H/2 // 它由一个filter组成,即overlay, 有两输入,分别是[main][flip], 一个默认的输出;
转载地址:http://wnctd.baihongyu.com/