適宜音声フォーマットでコピーできない場合はそれに変える。
-qp 0 は可逆圧縮、-g 1 は全フレームが I-frame になりシークバーが動かしやすくなる。
出力は YUV444
ffmpeg -i input -vcodec libx264 -qp 0 -g 1 -tune fastdecode -acodec copy output.mp4
RGB 出力の場合
ffmpeg -i input -vcodec libx264rgb -qp 0 -g 1 -tune fastdecode -acodec copy output.mp4
ffmpeg でインタレ解除をするにはいくつかの方法があるので目的に合わせてインタレを解除する。
公式ドキュメント
ロゴ消しはこちら：ffmpeg できれいにロゴを消す方法
reverse を使って逆再生にエンコードする。ただし音声の逆再生は未対応なので別のアプリケーションを使う必要がある。trim 必須なので予めカットしておいた方が処理速度は速い。
2015年7月24日音声の逆再生フィルタも追加された
avfilter: add areverse filter :: git.videolan.org Git – ffmpeg.git/commitdiff
reverse は最近追加されたフィルタなので最新Git を利用する。
avfilter: Add reverse filter :: git.videolan.org Git – ffmpeg.git/commitdiff
開始10秒から20秒までを取り込んで20秒から10秒にする
ffmpeg -i input -vf trim=10:20,reverse -an output
開始10秒から20秒までを取り込んで20秒から10秒にする(音声を含む)
ffmpeg -i input -filter_complex trim=10:20,reverse;atrim=10:20,areverse output
複数の時点を逆再生してつなげる場合は concat でつなげる後ろの PTS を 0 に変える。秒数で指定するとつなぎ目でシーンが重複するので映像ならフレーム単位、音声ならサンプリング単位でつなげるときれいにつながる。
30秒から 10秒まで
ffmpeg -i input -vf split[a][b];[a]trim=10:20,setpts=PTS-STARTPTS,reverse[a1];[b]trim=20:30,reverse[b1];[b1][a1]concat=2:1:0 -an output
30秒から 10秒まで(音声を含む)
ffmpeg -i input -filter_complex split[a][b];[a]trim=10:20,setpts=PTS-STARTPTS,reverse[a1];[b]trim=20:30,reverse[b1];asplit[c0][d];[c0]atrim=10:20,asetpts=PTS-STARTPTS,areverse[c1];[d]atrim=20:30,areverse[d1];[b1][d1][a1][c1]concat=2:1:1 output
20秒から 10秒まで、30秒から 20秒まで
ffmpeg -i input -vf split[a][b];[a]trim=10:20,reverse[a1];[b]trim=20:30,setpts=PTS-STARTPTS,reverse[b1];[a1][b1]concat=2:1:0 -an output
20秒から 10秒まで、30秒から 20秒まで(音声を含む)
ffmpeg -i input -filter_complex split[a][b];[a]trim=10:20,setpts=PTS-STARTPTS,reverse[a1];[b]trim=20:30,reverse[b1];asplit[c0][d];[c0]atrim=10:20,asetpts=PTS-STARTPTS,areverse[c1];[d]atrim=20:30,areverse[d1];[b1][d1][a1][c1]concat=2:1:1 output
【ffmpeg】動画・音声を連結する concat の使い方
公式ドキュメント
大きすぎる音は小さく、小さい音は大きく聞き取りやすい音量に変える音量ノーマライザフィルタ。雑談などの声中心なら聞こえやすくなるので効果的で、急に音量が変わって聞き取りにくい音声を修正するのにも使える。
音量を調べるには showwavespic、ebur128、volumedetect などがある。
サンプリング周波数を一枚画像で出力する showwavespic
適切な音量が調べられる ffmpeg の ebur128 の使い方
volumedetect の使い方
ffmpeg -i input -vn -af volumedetect -f null -
公式ドキュメント：FFmpeg Filters Documentation :: dynaudnorm
オプションの詳細は公式ドキュメントを参照。
ffmpeg -i input -af dynaudnorm output
差分を手軽に調べるには showwavespic を使う
ffmpeg input -vn -filter_complex dynaudnorm,showwavespic dynaudnorm.png
ffmpeg input -vn -filter_complex showwavespic non-dynaudnorm.png
通常読込時点の指定には -ss で最初からの経過秒を指定していたが、これからは最後からの秒を指定できるようになった。2015年7月30日のコミットなので最新のGit から利用する。
公式ドキュメント：ffmpeg Documentation :: Main options
-sseof でマイナス時間を指定する。書式は hh:mm:ss[.xxx], ss[.xxx]
規定値では最後から指定時間だけ出力される。
ffmpeg -sseof -<seconds> -i input output
-t も併用することで時間の調整も出来る。
ffmpeg -sseof -<seconds> -i input -t <seconds> output
1入力の最後の音量を絞りながら2入力の音量を徐々に上げてつなげるフィルタ。単純に音声ファイルをつなげるのなら concat を使う。
【ffmpeg】動画・音声を連結する concat の使い方
公式ドキュメント：FFmpeg Filters Documentation :: acrossfade
afade の curve のオプションが使えるffmpeg -i input1 -i input2 -filter_complex acrossfade output.wav
一般的に配信用途でのデノイズには hqdn3d だけが使われているが、個別のコンシューマゲームとして一番配信されている Splatoon を ffmpeg で配信するときに 384kbps の時間帯ではどうしても画質が維持できない。そこでもう一つデノイズフィルタを加えることで全体の画質を向上させてみた。
使うのは pp フィルタで随分前からブログで紹介していたが、配信向きではないと書いていたので使われることがなかった。しかし色々調べてみると見た目の画質は維持しながら 3D特有のテクスチャーを hqdn3d 以上にぼかすことが出来るので、複雑な部分をぼかしながら他の場所にビットレートを割ることで全体的に見栄えのよい映像にすることが出来る。
Windows の ffmpeg で生放送する方法 : pp
サンプル動画は 神連携(野良試合)40秒で終わるガチマッチ（sm26969815） でフィルタ毎に比較する。オリジナルの解像度は 1280×720 なのでリサイズしてからフィルタを当てる。ffmpeg から画像を取り出すと RGB 変換で色が劣化するので AviUtl で静止画をクリップボードで取得して PictBear で補正処理を行って 512×288 にリサイズした。
静止画だとフィルタの効果しか分からないが、実際のニコ生の配信にはビットレート制限があるので制限に応じてどこまで細部を描写できるかでフィルタの強度を上げ下げするとよい。例では第1引数(difference)を上げ下げしてデノイズの指定場所を変えていたが、第2引数(flatness)と fq の値を変えることで強度を変更できる。flatness の下げすぎに注意。
以下フィルタ別のファイルはリンク（遠くの背景がよくぼけている）
unsharp=3:3:0.5:3:3:0.5(292KB)
hqdn3d,unsharp=3:3:0.5:3:3:0.5(293KB)
pp=hb|4|39/vb|4|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(292KB)
pp=hb|4|36/vb|4|36/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(291KB)
pp=hb|8|39/vb|8|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(290KB)
pp=hb|32|39/vb|32|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(290KB)
pp=hb|64|39/vb|64|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(287KB)
以下フィルタ別のファイルはリンク（左のイカリや地面がぼけている）
unsharp=3:3:0.5:3:3:0.5(257KB)
hqdn3d,unsharp=3:3:0.5:3:3:0.5(254KB)
pp=hb|4|39/vb|4|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(252KB)
pp=hb|4|36/vb|4|36/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(252KB)
pp=hb|8|39/vb|8|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(251KB)
pp=hb|32|39/vb|32|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(244KB)
pp=hb|64|39/vb|64|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(245KB)
以下フィルタ別のファイルはリンク（壁と地面がよくぼけている）
unsharp=3:3:0.5:3:3:0.5(277KB)
hqdn3d,unsharp=3:3:0.5:3:3:0.5(275KB)
pp=hb|4|39/vb|4|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(272KB)
pp=hb|4|36/vb|4|36/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(270KB)
pp=hb|8|39/vb|8|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(267KB)
pp=hb|32|39/vb|32|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(262KB)
pp=hb|64|39/vb|64|39/dr/fq|32,hqdn3d,unsharp=3:3:0.5:3:3:0.5(262KB)
1入力した映像を2入力の解像度にリサイズする scale2ref の使い方。
主な用途は異なる解像度の動画をフィルタ内で比較、参照したりするときに、参照動画の解像度は scale では取得できないので その代わりに scale2ref を使うことになる。使えるオプションは scale と同じ。
input1：640×360, input2：1280×720
input1 の解像度は 1280×720 にリサイズされ、input2 はそのまま
ffmpeg -i input1 -i input2 -filter_complex scale2ref[a][b] -map [a] output1 -map [b] output2
input1 の解像度は input2 の4分の1にリサイズされ、input2 はそのまま
ffmpeg -i input1 -i input2 -filter_complex scale2ref=1/4*iw:1/4*ih[a][b] -map [a] output1 -map [b] output2
公式ドキュメント
FFmpeg Filters Documentation :: scale
FFmpeg Filters Documentation :: scale2ref
2入力した映像を比較してオリジナルにどれだけ忠実であるか SSIM の値を計算する。主な用途はエンコード前後を比較してどれだけ劣化したのか、特定のフレームを抽出してエンコードを見直したりする。libx264 エンコードでリアルタイムで計測する場合はオプションの -tune ssim -ssim 1 を使う。
Windows の ffmpeg で生放送する方法 : エンコードのログ出力の方法
最終結果だけを表示
ffmpeg -i input1 -i input2 -filter_complex ssim -an -f null -
ログファイルを出力する
ffmpeg -i input1 -i input2 -filter_complex ssim=stats.txt -an -f null -
ログファイルの見方
似た指標に PSNR もあるが主観的な画質の比較なら SSIM のほうがよい。
http://www.jiima.or.jp/pdf/5_JIIMA_guideline.pdf より
| PSNR | SSIM | 主観評価 |
| 40～∞［dB］ | 0.98以上 | 元の画像と圧縮画像の区別がつかない |
| 30～40［dB］ | 0.90～0.98 | 拡大すれば劣化がわかるレベル |
| 30以下［dB］ | 0.90以下 | 明らかに劣化がわかる |
x264におけるSSIMの目安
http://www.wikihouse.com/htumenc/index.php?SSIM より
| SSIM値 | qp設定値（例） | |
| 0.98 以上 | 20 | オリジナルと区別がつかない。 |
| 0.95 | 30 | 見るに耐えない。（＊または辛うじて、そこそこ見られる＊） |
| 0.9 | 40 | 非常に醜い。 |
| 0.8 | 51 | これ以上は圧縮できない |
| 0.7 以下 | – | 素材に大量のノイズを加え、さらにそのノイズを量子化工程で消し去るほどqpを高くしない限り、達成困難。 |
公式ドキュメント
FFmpeg Filters Documentation :: ssim
FFmpeg Filters Documentation :: psnr
ffmpeg 2.8 が2015年9月9日リリースされた。それに伴い ffmpeg 2.7 から新たに追加されたフィルタやエンコーダーやデコーダーなど気になる新機能についてのまとめ。
チェンジログ：git.videolan.org Git – ffmpeg.git/blob – Changelog
広く恩恵を受けるのは「Intel QSV-accelerated MPEG-2 video」の部分で MPEG-2 video を libx264 でエンコードしている人にはエンコード速度の向上が図れる。ただしこれが有効になっている Windows バイナリが一般公開されていないので Master of the Dark Arts-ニコニコミュニティ で配布している Full-Auto-modified-v2 を使うと手軽に Windows用の ffmpeg を作ることが出来る。
2.7 から新たに追加されたフィルタの気になる部分については随時ブログで更新していたので該当記事を参照。
更新予定のフィルタ
公式ドキュメント：FFmpeg Filters Documentation :: aphasemeter
ffplay -f lavfi -i "amovie=input,aphasemeter=25:800x400:2:7:1:none"
基本は上から下に流れるので、rotate を使って右から左に流すコマンド
ffplay -f lavfi -i "amovie=input,aphasemeter=25:800x800:2:7:1:yellow,rotate=90*PI/180"
FFmpeg Filters Documentation :: rotate
数値化した YUV、彩度、色相 のデータを映像にオーバーレイしたり、コンソールに表示したり出来る。映像の表示方法はグラフで表示する方法と、映像に数値をオーバーレイする方法の2通りがある。
公式ドキュメント：FFmpeg Filters Documentation :: signalstats
続きを読む
ffplay -f lavfi -i "movie=input,signalstats,drawgraph=lavfi.signalstats.YAVG:min=0:max=255,drawgrid=0:0:0:32,format=yuv420p"
YAVG, YHIGH の複数表示
ffplay -f lavfi -i "movie=input,signalstats,split[0][1];[0]drawgraph=lavfi.signalstats.YAVG:min=0:max=255[YAVG];[1]drawgraph=lavfi.signalstats.YHIGH:min=0:max=255[YHIGH];[YAVG][YHIGH]blend=c0_mode=and,drawgrid=0:0:0:32,format=yuv420p"
グラフの表示形式は drawgraph で設定できる。
ffplay -f lavfi -i "movie=input,signalstats,drawgraph=lavfi.signalstats.YAVG:min=0:max=255:mode=line:slide=frame:size=900x256,drawgrid=0:0:0:32,format=yuv420p"
テキストファイル（signalstat_drawtext）に表示させる内容を記載してそれを表示させる。表示する内容が増えるとそれだけ負荷も高くなる。テキストの表示位置は drawtext で x=10:y=10 のように指定する。
ffplay input -vf signalstats=stat=brng+vrep+tout,drawtext=fontfile='C\://WINDOWS/Fonts/arial.ttf':textfile=signalstat_drawtext.txt
signalstat_drawtext.txt の内容
time %{pts:hms}
Y (%{metadata:lavfi.signalstats.YMIN}-%{metadata:lavfi.signalstats.YMAX})
U (%{metadata:lavfi.signalstats.UMIN}-%{metadata:lavfi.signalstats.UMAX})
V (%{metadata:lavfi.signalstats.VMIN}-%{metadata:lavfi.signalstats.VMAX})
saturation maximum: %{metadata:lavfi.signalstats.SATMAX}
その他に表示できるものは drawtext の Text expansion を参照する。ただし日本語は日本語が使えるフォントでないと文字化けする。
現在時間の表示 %{localtime}
フレーム番号 %{n}
フレームタイプ %{pict_type}
情報をテキストに保存する
ffprobe -f lavfi -i movie=input,signalstats="stat=tout+vrep+brng" -show_frames > signalstats.txt
特定シーンを取り出す場合は sp で開始秒の指定と、trim で長さ（秒）を指定する
ffprobe -f lavfi -i movie=input:sp=10,trim=duration=10,signalstats="stat=tout+vrep+brng" -show_frames > signalstats.txt
Y軸に振幅、X軸に周波数に変換する showfreqs について。
公式ドキュメント：FFmpeg Filters Documentation :: showfreqs
続きを読むffplay -f lavfi -i amovie=input,showfreqs=s=512x288:mode=bar:ascale=log:fscale=lin:win_size=w2048:win_func=hanning:overlap=1:averaging=1:colors=white
ffplay -f lavfi -i amovie=input,showfreqs=s=512x288:mode=line:ascale=log:fscale=lin:win_size=w256:win_func=hanning:overlap=1:averaging=5:colors=white
ffmpeg -i input -filter_complex showfreqs=s=512x288:mode=line:ascale=log:fscale=lin:win_size=w256:win_func=hanning:overlap=1:averaging=5:colors=white,fps=30,format=yuv420p output
分離したチャンネルを合わせたり入れ替えたり、フォーマットを変えたりできる。
公式ドキュメント：FFmpeg Filters Documentation :: mergeplanes
指定形式は 0xAa[Bb[Cc[Dd]]] で、ABCD, abcd 順に YUVA、または RGBA を割り当てる。大文字がどのデータを、小文字がどこに割り当てるか決め、0 が1入力となり、大文字の部分の数字プラス1が入力数になる。これだとわかりにくいので例を挙げる。
基本的に YUVA、または RGBA の個別のデータか、YUVA、または RGBA の全てのデータともう一つのデータをマスクする形で使われる。
-vf format=yuv420p,extractplanes=y+u+v[y][u][v];[u]scale=2*iw:2*ih[u2];[v]scale=2*iw:2*ih[v2];[y][u2][v2]mergeplanes=0x001020:yuv444p
-vf format=yuv420p,mergeplanes=0x000201:yuv420p
-vf format=yuva444p,mergeplanes=0x03010200:yuva444p
チャンネルを分離して個別に出力できる。対応チャンネルは YUV, RGB, アルファ である。
公式ドキュメント：FFmpeg Filters Documentation :: extractplanes
YUV をそれぞれ出力する例
ffmpeg -i input -filter_complex "extractplanes=y+u+v[y][u][v]" -map [y] y.mp4 -map [u] u.mp4 -map [v] v.mp4
Y だけ出力する例
ffmpeg -i input -filter_complex "extractplanes=y" y.mp4
histogram に含まれていた waveform オプションが個別のフィルタになり、histogram の waveform は非推奨になっている。
前回書いた記事：ffmpeg でヒストグラムを表示する
公式ドキュメント：FFmpeg Filters Documentation :: waveform
ffplay -f lavfi -i mandelbrot -vf waveform=m=1:i=.04:r=1:d=1:c=1:e=0:f=0
histogram に含まれていた color オプションが個別のフィルタになり、vectorscope として独立した。現在 histogram の color は非推奨になっている。
前回書いた記事：ffmpeg でヒストグラムを表示する
公式ドキュメント：FFmpeg Filters Documentation :: vectorscope
ffplay -f lavfi -i mandelbrot -vf vectorscope=m=1:x=1:y=2:i=.04:e=0
表示する色の設定とフェードの色設定、リサジュー図形での描写が可能。
公式ドキュメント：FFmpeg Filters Documentation :: avectorscope
続きを読むffplay -f lavfi -i "amovie=input,avectorscope=m=0:s=400x400:r=25:rc=40:gc=160:bc=80:ac=255:rf=15:gf=10:bf=5:af=5:zoom=1"
ffmpeg -i input -filter_complex avectorscope=m=0:s=400x400:r=25:rc=40:gc=160:bc=80:ac=255:rf=15:gf=10:bf=5:af=5:zoom=1 -acodec copy output
colorkey と同じような機能だが、こちらは出力フォーマットが YUVA になるので動画にクロマキー処理をした動画をオーバーレイするのに使う。
使うにはまだリリースされていない 2.8.2（予定）か、最新git から使える。
公式ドキュメント：FFmpeg Filters Documentation :: chromakey
avfilter/vf_chromakey: Add chromakey video filter
関連記事
ffmpeg でクロマキー合成
colorkey と基本的には同じ。
ffmpeg -i input1 -i input2 -filter_complex [1:0]chromakey=red:.01:0[1a];[0:0][a1]overlay output
ffmpeg -i input1 -i input2 -filter_complex [1:0]chromakey=0xff0000:.01:0[1a];[0:0][a1]overlay output
使うにはまだリリースされていない 2.8.2（予定）か、最新git から使える。
3入力目をマスクにして、1入力目の映像と、2入力目の映像をマスクに合わせて出力する。マスクをどの程度指定するかで1入力目と2入力目の割合を指定できる。マスクの割合は各コンポーネント（YUVA, RGBA）の平均から1，2入力をどの程度合わせるかで指定する。0 ならば1入力目を、255（8bit）ならば2入力目を反映させる。
マスクの指定には別ファイルを使う方法と、フィルタを当てて各コンポーネントを調整する方法とがある。各コンポーネントを調整には lut が使いやすい。
Windows の ffmpeg で生放送する方法 : LUT（ルックアップテーブル）
別ファイルを使う場合にはモノクロ映像を使うことでその部分にだけフィルタを当てるのが手軽になる。
以下方法が手軽に低負荷で出来るようになったが、今回の方法は完全に2つのフィルタを使い分けるわけではない。
ニコ生で高画質配信する複合フィルタの例
公式ドキュメント：FFmpeg Filters Documentation :: lut, lutrgb, lutyuv
関連記事
YUV、彩度、色相 を見える化する signalstats
オプションにはマスクに使うコンポーネントを指定できるが、1 から f までどれを使っているのかよくわからない。規定値は 0xf で全てのコンポーネントを対象とする。
続きを読む以下は全て YUV 動画を元とし、効果がわかりやすいようにノイズフィルタをかけている。
輝度60以下にノイズ、60より大きいのを255にしてマスクしている
ffplay -i input -vf split=3[0][1][2];[0]noise=alls=100:allf=t+u[0a];[2]lutyuv=y="if(val\, if(gt(val\,60)\,255\)\,0)":u=255:v=255[2a];[0a][1][2a]maskedmerge
輝度180以上にノイズ、180より小さいのを255にしてマスクしている
ffplay -i input -vf split=3[0][1][2];[0]noise=alls=100:allf=t+u[0a];[2]lutyuv=y="if(val\, if(lt(val\,180)\,255\)\,0)":u=255:v=255[2a];[0a][1][2a]maskedmerge
上2つのフィルタの応用
ffplay -i input -vf split=3[0][1][2];[0]smartblur[0a];[1]noise=alls=100:allf=t+u[1a];[2]lutyuv=y="if(val\, if(gt(val\,60)\,255\)\,0)":u=255:v=255[2a];[0a][1a][2a]maskedmerge
配信向きのフィルタ
ffplay -i input -vf split=3[0][1][2];[0]smartblur[0a];[1]unsharp[1a];[2]lutyuv=y="if(val\, if(gt(val\,60)\,255\)\,0)":u=255:v=255[2a];[0a][1a][2a]maskedmerge