ffmpeg 3.4 から追加予定のフィルタ。各チャンネルの上限と下限を越えたらその上限と下限でカットする limiter フィルタの使い方。今までは lut フィルタでも同様のことが出来たが、こちらのフィルタの方がコードの量も少なく直感的でわかりやすい。
すべてのチャンネルを 16 から 235 までのリミテッドレンジに変える
ffmpeg -i input -vf limiter=16:235 output
ffplay -i input -vf limiter=16:235
ffmpeg 3.4 から追加予定のフィルタ。蛍光灯や昔の映像で数フレーム毎に明るくなったり暗くなったりするのを前後フレームから平均してちらつきを抑える deflicker フィルタの使い方。
5フレーム前から輝度の平均が始まる
ffmpeg -i input -vf deflicker=s=5:m=0:bypass=0 output
ffplay -i input -vf deflicker=5:0:0
size の値を大きくすると輝度ブラーの効果になる。
ffmpeg 3.4 から追加予定のフィルタ。矩形部分の YUV, RGB の平均値と最小値、最大値、RMS と矩形の拡大も表示される pixscope フィルタの使い方。
映像中央の縦横7ピクセルを調べて、統計データを右下に表示する
ffmpeg -i input -vf pixscope=x=0.5:y=0.5:w=7:h=7:o=0.5:wx=-1:wy=-1 output
ffmpeg -i input -vf pixscope=0.5:0.5:7:7:0.5:-1:-1 output
ffplay -i input -vf pixscope=0.5:0.5:7:7:0.5:-1:-1
公式ドキュメント：FFmpeg Filters Documentation : pixscope
入力した映像の解像度は 640×484 以上を指定する
ffmpeg 3.4 から追加予定のフィルタ。直線上の YUV, RGB の平均値と最小値、最大値と波形が表示される oscilloscope フィルタの使い方。
中央の平行方向で調べるコマンド例
ffmpeg -i input -vf oscilloscope=x=0.5:y=0.5:s=0.8:t=0.5:o=0.8:tx=0.5:ty=0.9:tw=0.8:th=0.3:c=7:g=1:st=1:sc=1 output
ffmpeg -i input -vf oscilloscope=0.5:0.5:0.8:0.5:0.8:0.5:0.9:0.8:0.3:7:1:1:1 output
ffplay -i input -vf oscilloscope=0.5:0.5:0.8:0.5:0.8:0.5:0.9:0.8:0.3:7:1:1:1
16:9 の映像で調べる範囲と統計グラフの幅を 0.9 で揃えるコマンド例
ffplay "-i input -vf oscilloscope=s='0.9*16/hypot(9,16)':tw=0.9
2017年10月16日、ffmpeg 3.4 Cantor(カントル)がリリースされた。3.4 は 3.3 からのメジャーアップデートでこれまでに取り込まれたコミットのすべてが入っている。
前回更新記事：ffmpeg 3.3 リリース
git.ffmpeg.org Git – ffmpeg.git/blob – RELEASE_NOTES
git.videolan.org Git – ffmpeg.git/blob – Changelog
追加されたフィルタで記事にしているフィルタ一覧
フィルタ以外の注目点
update cuvid/nvenc headers to Video Codec SDK 8.0.14 と、書いてないが libxml2 対応により MPEG-DASH の xml が読み込めるようになっている。ちなみに MPEG-DASH は youtube-dl でも読み込める。
Netflix が使っている複数の解像度にエンコードされた動画の品質評価に使われている VMAF(Video Multimethod Assessment Fusion) のモーションスコアの計算が ffmpeg で使えるようになった。
vmaf モーションスコアを計算するフィルタは2つあり、この vmafmotion と ./configure --enable-libvmaf でライブラリをインストールして使える libvmaf フィルタがある。前者は1つの映像の vmaf モーションスコアを計算し、後者は2つの映像を比較した vmaf モーションスコアを計算する。これらのフィルタは異なる解像度でも品質評価ができ ssim, psnr フィルタよりも見た目の評価に近しいものを目指している。数値が 0 になると前フレームからの変化が無いことを示す。
使い方は先に元動画の vmaf モーションスコアを計算し、次にエンコードした動画の vmaf モーションスコアを計算し何割減ったかを調べる。
Netflix/vmaf: Perceptual video quality assessment based on multi-method fusion.
Toward A Practical Perceptual Video Quality Metric – Netflix TechBlog – Medium
vmaf モーションスコアを計算しエンコードが終わると平均 vmaf モーションスコアをコンソールに表示する
ffmpeg -i input -vf vmafmotion -an -f null -
さらにフレーム毎の vmaf モーションスコアを log.txt のテキストファイルで出力する
ffmpeg -i input -vf vmafmotion=log.txt -an -f null -
公式ドキュメント：FFmpeg Filters Documentation : vmafmotion
stats_file[string]
すべてのフレームの平均 vmaf モーションスコアを表示したログファイルを指定したパスに出力する
既定値：無指定(何も出力しない)
MP4Box は使わずに ffmpeg だけで MPEG-DASH の MPDファイルを作る方法。また ffmpeg 3.4 からは libxml2 を有効にすることで MPDファイルを読み込むことも出来る。
関連記事
ffmpeg で Apple HTTP Live Streaming（HLS）を扱う
すべてのセグメントを MPD に記載してコピーする
ffmpeg -i input -c copy -window_size 0 output.mpd
1つの映像に1つ目はオリジナルをコピーし、2つめは 640×360 にリサイズして2つのストリームでリアルタイム -re で出力する。-map 0 を2度使うことで2出力にしている
ffmpeg -re -i input -map 0 -map 0 -c:a copy -c:v:0 copy -b:v:1 600k -s:v:1 640x360 -profile:v:1 main -window_size 5 -adaptation_sets "id=0,streams=v id=1,streams=a" output.mpd
公式ドキュメント：FFmpeg Filters Documentation : dash(Muxers)
Dash-Industry-Forum/dash.js を使うことで手軽に再生確認が出来る。
<!DOCTYPE html>
<html>
<head>
<script src="https://cdn.dashjs.org/latest/dash.all.min.js"></script>
<title>MPEG DASH TEST</title>
<style>
video {
width: 640px;
height: 360px;
}
</style>
</head>
<body>
<div>
<video data-dashjs-player autoplay src="output.mpd" controls></video>
</div>
</body>
</html>
一つの映像の前後フレームを1フレームに表示し確認できる tile フィルタの使い方。
3×3 のタイルで3秒間連番画像を出力する
ffmpeg -i input -vf tile=layout=3x3:nb_frames=0:margin=0:padding=0:color=black:overlap=0:init_padding=0 -t 3 output-%03d.jpg
キーフレームだけ出力する場合には入力ファイルの前に -skip_frame nokey をつける
ffmpeg -skip_frame nokey -i input -vf tile=3x3 -t 3 output-%03d.jpg
ノンリニア編集のように過去5つ前までのキーフレームを横に表示する
ffplay -skip_frame nokey -i input -vf tile=5x1:overlap=4,scale=1920:-1
ノンリニア編集のように過去5つ前までのフレームを横に表示する
ffplay -i input -vf tile=5x1:overlap=4,scale=1920:-1
関連記事
【ffmpeg】動画から特定フレームを画像で出力する方法
ニコ生のTSから一定時間毎に画像を出力する
ニコ生のTSからサムネイルを出力する
公式ドキュメント：FFmpeg Filters Documentation : tile
ffmpeg 3.5 から追加予定のフィルタ。複数の映像を任意の割合でミックスする mix フィルタの使い方。今までは透過チャンネルを使って overlay フィルタを使っていたがこれからはもっと手軽に複数の映像を映し出すことが出来る。
似たフィルタに fade フィルタがある
フェードイン、フェードアウトの設定ができる fade
既定値では2入力である
ffmpeg -i input1 -i input2 -filter_complex mix ouput
ffmpeg -re -i input1 -i input2 -filter_complex mix -f sdl -
3入力する場合のコマンド例
ffmpeg -i input1 -i input2 -i input3 -filter_complex mix=3 ouput
公式ドキュメント：FFmpeg Filters Documentation : mix
入力する映像は同じ解像度にすること。
解像度を変えずに上下左右を特定色で埋める fillborders フィルタの使い方。上下左右にロゴや不要な映像が入っているときに真っ黒にしたり、4:3解像度の映像を16:9にするときに pad フィルタを使って左右に余白を追加し、その余白を合わせ鏡のように変えることも出来る。
左右100ピクセルを隣接した色で埋める
ffmpeg -i input -vf fillborders=left=100:right=100 output
ffplay -i input -vf fillborders=100:100
上下100ピクセルを白枠に変える
ffmpeg -i input -vf fillborders=top=100:bottom=100:mode=fixed:color=white output
ffplay -i input -vf fillborders=0:0:100:100:2:white
公式ドキュメント：FFmpeg Filters Documentation : fillborders
指定色でのモノトーンを作ったり、レンジを広げて見栄えをよくするnormalize フィルタの使い方。
フルダイナミックレンジに伸張し、平準化はしない、フリッカー(ちらつき)は映像によっては発生する
ffmpeg -i input -vf normalize=blackpt=black:whitept=white:smoothing=0:independence=1:strength=1
ffplay -i input -vf normalize=blackpt=black:whitept=white:smoothing=0:independence=1:strength=1
上と同じだが、50フレーム平準化する
ffmpeg -i input -vf normalize=blackpt=black:whitept=white:smoothing=50:independence=1:strength=1
上と同じだが、色相を保持する
ffmpeg -i input -vf normalize=blackpt=black:whitept=white:smoothing=50:independence=0:strength=1
上と同じだが、強度を半分にする
ffmpeg -i input -vf normalize=blackpt=black:whitept=white:smoothing=50:independence=0:strength=0.5
オリジナルと上の4つのコマンドを左上から160×720に crop して左から順番に並べる
ffplay -i input -vf crop=160:720:0:0,split=5[1][2][3][4],normalize=blackpt=black:whitept=white:smoothing=0:independence=1:strength=1[1a];[2]normalize=blackpt=black:whitept=white:smoothing=50:independence=1:strength=1[2b];[3]normalize=blackpt=black:whitept=white:smoothing=50:independence=0:strength=1[3c];[4]normalize=blackpt=black:whitept=white:smoothing=50:independence=0:strength=0.5,[1][1a][2b][3c]hstack=5
明暗を反転させる
ffplay -i input -vf normalize=blackpt=white:whitept=black
暗いところは赤に、明るいところはシアンにマップする
ffplay -i input -vf normalize=blackpt=red:whitept=cyan
公式ドキュメント：FFmpeg Filters Documentation : normalize
ffmpeg 3.5 から追加予定のエンコーダ。AMF(Advanced Media Framework) SDK を使ったAMD の VCE(Video Coding Engine) を ffmpeg で使う方法。
関連記事
ffmpeg に nvenc(cuda) をインストールする
qsv 対応の ffmpeg をつくる
hardware acceleration の Wiki：HWAccelIntro – FFmpeg
--disable-amf をつける。
ffmpeg -i input -vcodec h264_amf -acodec copy output.mp4
ffmpeg -i input -vcodec hevc_amf -acodec copy output.mkv
公式ドキュメント PDF：AMF_Video_Encode_API
ffmpeg -h encoder=h264_amf
公式ドキュメント PDF：AMF_Video_Encode_HEVC_API
ffmpeg -h encoder=hevc_amf
一つのバイナリで 8, 10 ビット深度の両方に対応した。それに伴って ffmpeg も両方エンコードが出来るようになった。ただし古い ffmpeg を利用するとエラーが出るので master を利用する。
対応コミット
git.videolan.org Git – x264.git/commitdiff : Unify 8-bit and 10-bit CLI and libraries
git.videolan.org Git – ffmpeg.git/commitdiff : x264: Support version 153
ｘ264 のビルドにはオプション指定しなくても複数のビット深度に対応している。
ソースコード配布先
x264, the best H.264/AVC encoder – VideoLAN
git clone git://git.videolan.org/x264.git
x264 の出力方法はオプションに --output-dept 10 を追加する。追加しなければ 8bit深度になる。
ffmpeg の出力方法は yuv420p ならば出力オプションに -pix_fmt yuv420p10le を追加する。追加しなければ 8bit深度になる。
10bit HDR素材のエンコード例
ffmpeg -i input -vcodec libx264 -x264-params "range=tv:colorprim=bt2020:transfer=smpte2084:colormatrix=bt2020nc" -acodec copy -pix_fmt yuv420p10le output.mp4
既定値のオプションの違いは qpmax が 8bit なら 69 なのが、10bit なら 81 になる。
x264 core 155 r2893 b00bcaf より
8bit
cabac=1 / ref=3 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=7 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=1 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=6 / lookahead_threads=1 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=2 / b_adapt=1 / b_bias=0 / direct=1 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=25 / scenecut=40 / intra_refresh=0 / rc_lookahead=40 / rc=crf / mbtree=1 / crf=23.0 / qcomp=0.60 / qpmin=0 / qpmax=69 / qpstep=4 / ip_ratio=1.40 / aq=1:1.00
10bit
cabac=1 / ref=3 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=7 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=1 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=6 / lookahead_threads=1 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=2 / b_adapt=1 / b_bias=0 / direct=1 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=25 / scenecut=40 / intra_refresh=0 / rc_lookahead=40 / rc=crf / mbtree=1 / crf=23.0 / qcomp=0.60 / qpmin=0 / qpmax=81 / qpstep=4 / ip_ratio=1.40 / aq=1:1.00
x264 と ffmpeg の libx264 との対応は以下を参照
ass の字幕ファイルを動画に焼き付ける(ハードサブ) ass フィルタの使い方。似たフィルタに subtitles フィルタがあるが、ass フィルタは単純に ass ファイルを動画に焼き付けるだけの簡易なフィルタである。このフィルタを使うには –enable-libass が必要である。
input.ass ファイルを表示する
ffmpeg -i input -vf ass=input.ass output
ffplay -i input -vf ass=input.ass
ass ファイルのパス指定の例。詳しくは パス指定とエスケープ を参照
ffmpeg -i input -vf ass='E\:/input.ass' output
ffplay -i input -vf ass='E\:/input.ass'
字幕ファイルのエンコードは –enable-libass がなくてもできる
ffmpeg -i input.srt output.ass
字幕のフォント指定は ass の字幕ファイルを編集する
「MS UI Gothic」から「メイリオ ボールド」に変更
[V4+ Styles] Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding Style: Default,メイリオ ボールド,90,&H00FFFFFF,&H000000FF,&H00000000,&H00000000,0,0,0,0,100,100,15,0,1,2,2,1,10,10,10,0 Style: Box,メイリオ ボールド,90,&HFFFFFFFF,&H000000FF,&H00FFFFFF,&H00FFFFFF,0,0,0,0,100,100,0,0,1,2,2,2,10,10,10,0 Style: Rubi,メイリオ ボールド,50,&H00FFFFFF,&H000000FF,&H00000000,&H00000000,0,0,0,0,100,100,0,0,1,2,2,1,10,10,10,0 //
字幕ファイルを動画に焼き付ける(ハードサブ) subtitles フィルタの使い方。似たフィルタに ass フィルタがあるが、subtitles フィルタはass フィルタよりも複雑な設定ができる。このフィルタを使うには –enable-libass と libavcodec, libavformat が必要である。
input.ass ファイルを表示する
ffmpeg -i input -vf subtitles=input.ass output
ffplay -i input -vf subtitles=input.ass
公式ドキュメント：FFmpeg Filters Documentation : subtitles
alpha を使えば字幕以外がすべて透過するのでは無くて、予め映像自体を透過させておかないと字幕以外が透過しない。color ソースでのサンプル。開始6秒の時点で字幕が表示されていれば背景が透過して字幕が普通に表示される。
ffmpeg -ss 6 -f lavfi -i "color=color=white@0.0:size=800x600,format=rgba,subtitles=input.ass:alpha=1" -frames:v 1 output.png
普通の動画で映像を透過させるには映像をアルファチャンネル付きで読み込む必要があり、さらにアルファチャンネルの値を lutrgb フィルタで小さくするほど透過する。
ffmpeg -ss 6 -f lavfi -i "movie=input.mp4:sp=6,format=rgba,lutrgb=val:val:val:0,subtitles=input.ass:alpha=1" -frames:v 1 output.png
複数の字幕が含まれるファイルを subtitles フィルタで読み込んだときにどれを表示するかを指定する。sub.mkv に含まれる1番目の字幕を表示する。2番目の字幕なら 1 を指定する。
ffmpeg -i input -vf "subtitles=sub.mkv:stream_index=0" output
具体的な指定の意味は ASS 仕組みと書き方 : geocities.co.jp/bancodesrt を参照。
指定例。KEY=VALUE で指定し、,(カンマ) でつなげる。Name 指定が出来ないので一括書き換えができない。
ffplay -i input -vf "subtitles=input.ass:'force_style=FontName=しねきゃぷしょん,Fontsize=64,OutlineColour=&H8000ff00,Outline=3,Shadow=3'"
ffplay で複数ファイルを読み込んだり、ffprobe でフィルタを当てた後のデータを調べるときに使う movie, amovie 入力の設定内容。名前の通り映像と音声なので字幕は読み込めない。
映像だけ読み込む
ffplay -f lavfi -i movie=input.mp4
音声だけ読み込む
ffplay -f lavfi -i amovie=input.mp4
映像と音声を読み込む
ffplay -f lavfi -i movie=input.mp4[out0];amovie=input.mp4[out1]
ffplay -f lavfi -i movie=input.mp4:s=0+1[out0][out1]
開始20秒から読み込む
ffplay -f lavfi -i movie=input.mp4:sp=20,setpts=PTS-STARTPTS[out0];amovie=input.mp4:sp=20,asetpts=PTS-STARTPTS[out1]
ffplay -f lavfi -i movie=input.mp4:sp=20:s=0+1[out0][out1];[out0]setpts=PTS-STARTPTS[out0];[out1]asetpts=PTS-STARTPTS[out1]
10秒の映像を10回ループする
ffplay -f lavfi -i movie=input.mp4:loop=10:discontinuity=10
さらに音声も合わせる。streams は loop をサポートしてない
ffplay -f lavfi -i movie=input.mp4:loop=10:discontinuity=10[out0];amovie=input.mp4:loop=10:discontinuity=10[out1]
video4linux2 デバイスを読み込む
ffplay -f lavfi -i movie=/dev/video0:f=video4linux2,setpts=PTS-STARTPTS
公式ドキュメント：FFmpeg Filters Documentation : Multimedia Sources
setpts フィルタを使う2色のグラデーションにするには normalize フィルタを使えばよいが、2色だけ、3色だけにするには lutyuv, lutrgb フィルタを使いこなすことで作ることが出来る。イメージとしては「ブラタモリ」のオープニングで見られる効果に似ている。
Y 輝度信号(輝度) が125 以下は 16、126 以上は 235 に変換し、UV 彩度信号は128の白黒に変換する。
ffplay -i input -vf lutyuv='(between(val,126,255)*219)+16':128:128,format=gray
RGB が125 以下は 0、126 以上は 255 の白黒に変換する。
ffplay -i input -vf format=rgb24,colorchannelmixer=.3:.59:.11:0:.3:.59:.11:0:.3:.59:.11:0,lutrgb='between(val,126,255)*255:between(val,126,255)*255:between(val,126,255)*255',format=gray
Y 輝度信号(輝度) が120 以下は 16、121 以上 155 以下は 128、156 以上は 235 に変換し、UV 彩度信号は128の白グレー黒に変換する。
ffplay -i input -vf lutyuv='st(0,gt(val,120)+gt(val,155));eq(ld(0),0)*16+eq(ld(0),1)*128+eq(ld(0),2)*235':128:128,format=gray
RGB が121 以下は 0、122 以上 155 以下は 128、156 以上は 255 の白グレー黒に変換する。
ffplay -i input -vf format=rgb24,colorchannelmixer=.3:.59:.11:0:.3:.59:.11:0:.3:.59:.11:0,lutrgb='st(0,gt(val,120)+gt(val,155));eq(ld(0),0)*0+eq(ld(0),1)*128+eq(ld(0),2)*255':'st(0,gt(val,120)+gt(val,155));eq(ld(0),0)*0+eq(ld(0),1)*128+eq(ld(0),2)*255:''st(0,gt(val,120)+gt(val,155));eq(ld(0),0)*0+eq(ld(0),1)*128+eq(ld(0),2)*255',format=gray
palettegen, paletteuse フィルタを使う。白グレー黒の4色に変換する。
ffmpeg -i input -filter_complex format=gray,split[v],palettegen=4:0:lime:2[pal],[v][pal]paletteuse=0:0:1 -vframes 1 four_tone_colors.png
使ったフィルタの解説
1つのファイルにフィルタを使い分けたり、コピーしたり複数出力する方法のまとめ。
普通のコマンド。1入力を2度エンコードを行い2出力する。つまり負荷も2倍。
ffmpeg -i input.mp4 -movflags +faststart -vcodec libx264 -acodec copy output1.mp4 -vcodec libvpx-vp9 -acodec libopus output2.webm
1入力で複数コピー出力するコマンド。
ffmpeg -i input.mp4 -movflags +faststart -c copy -movflags +faststart output1.mp4 -c copy output2.mp4
ffmpeg -i input.mp4 -movflags +faststart -c copy -f tee -map 0:v -map 0:a "output1.mp4|output2.mp4"
さらにフィルタを挟むことも可能。
ffmpeg -i input.mp4 -filter_complex scale=640x360 -movflags +faststart -f tee -map 0:v -map 0:a -vcodec libx264 -acodec copy "output1.mp4|output2.mp4"
出力先がローカルではなく配信先も可能。
ffmpeg -i input.mp4 -vsync passthrough -frame_drop_threshold 4 -map 0:v -map 0:a -flags +global_header -movflags +faststart -vcodec libx264 -acodec aac -f tee "[f=flv:onfail=ignore]rtmp://hogehoeg|[f=flv:onfail=ignore]rtmp://piyopiyo|D:\output.flv"
複数解像度で配信して動画も保存するコマンド。
ffmpeg -i input.mp4 -vsync passthrough -frame_drop_threshold 4 -filter_complex split[1],scale=1280x720[720p];[1]scale=1920x1080[1080p] -map [720p] -map 0:a -flags +global_header -vcodec libx264 -acodec aac -f tee "[f=flv:onfail=ignore]rtmp://hogehoge|D:\output-720p.flv" -map [1080p] -map 0:a -flags +global_header -vcodec libx264 -acodec aac -f tee "[f=flv:onfail=ignore]rtmp://piyopiyo|D:\output-1080p.flv"
一度に複数解像度にエンコードするコマンド。
ffmpeg -i input.mp4 -filter_complex split=3[0][1],scale=1920x1080[1080p];[0]scale=1280x720[720p];[1]scale=640x360[360p] -map [1080p] -map 0:a -movflags +faststart -vcodec libx264 -acodec aac output-1080p.mp4 -map [720p] -map 0:a -movflags +faststart -vcodec libx264 -acodec aac output-720p.mp4 -map [360p] -map 0:a -movflags +faststart -vcodec libx264 -acodec aac output-360p.mp4
ネットラジオなどリアルタイム配信している動画をコピー出力と1.5倍速出力を同時に行うコマンド。
ffmpeg -i "http://hogehoge" -c copy -bsf:a aac_adtstoasc output.mp4 -vf "setpts=2*PTS/3" -af "atempo=1.5" -vcodec libx264 -acodec aac output-x1.5.mp4
さらに VOD RTMP 配信の場合はバッファを増やさないと保存が遅くなる。
ffmpeg -rtmp_buffer 36000000 -i "rtmp://hogehoge" -c copy output.flv -vf "setpts=2*PTS/3" -af "atempo=1.5" -vcodec libx264 -acodec aac output-x1.5.flv
関連記事
TED のプレゼンテーション動画をブラウザやアプリで見るときに字幕が選択できるが、これを ffmpeg で PC に保存し動画に合わせる方法。わざわざ字幕付き動画は公式から普通に保存できるが2言語の字幕付きの動画に変換する方法も併せて紹介する。
動画の保存方法は PC からは再生ページのプレイヤ右下の「Share」から動画、音声、字幕を焼き付けた(ハードサブ)動画が選択できる。字幕の保存方法は簡単な方法はないが、まずブラウザでソースコードを表示して「ted://talks/」の次に書いてある数字を控えておき字幕用のアドレスに記入する。プレイヤに日本語字幕が選択できなければもちろん保存は出来ない。昔は動画リンクから字幕IDは調べられたが調べられなくなっている。
日本語字幕用のアドレス(1234 の部分に上で調べた数値を記入)。英語の場合は末尾が eng。
https://www.ted.com/talks/subtitles/id/1234/lang/jpn
そのほかの言語については以下を参照。
Get subtitle for TED video
字幕をブラウザから保存すると、json 形式になりこれでは動画プレイヤで扱えないので ffmpeg で変換する。
ffmpeg で字幕を扱いやすい .srt に変換し保存する。
ffmpeg -i https://www.ted.com/talks/subtitles/id/1234/lang/jpn output.srt
ネット越しではなくて PC に json を保存しても変換できる。
ffmpeg -i ted.json output.srt
公式ドキュメント：FFmpeg Formats Documentation : tedcaptions
複数字幕を同時に表示するには複数の字幕を1つに合わせる。方法として手動でコピペする方法と「cat」コマンドで連結する方法がある。この場合は元データの json ではなく字幕形式に予め変換しておく。以下のコマンド例は2つの字幕を1つにする。
cat jp.srt en.srt > jp-en.srt
動画に合わせるには映像と音声をコピーし、字幕もコピーする。字幕ファイルは .mkv の方が扱いやすい。
ffmpeg -i input.mp4 -i jp-en.srt -map 0 -map 1 -c copy -c:s copy output.mkv
.mp4 なら字幕コーデックを mov_text にする。ただしこれだと複数字幕を一つにしたときに字幕が複数段に表示されないので複数字幕の表示には非推奨。
ffmpeg -i input.mp4 -i jp-en.srt -map 0 -map 1 -c copy -c:s mov_text output.mp4
関連記事
ass の字幕ファイルを動画に焼き付ける ass
字幕ファイルを動画に焼き付ける subtitles
【ffmpeg】 マルチトラックの動画の作り方
白くなるところが真っ白になってなかったり、黒になるところが真っ黒のになってないところを ffmpeg で補正する。方法はコントラストを上げて白はより白く、黒はより黒くする。今回は白黒ページの色補正だけでリサイズ(解像度を変える)、クロップ(指定範囲で切り取る)、デノイズは行わない。
自炊したときに .jpg(.png, .bmp でも可能) で出力したときに使える方法であり、.pdf は ffmpeg では扱えない。一般的に Photoshop や GIMP を使う方法がよく紹介されているが、これらは一度 RGB にデコードして再度 .jpg 出力するときに YUV に変換するので処理が遅くなりがちであるが、以下の方法は RGB 変換を挟まないので処理が早い。
最近のマンガのコマンド例。真っ白と真っ黒以外に色が多い場合。
ffplay -i input -vf eq=contrast=1.5,lutyuv='st(0,gt(val,64)+gt(val,230));eq(ld(0),0)*0+eq(ld(0),1)*val+eq(ld(0),2)*255':128:128
ffmpeg -i input -vf eq=contrast=1.5,lutyuv='st(0,gt(val,64)+gt(val,230));eq(ld(0),0)*0+eq(ld(0),1)*val+eq(ld(0),2)*255':128:128,format=yuvj420p output.jpg
昔のマンガのコマンド例。白と黒だけ。他の色がある場合は色飛びする。
ffplay -i input -vf eq=contrast=2,lutyuv=val:128:128
ffmpeg -i input -vf eq=contrast=2,lutyuv=val:128:128,format=yuvj420p output.jpg
RGB画像(.png, .bmp)の場合。先に colorchannelmixer フィルタでグレーに色を変換する。
ffplay -i input -vf colorchannelmixer=.3:.59:.11:0:.3:.59:.11:0:.3:.59:.11:0,format=yuvj420p,eq=contrast=1.5,lutyuv='st(0,gt(val,64)+gt(val,230));eq(ld(0),0)*0+eq(ld(0),1)*val+eq(ld(0),2)*255':128:128
ffmpeg -i input -vf colorchannelmixer=.3:.59:.11:0:.3:.59:.11:0:.3:.59:.11:0,format=yuvj420p,eq=contrast=1.5,lutyuv='st(0,gt(val,64)+gt(val,230));eq(ld(0),0)*0+eq(ld(0),1)*val+eq(ld(0),2)*255':128:128 output.jpg
画像をD&Dするバッチファイル(ffmpeg のパス指定を各自書き換える)
何も指定しなければ最適な品質指定で変換される。個別に指定する場合には -qscale:v [num] で 2 から 31 までの数値を指定する。小さい値ほど高画質・低圧縮・大容量で何も指定しなければ frame= 1 fps=0.0 q=17.2 Lsize=N/A time=00:00:00.04 bitrate=N/A speed=0.321x のようにコンソールに表示され、q=17.2 の部分が qscale:v で指定した値になる。
ffmpeg -i input -vf eq=contrast=1.5,lutyuv='st(0,gt(val,64)+gt(val,230));eq(ld(0),0)*0+eq(ld(0),1)*val+eq(ld(0),2)*255':128:128,format=yuvj420p -qscale:v 15 output.jpg
eq フィルタでコントラストを上げる、contrast=2 だと白黒だけになるので適宜調整する。lutyuv フィルタの ‘st(0,gt(val,64)+gt(val,230));eq(ld(0),0)*0+eq(ld(0),1)*val+eq(ld(0),2)*255’:128:128 は Y 輝度信号が 64 以下は 0 にして、65 以上 230 以下はそのままの値にし、231 以上は 255 に変換する。後ろ2つの 128:128 は UV 青色と赤色成分の差分信号を 128 に変換する。format=yuvj420p でフルレンジ .jpg に指定する。色が少なければコントラスト上げるだけでよいが、色が多いとコントラストを上げすぎると色が飛ぶのでコントラストを上げすぎない。圧縮率を高くするには黒と白の部分の値がどの値になるか eq フィルタの後に oscilloscope フィルタで調べてから lutyuv フィルタの下限と上限を指定して 0 と 255 に変換する。
ffplay -i input -vf oscilloscope
ffplay -i input -vf eq=contrast=1.5,format=yuvj420p,oscilloscope
ffplay -i input -vf eq=contrast=1.5,lutyuv='st(0,gt(val,64)+gt(val,230));eq(ld(0),0)*0+eq(ld(0),1)*val+eq(ld(0),2)*255':128:128,format=yuvj420p,oscilloscope
使ったフィルタなどの説明
使わなかったフィルタで関係するフィルタの説明