2021年も間もなく終わりを迎えますが、アニメのAIアプコン/超解像技術はどこまで進化したのか。何かのご参考になれば幸いです。



640x360の静止画を様々な超解像技術を使って4K化されたサンプルを使用。いくつかはAnime4K作者様が用意したサンプルもあります。

【超解像/AIアプコン】
・Bicubic
・FSRCNNX
・Waifu2x
・Real-ESRGAN
・Anime4K-GAN
・NGU-Sharp(madVR)

360pを等倍で見た感じはサイズは小さいですが、当然ボケ感はなく抜けは良いですよね。この見た感じを維持したまま4Kに引き伸ばしても同レベルで見えるかが、各アルゴリズムの腕の見せ所となります。

FSRCNNX/Waifu2x/NGU-Sharpは作品の持つ淡い色彩もしっかり再現できてると思います。GAN（敵対的生成ネットワーク）系のReal-ESRGAN/Anime4K-GANはクッキリして一見よく見えるのですが、淡い柔らかな画風が消えてますよね。

Anime4K-GANのフェンス模様は違うものに書き換えられてますし、巷でスゴイと話題になったReal-ESRGANに至ってはフェンス消えてしまってます(笑)。その他、色彩から描き込みまでもろもろ違う作風に作り変えてしまい、ちょっとやりすぎ感が否めません。

Anime4K-GANはまだベータ段階ですし、GAN系は全般的にぱっと見はシャキリとしてますが、弊害のほうが今のところ多い画づくりですので、今後に期待したいところ。

画質安定感のあったFSRCNNXとWaifu2xですが、いかんせん処理に時間が掛かりすぎます。実時間の数十倍は余裕でかかるかと思われますので、リアルタイム視聴用途にはまったくもって使えません。【訂正】FSRCNNXはリアルタイム処理できます。

となると残るはNGU-Sharp(madVR)ただ一つということになります。ここ何年も更新が途絶えてますが、2021年末でもこの品質は驚異。NGUはmadVRに何種類もあるスケーリングの内の一つなんですが、madVRはその他にもノイズリダクションやらシャープ系やら多種多様な画質フィルタが用意されていて、それがリアルタイムで処理できるんですよ。ただし、結構なGPU性能は要求されますけど。

色々弄って画質に追い込みかけられますし、外部のAnime4Kと併用もできたりと至れり尽くせり。NGU-Sharpを基準に追い込めば、昨今のAI超解像画質を凌駕することも可能ですので、お試しあれ。

それではこれにて今年の画質収めとさせていただきます(笑)。来年も良いお年を！

【追記：202112/20】
眠くて超ボケボケ画質と評判のゴルゴ13を各AI超解像してみました。サムネをクリックして実寸サイズにてご覧ください。

アマゾンプライムからフルスクリーン
ゴルゴ13-比較アマプラ01

NGU-Sharp + Anime4K(V0.9改)
ゴルゴ13-比較NGU-Sharp-Anime4K01

Anime4K(V4.01)
ゴルゴ13-比較Anime4K01

Real-ESRGAN
ゴルゴ13-比較Real-ESRGAN01


各画像の左側に640ｘ360の縮小版も載せときました。ここまで縮めると制作解像度に近い雰囲気はあるんじゃないでしょうか。それでもフィルムっぽさを演出したかったのかなにやらポストエフェクトかけた霞具合といいますか、仄かにボケ感ありますけど。

この雰囲気を引き伸ばしても似た感じみえるのは皆さんはどれでしょうか？個人的には、Anime4K(V4.01)が一番近い気がします。ここまでボケみの強いソースは、NGU-Sharp + Anime4K(V0.9改)ではキレの良い絵はだせませんでした。

正直、元ソースの雰囲気とか細かな背景が潰れようと、Real-ESRGANくらい突き抜けた処理の方が気持ちよく視聴できる気がします(笑)。

まあリアルタイム視聴に限れば、NGU-Sharp + Anime4K(V0.9改)を基本に、ボケボケすぎるソースはAnime4K(V4.01)って使い分けがよろしいかと。ただ、配信ソースにリアルタイムに掛けるにはNGU-Sharp + Anime4K(V0.9改)くらいしか今のところ選択肢はありませんが。