技術概要/
Versatile Video Coding: VVC
8K放送やストリーミングなどの用途について、HEVCよりもさらにビットレートを下げるように設計されています。SpinDigitalにより独自実装されたVVCデコーダーとメディアプレーヤーについて、その詳細をご説明いたします。
VVC 標準規格
H.266あるいは、VVC（Versatile Video Coding）と呼ばれる新世代の符号化規格は、ISOとITUビデオ専門家グループを統合した JVET（Joint Video Experts Team）チームにより、2020年7月に完成しました。
この新規格には、前身のH.265/HEVCよりも多くのコーディングツールが含まれているため、圧縮効率は向上していますが、同時に複雑な演算を必要とします。結果として、VVCは同じ映像品質でHEVC比最大50％のビットレート削減を実現します。
VVCは、HEVCと同等の映像品質においてビットレートを50％削減することを目標とした、最先端の映像符号化技術です。
VVCでサポートされている主要なコーディングツールには、次のものがあります:
- CTU（Coding Tree Unit）の最大サイズを、HEVCの64×64サンプルから128×128サンプルへ拡張
- CTU分割の4分割と、それに続く3分割および2分割によるより柔軟なCTU分割（下図参照）
- 93 のAngular 予測 (HEVC の約3倍)、Planar予測、DC予測、MIPと8つの新規ツール
- 拡張されたモーションベクター予測とマージモード、および非トランスレーショナルなモーション表現（回転、スケーリングなど）、双方向オプティカルフローなどを含むHEVCと比べて7つ多いintel モード
- DCT最大変換サイズについてのHEVCにおける32×32サンプルから64×64ピクセル（非二乗変換を含む）への拡張による、なだらかな領域の残差に対する効率的エネルギー圧縮
- 強化された4段階のループ内フィルタリング：クロマスケーリングを伴うルママッピング、デブロッキングフィルタ、SAO（Sample Adaptive Offset）、ALF（Adaptive Loop Filter)
- 複数仮説確率推定を使用した高度なコンテキストベースの適応バイナリ算術符号化（CABAC）
VVCは、従来の符号化規格に比べてビットレートを節約できるだけでなく、さまざまな映像の特性に対してより効率的な映像符号化ができるように設計されています：
- 8K 及びそれ以上: 非常に高い解像度の動画について、より柔軟なブロック分割とより大きなブロックサイズ（最大128×128サンプル）による効率的な動画圧縮
- HDR 動画: VVCは、デブロッキングフィルターの強化と、ルママッピングと呼ばれる新しいループ内フィルタの採用による、HDRビデオ圧縮効率の大幅な向上
- プロフェッショナルカラーフォーマット: VVC標準の最初のバージョンから既に含まれている、4:2:2, 4:4:4, および RGB といったプロフェッショナルカラーフォーマット対応
- Screen Content Coding (SCC): 画面共有やゲームストリーミングなどの用途で一般的なSCCコンテンツについて、HEVC でのSCCエクステンションと比較してより強化された、あるいは簡略化された特別なツールを利用可能
- 360°動画: 全方位映像に対して、映像が3D球体からの2D投影で構成されていることにより生じる2D映像の左右境界線の間の冗長性を利用することにより、より高い圧縮率を実現可能
また、VVCエンコーダは実際の、そして次世代の利用用途に対応する実用的な機能を備えています:
- マルチレイヤー符号化: 空間および画質のスケーラビリティとマルチビューコーディングのためのコーディングフレームワークは、従来の規格に比べて簡素化され、HEVCの場合のように後から拡張するのではなく最初の標準規格バージョンから含まれています
- 超低遅延ストリーミング: VVCでは、周期的イントラリフレッシュと呼ばれる機能により、任意の inter-coded frame 地点からビットストリームのデコードを開始することができ、高ビットレートのスパイクの原因となるintra-coded frame の使用を防ぐことができます
- 動的適応ストリーミング: この規格では、ストリーム内の動画解像度を変更し、デコードされる画像解像度とは異なる解像度のリファレンス画像を使用できます
- 部分デコード: サブピクチャと呼ばれる新機能により、画像中のさまざまな異なる長方形の領域を、表示領域依存の360度動画ストリーミングあるいは注目領域（ROI）アプリケーション用に、独立して符号化することができます
HEVCと同様に、VVC規格でもマルチコアアーキテクチャでの並列処理のためのWavefronts（またはWPP）とタイル形式に対応していますが、これらについても高レベルシンタックスの簡素化に向けた最適化が行われています。
VVC コーディングツール
次の表では、VVC(H.266), HEVC(H.265), AVC(H.264)についての、コーディングツール、機能、拡張機能、実用途など、さまざまな観点からの比較を示しています。
| AVC/H.264 | HEVC/H.265 | VVC/H.266 | ||
|---|---|---|---|---|
| 分割 | Quadtree (QT) | Quadtree plus Multi-type Tree (QT+MTT) | ||
| コーディングツール | 最大ブロックサイズ | 16x16 | 64x64 | 128x128 |
| 最小予測単位 | 8x8, 4x4 | Inter 8x4, Inter 4x8, Intra 4x4 | 4x4 | |
| 分割ユニットサイズ | 8x8, 4x4 | 32x32 down to 4x4 | 64x64 down to 4x4, non-squared transforms | |
| イントラ予測 | 10 Intra modes | 35 Intra modes | 100 Intra modes: 96 angular modes, DC, planar, matrix-based (MIP) | |
| インター予測 | Quarter pel MV precision, up to 16 reference frames | Quarter pel MV precision, 8-tap filter, advanced motion vector prediction (AMVP), up to 16 reference frames | 1/16 MV precision, 8-tap filter, improved AMVP and merge modes, 12 more Inter modes, non-translational motion modeling | |
| ループ内フィルタ | Deblocking | Deblocking improved, SAO | Luma mapping, deblocking improved, SAO, ALF | |
| エントロピー符号化 | CAVLC, CABAC | CABAC enhanced | CABAC enhanced | |
| 画像分割と並列処理 | Slices, FMO, ASO | Slices, tiles, WPP | Slices, tiles, WPP, sub-pictures | |
| スケーラビリティ | In SVC Extension | In SHVC Extension | Temporal, spatial, and quality in version 1 | |
| Screen Content Coding (SCC) | n.a. | In SCC Extension | Transform skip residual coding (TSRC), block-based differential pulse-code modulation (BDPCM), intra block copy (IBC), adaptive color transform (ACT), palette mode | |
| 360°映像符号化 | n.a. | Limited support in extensions | 360-degree coding in version1 | |
| プロフェッショナルカラーフォーマット | In Range Extensions: 4:2:2, 4:4:4, up to 16-bit | In Range Extensions: 4:2:2, 4:4:4, up to 16-bit | 4:2:0, 4:2:2, 4:4:4, 10-bit in version 1 | |
| マルチビューと3D 符号化 | Multiview Extension | Multiview and 3D Extensions | Multiview in version 1 | |
| 実用途 | HD TV, Blu-ray, Internet video | UHD TV, 4K Blu-ray, 8K ライブストリーミング, VR, 没入型投影, ゲームストリーミング, リモートデスクトップ, 低遅延ビデオ会議 | 次世代型用途: 8K HDR 放送, 適応型超低遅延ストリーミング, SCC ストリーミング, VR および 没入型メディア | |
VVC の圧縮効率性
VVC圧縮効率は客観的, 主観的, 両面から分析され、HEVCやその他の映像符号化規格と比較されています。
下の表は，VVC，AV1，EVCのリファレンス実装について，その圧縮効率と符号化演算の複雑さの観点からHEVCと比較した結果です。圧縮効率の求め方としては、HEVCリファレンスエンコーダに対する各テストエンコーダの同一品質（PSNRに基づく）条件での平均ビットレート削減量として算出したものになります。なお本分析では，4K（UHD）放送シナリオを想定しています。
結果として、VVCはHEVC、AV1、EVCを含む他のすべての符号化規格よりも高い圧縮効率を達成しました。また、VVCは最も高い演算量を示し、VVCリファレンスエンコーダ（VTM）は、HEVCのリファレンスエンコーダ（HM）の8倍の計算量を必要とします。なお、これらの実験は規格の性能を実証するために開発された各リファレンスエンコーダを用いて行われたものであり，実際の映像符号化アプリケーション用に最適化されたものでの比較で無いことに留意する必要があります。
| VVC | AV1 | EVC | HEVC | |
|---|---|---|---|---|
| HEVCと同等のPSNRで比較したビットレート削減 | 39.6% | 19.5% | 27.3% | 0.0% |
| 符号化複雑度 | 8.3x | 3.1x | 2.9x | 1.0x |
Spin Digital VVC ライブエンコーダ
Spin Digital はUHD（4K および 8K）ライブストリーミングおよび放送のためのVVCリアルタイムソフトウェアエンコーダを開発いたしました。VVCライブエンコーダの最初のバージョンにおいてはSpin Digital製 HEVCライブエンコーダと比較し同等クオリティ条件のもとで4K解像度では18.0％のビットレート削減を、8K解像度のもとでは25.8％のビットレート削減を達成いたしました。
ライブエンコーダは4Kおよび8K映像に必要な性能と圧縮レベルを達成するために、最新世代のCPUアーキテクチャに幅広く最適化されており、その中には高度なコーディングツール決定アルゴリズム、SIMD処理、メモリ最適化、マルチレベル並列化アプローチなどが含まれています。
これらの最適化の結果として、VVCエンコーダは4Kp60 および8Kp30のHDR 10-bit 映像を最先端のデュアルソケットCPUシングルサーバー上でリアルタイムに圧縮することが可能です。
VVCエンコーダの圧縮効率や詳細なパフォーマンス情報についてはこちらの whitepaper もご参照ください。
4Kおよび8K VVC デモ
2022年9月15日 － 18日アムステルダムで開催されたIBC 2022 においてVVCライブエンコーダを展示いたしました。このときのデモでは、4K8K 10bit HDRのライブエンコード、ストリーミング、再生のワークフローを紹介いたしました。デモの様子はこちらからご覧いただけます。
Spin Digital VVC デコーダ および メディアプレーヤー
Spin Digitalは、リアルタイムVVCソフトウェアデコーダを開発し、超高精細(7680×4320ピクセル)、ハイダイナミックレンジ(HDR10、HLG)、広色域(BT.2020)、ハイフレームレート(最大120フレーム/秒)を含むフルスペック8Kフォーマットに対応するメディアプレーヤー(Spin Player VVC)に統合しました。
VVCの主要な機能といたしましては以下:
- Main10およびMultilayer Main10 プロファイル対応
- 最新世代のCPUを使用することで8K VVC 動画を60Hzおよび120Hzリアルタイムで処理できる、高度に最適化されたCPUベースのVVCデコーダ
- HDMI 2.1（GPU）およびSDI出力インターフェイスを備え、8K出力にも最適な高度なレンダリングエンジン
8K VVC デモンストレーション
Spin Digital と Fraunhofer HHI はVersatile Video Coding（VVC）標準規格を使用した、8KHDRの動画符号化とその再生についてのデモンストレーションを発表しました。このデモンストレーションについての詳細は こちら。
VVC スケーラビリティ用メディアプレーヤ
VVCはスケーラビリティ、すなわち複数レイヤーに基づいた符号化で、その各レイヤーが同一の動画において異なる解像度や画質を表す、という動画符号化手法に対応しています。SpinDigital VVCデコーダとプレーヤは、スケーラブルなストリームであってもリアルタイムに処理できる性能をもっており、ユーザー側で表示するレイヤーを選択することが可能となります。
弊社でのテストとして、このVVCプレーヤーを用い、フルHD(1920×1080ピクセル)・4K(3840×2160ピクセル)・8K(7680×4320ピクセル) 3つの空間レイヤーを含むスケーラブルな60fps VVCストリームでの検証を行いました。
参照
- Bross B., Chen J., Ohm J. R., Sullivan G. J., and Wang Y-K., Development in International Video Coding Standardization After AVC, With an Overview of Versatile Video Coding (VVC), Proceedings of the IEEE, pp. 1-31, 2021.
- Dan Grois et al. Performance Comparison of Emerging EVC and VVC Video Coding Standards with HEVC and AV1. SMPTE Motion Imaging Journal. May 2021.
- T. Nguyen et al. Overview of the Screen Content Support in VVC: Applications, Coding Tools, and Performance. IEEE Transactions on Circuits and Systems for Video Technology, vol. 31, no. 10, pp. 3801-3817, Oct. 2021, doi: 10.1109/TCSVT.2021.3074312.