技術概要/
Versatile Video Coding: VVC

8K放送やストリーミングなどの用途について、HEVCよりもさらにビットレートを下げるように設計されています。SpinDigitalにより独自実装されたVVCデコーダーとメディアプレーヤーについて、その詳細をご説明いたします。

VVC 標準規格

 

 

H.266あるいは、VVC(Versatile Video Coding)と呼ばれる新世代の符号化規格は、ISOとITUビデオ専門家グループを統合した JVET(Joint Video Experts Team)チームにより、2020年7月に完成しました。

この新規格には、前身のH.265/HEVCよりも多くのコーディングツールが含まれているため、圧縮効率は向上していますが、同時に複雑な演算を必要とします。結果として、VVCは同じ映像品質でHEVC比最大50%のビットレート削減を実現します。

 

VVCは、HEVCと同等の映像品質においてビットレートを50%削減することを目標とした、最先端の映像符号化技術です。

 

VVCでサポートされている主要なコーディングツールには、次のものがあります:

 

  • CTU(Coding Tree Unit)の最大サイズを、HEVCの64×64サンプルから128×128サンプルへ拡張

 

  • CTU分割の4分割と、それに続く3分割および2分割によるより柔軟なCTU分割(下図参照)

 

  • 93 のAngular 予測 (HEVC の約3倍)、Planar予測、DC予測、MIPと8つの新規ツール

 

  • 拡張されたモーションベクター予測とマージモード、および非トランスレーショナルなモーション表現(回転、スケーリングなど)、双方向オプティカルフローなどを含むHEVCと比べて7つ多いintel モード

 

  • DCT最大変換サイズについてのHEVCにおける32×32サンプルから64×64ピクセル(非二乗変換を含む)への拡張による、なだらかな領域の残差に対する効率的エネルギー圧縮

 

  • 強化された4段階のループ内フィルタリング:クロマスケーリングを伴うルママッピング、デブロッキングフィルタ、SAO(Sample Adaptive Offset)、ALF(Adaptive Loop Filter)

 

  • 複数仮説確率推定を使用した高度なコンテキストベースの適応バイナリ算術符号化(CABAC)

 

 

VVCは、従来の符号化規格に比べてビットレートを節約できるだけでなく、さまざまな映像の特性に対してより効率的な映像符号化ができるように設計されています:

 

  • 8K 及びそれ以上: 非常に高い解像度の動画について、より柔軟なブロック分割とより大きなブロックサイズ(最大128×128サンプル)による効率的な動画圧縮

 

  • HDR 動画: VVCは、デブロッキングフィルターの強化と、ルママッピングと呼ばれる新しいループ内フィルタの採用による、HDRビデオ圧縮効率の大幅な向上

 

  • プロフェッショナルカラーフォーマット: VVC標準の最初のバージョンから既に含まれている、4:2:2, 4:4:4, および RGB といったプロフェッショナルカラーフォーマット対応

 

  • Screen Content Coding (SCC): 画面共有やゲームストリーミングなどの用途で一般的なSCCコンテンツについて、HEVC でのSCCエクステンションと比較してより強化された、あるいは簡略化された特別なツールを利用可能

 

  • 360°動画: 全方位映像に対して、映像が3D球体からの2D投影で構成されていることにより生じる2D映像の左右境界線の間の冗長性を利用することにより、より高い圧縮率を実現可能

 

また、VVCエンコーダは実際の、そして次世代の利用用途に対応する実用的な機能を備えています:

 

  • マルチレイヤー符号化: 空間および画質のスケーラビリティとマルチビューコーディングのためのコーディングフレームワークは、従来の規格に比べて簡素化され、HEVCの場合のように後から拡張するのではなく最初の標準規格バージョンから含まれています

 

  • 超低遅延ストリーミング: VVCでは、周期的イントラリフレッシュと呼ばれる機能により、任意の inter-coded frame 地点からビットストリームのデコードを開始することができ、高ビットレートのスパイクの原因となるintra-coded frame の使用を防ぐことができます

 

  • 動的適応ストリーミング: この規格では、ストリーム内の動画解像度を変更し、デコードされる画像解像度とは異なる解像度のリファレンス画像を使用できます

 

  • 部分デコード: サブピクチャと呼ばれる新機能により、画像中のさまざまな異なる長方形の領域を、表示領域依存の360度動画ストリーミングあるいは注目領域(ROI)アプリケーション用に、独立して符号化することができます

 

HEVCと同様に、VVC規格でもマルチコアアーキテクチャでの並列処理のためのWavefronts(またはWPP)とタイル形式に対応していますが、これらについても高レベルシンタックスの簡素化に向けた最適化が行われています。

 

 

VVC コーディングツール

 

次の表では、VVC(H.266), HEVC(H.265), AVC(H.264)についての、コーディングツール、機能、拡張機能、実用途など、さまざまな観点からの比較を示しています。

 

AVC/H.264HEVC/H.265VVC/H.266
分割Quadtree (QT)Quadtree plus Multi-type Tree (QT+MTT)
コーディングツール最大ブロックサイズ16x1664x64128x128
最小予測単位8x8, 4x4Inter 8x4, Inter 4x8, Intra 4x44x4
分割ユニットサイズ8x8, 4x432x32 down to 4x464x64 down to 4x4, non-squared transforms
イントラ予測10 Intra modes35 Intra modes100 Intra modes: 96 angular modes, DC, planar, matrix-based (MIP)
インター予測Quarter pel MV precision, up to 16 reference framesQuarter pel MV precision,
8-tap filter, advanced motion vector prediction (AMVP),
up to 16 reference frames
1/16 MV precision, 8-tap filter, improved AMVP and merge modes, 12 more Inter modes, non-translational motion modeling
ループ内フィルタDeblockingDeblocking improved, SAOLuma mapping, deblocking improved, SAO, ALF
エントロピー符号化CAVLC, CABACCABAC enhancedCABAC enhanced
画像分割と並列処理Slices, FMO, ASOSlices, tiles, WPPSlices, tiles, WPP, sub-pictures
スケーラビリティIn SVC ExtensionIn SHVC ExtensionTemporal, spatial, and quality in version 1
Screen Content Coding (SCC)n.a.In SCC ExtensionTransform skip residual coding (TSRC), block-based differential pulse-code modulation (BDPCM), intra block copy (IBC), adaptive color transform (ACT), palette mode
360°映像符号化n.a.Limited support in extensions360-degree coding in version1
プロフェッショナルカラーフォーマットIn Range Extensions: 4:2:2, 4:4:4, up to 16-bitIn Range Extensions: 4:2:2, 4:4:4, up to 16-bit4:2:0, 4:2:2, 4:4:4, 10-bit in version 1
マルチビューと3D 符号化Multiview ExtensionMultiview and 3D ExtensionsMultiview in version 1
実用途HD TV, Blu-ray, Internet videoUHD TV, 4K Blu-ray, 8K ライブストリーミング, VR, 没入型投影, ゲームストリーミング, リモートデスクトップ, 低遅延ビデオ会議次世代型用途: 8K HDR 放送, 適応型超低遅延ストリーミング, SCC ストリーミング, VR および 没入型メディア

 

 

VVC の圧縮効率性

 

VVC圧縮効率は客観的, 主観的, 両面から分析され、HEVCやその他の映像符号化規格と比較されています。

下の表は,VVC,AV1,EVCのリファレンス実装について,その圧縮効率と符号化演算の複雑さの観点からHEVCと比較した結果です。圧縮効率の求め方としては、HEVCリファレンスエンコーダに対する各テストエンコーダの同一品質(PSNRに基づく)条件での平均ビットレート削減量として算出したものになります。なお本分析では,4K(UHD)放送シナリオを想定しています。

結果として、VVCはHEVC、AV1、EVCを含む他のすべての符号化規格よりも高い圧縮効率を達成しました。また、VVCは最も高い演算量を示し、VVCリファレンスエンコーダ(VTM)は、HEVCのリファレンスエンコーダ(HM)の8倍の計算量を必要とします。なお、これらの実験は規格の性能を実証するために開発された各リファレンスエンコーダを用いて行われたものであり,実際の映像符号化アプリケーション用に最適化されたものでの比較で無いことに留意する必要があります。

 

VVCAV1EVCHEVC
HEVCと同等のPSNRで比較したビットレート削減39.6%19.5%27.3%0.0%
符号化複雑度8.3x3.1x2.9x1.0x

 

 

Spin Digital VVC ライブエンコーダ

 

Spin Digital はUHD(4K および 8K)ライブストリーミングおよび放送のためのVVCリアルタイムソフトウェアエンコーダを開発いたしました。VVCライブエンコーダの最初のバージョンにおいてはSpin Digital製 HEVCライブエンコーダと比較し同等クオリティ条件のもとで4K解像度では18.0%のビットレート削減を、8K解像度のもとでは25.8%のビットレート削減を達成いたしました。

 

ライブエンコーダは4Kおよび8K映像に必要な性能と圧縮レベルを達成するために、最新世代のCPUアーキテクチャに幅広く最適化されており、その中には高度なコーディングツール決定アルゴリズム、SIMD処理、メモリ最適化、マルチレベル並列化アプローチなどが含まれています。

これらの最適化の結果として、VVCエンコーダは4Kp60 および8Kp30のHDR 10-bit 映像を最先端のデュアルソケットCPUシングルサーバー上でリアルタイムに圧縮することが可能です。

VVCエンコーダの圧縮効率や詳細なパフォーマンス情報についてはこちらの whitepaper もご参照ください。

 

4Kおよび8K VVC デモ

2022年9月15日 - 18日アムステルダムで開催されたIBC 2022 においてVVCライブエンコーダを展示いたしました。このときのデモでは、4K8K 10bit HDRのライブエンコード、ストリーミング、再生のワークフローを紹介いたしました。デモの様子はこちらからご覧いただけます。

 

Spin Digital VVC デコーダ および メディアプレーヤー

 

Spin Digitalは、リアルタイムVVCソフトウェアデコーダを開発し、超高精細(7680×4320ピクセル)、ハイダイナミックレンジ(HDR10、HLG)、広色域(BT.2020)、ハイフレームレート(最大120フレーム/秒)を含むフルスペック8Kフォーマットに対応するメディアプレーヤー(Spin Player VVC)に統合しました。

 

VVCの主要な機能といたしましては以下:

 

  • Main10およびMultilayer Main10 プロファイル対応

 

  • 最新世代のCPUを使用することで8K VVC 動画を60Hzおよび120Hzリアルタイムで処理できる、高度に最適化されたCPUベースのVVCデコーダ

 

  • HDMI 2.1(GPU)およびSDI出力インターフェイスを備え、8K出力にも最適な高度なレンダリングエンジン

 

8K VVC デモンストレーション

Spin Digital と Fraunhofer HHI はVersatile Video Coding(VVC)標準規格を使用した、8KHDRの動画符号化とその再生についてのデモンストレーションを発表しました。このデモンストレーションについての詳細は こちら

 

VVC スケーラビリティ用メディアプレーヤ

VVCはスケーラビリティ、すなわち複数レイヤーに基づいた符号化で、その各レイヤーが同一の動画において異なる解像度や画質を表す、という動画符号化手法に対応しています。SpinDigital VVCデコーダとプレーヤは、スケーラブルなストリームであってもリアルタイムに処理できる性能をもっており、ユーザー側で表示するレイヤーを選択することが可能となります。

弊社でのテストとして、このVVCプレーヤーを用い、フルHD(1920×1080ピクセル)・4K(3840×2160ピクセル)・8K(7680×4320ピクセル) 3つの空間レイヤーを含むスケーラブルな60fps VVCストリームでの検証を行いました。

 

参照

 

  • Bross B., Chen J., Ohm J. R., Sullivan G. J., and Wang Y-K., Development in International Video Coding Standardization After AVC, With an Overview of Versatile Video Coding (VVC), Proceedings of the IEEE, pp. 1-31, 2021.

 

  • Dan Grois et al. Performance Comparison of Emerging EVC and VVC Video Coding Standards with HEVC and AV1. SMPTE Motion Imaging Journal. May 2021.

 

  • T. Nguyen et al. Overview of the Screen Content Support in VVC: Applications, Coding Tools, and Performance. IEEE Transactions on Circuits and Systems for Video Technology, vol. 31, no. 10, pp. 3801-3817, Oct. 2021, doi: 10.1109/TCSVT.2021.3074312.

 

High Efficiency Video Coding: HEVC

View

研究開発とイノベーションプロジェクト

View

次世代映像

View

お見積り及びデモのご依頼

リクエスト
  • SPIN DIGITAL 2022 COPYRIGHT