条件付きGAN（conditional Generative Adversarial Network）を用いて、セマンティック（semantic）ラベルマップから高解像度の写真を合成するための新しい方法を紹介します。

条件付き GAN は様々なアプリケーションを可能にしましたが、その結果は しばしば低解像度に限定され、現実的ではありませんでした。この研究では、2048×1024 の魅力的な結果を、対立的ロスで、新しいマルチスケールのジェネレータおよびディスクリミネータアーキテクチャとともに生成します。さらに、フレームワークを2つの追加機能を備えたインタラクティブなビジュアル操作に拡張。まず、オブジェクトインスタンスのセグメンテーション情報を組み込み、オブジェクトの削除/追加やオブジェクトカテゴリの変更などのオブジェクト操作を可能にしています。

次に、同じ入力を与えて 多様な結果を生成する方法を提案し、対話的にオブジェクトの外観を編集できるようにしています。人間の意見では、我々の方法は、深い画像の合成と編集の品質と解像度の両方を向上させ、既存の方法よりも著しく優れていることが実証されています。（以上 翻訳）

詳細：https://tcwang0509.github.io/pix2pixHD/
コード：https://github.com/NVIDIA/pix2pixHD