NVIDIA Image Scaling —— 英伟达开发的图像缩放技术
NVIDIA Image Scaling SDK 为跨平台支持提供了单一的空间缩放和锐化算法。缩放算法使用 6-tap缩放过滤器，结合了 4 个方向缩放和自适应锐化过滤器，可创建平滑的图像和锐利的边缘。此外，SDK 提供了最先进的自适应方向锐化算法，用于不需要缩放的应用程序。 色彩空间和范围 NVIDIA Image Scaling着色器可以处理存储为 LDR 或 HDR 的颜色纹理，但有以下限制： LDR 颜色值的范围必须在 [0, 1] 范围内 应用色调映射和 OETF（伽马校正）后，输入颜色纹理必须处于显示参考颜色空间中 HDR PQ 颜色值的范围必须在 [0, 1] 范围内 在应用了 Rec.2020 PQ OETF 的色调映射后，输入颜色纹理必须在显示参考颜色空间中 HDR 线性 推荐的颜色值范围是 [0, 12.5]，其中亮度值（根据 BT.709）1.0 映射到 80nits（sRGB 峰值）的亮度值，12.5 映射到 1000nits 输入颜色纹理可能具有线性和场景参考或线性和显示参考（色调映射后）的亮度值 资源状态、缓冲区和采样器： 调用 NVIDIA Image Scaling SDK 着色器的游戏或应用程序必须确保纹理处于正确状态。 输入颜色纹理必须处于像素着色器读取状态。DirectX 中的着色器资源视图 (SRV) 输出纹理必须处于读/写状态。DirectX 中的无序访问视图 (UAV) NVScaler 的系数纹理必须处于读取状态。DirectX 中的着色器资源视图 (SRV) 配置变量必须作为常量缓冲区传递。DirectX 中的常量缓冲区视图 (CBV) …… 最佳着色器设置 为了在当前和未来的硬件上获得 NvScaler 和 NvSharpen 的最佳性能，建议使用以下 API 来获取 NIS_BLOCK_WIDTH、NIS_BLOCK_HEIGHT 和 NIS_THREAD_GROUP_SIZE 的值。 enum class NISGPUArchitecture : uint32_t { NVIDIA_Generic = 0, AMD_Generic = 1, Intel_Generic = 2 }; struct NISOptimizer { bool isUpscaling; NISGPUArchitecture gpuArch; NISOptimizer(bool isUpscaling = true, NISGPUArchitecture gpuArch = NISGPUArchitecture::NVIDIA_Generic); uint32_t GetOptimalBlockWidth(); uint32_t GetOptimalBlockHeight(); uint32_t GetOptimalThreadGroupSize(); }; HDR 着色器设置 使用以下枚举值设置 NIS_HDR_MODE enum class NISHDRMode : uint32_t { None = 0, Linear = 1, PQ = 2 }; NVScaler 的集成 编译 NIS_Main.hlsl 着色器 NIS_SCALER 应该设置为 1，并且 isUscaling 应该作为 true 传递。 NISOptimizer opt(true, NISGPUArchitecture::NVIDIA_Generic); uint32_t blockWidth = opt.GetOptimalBlockWidth(); uint32_t blockHeight = opt.GetOptimalBlockHeight(); uint32_t threadGroupSize = opt.GetOptimalThreadGroupSize(); Defines defines; defines.add("NIS_SCALER", true); defines.add("NIS_HDR_MODE", hdrMode); defines.add("NIS_BLOCK_WIDTH", blockWidth); defines.add("NIS_BLOCK_HEIGHT", blockHeight); defines.add("NIS_THREAD_GROUP_SIZE", threadGroupSize); NVScalerCS = CompileComputeShader(device, "NIS_Main.hlsl”, &defines); 创建 NVIDIA Image Scaling SDK 配置常量缓冲区 struct NISConfig { float kDetectRatio; float kDetectThres; float kMinContrastRatio; float kRatioNorm; ... }; NISConfig config; createConstBuffer(&config, &csBuffer); 为缩放器和 USM 相位系数创建 SRV 纹理 const int rowPitch = kFilterSize * 4; const int imageSize = rowPitch * kPhaseCount; createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_scaler, rowPitch, imageSize, &scalerTex); createTexture2D(kFilterSize / 4, kPhaseCount, DXGI_FORMAT_R32G32B32A32_FLOAT, D3D11_USAGE_DEFAULT, coef_usm, rowPitch, imageSize, &usmTex); createSRV(scalerTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &scalerSRV); createSRV(usmTex.Get(), DXGI_FORMAT_R32G32B32A32_FLOAT, &usmSRV); 创建采样器 createLinearClampSampler(&linearClampSampler); 更新 NVIDIA Image Scaling SDK NVScaler 配置和常量缓冲区 使用以下 API 调用更新 NVIDIA Image Scaling SDK 配置 void NVScalerUpdateConfig(NISConfig& config, float sharpness, uint32_t inputViewportOriginX, uint32_t inputViewportOriginY, uint32_t inputViewportWidth, uint32_t inputViewportHeight, uint32_t inputTextureWidth, uint32_t inputTextureHeight, uint32_t outputViewportOriginX, uint32_t outputViewportOriginY, uint32_t outputViewportWidth, uint32_t outputViewportHeight, uint32_t outputTextureWidth, uint32_t outputTextureHeight, NISHDRMode hdrMode = NISHDRMode::None ); 每当输入大小、清晰度或比例发生变化时更新常量缓冲区 NVScalerUpdateConfig(m_config, sharpness, 0, 0, inputWidth, inputHeight, inputWidth, inputHeight, 0, 0, outputWidth, outputHeight, outputWidth, outputHeight, NISHDRMode::None); updateConstBuffer(&config, csBuffer.Get()); 构造 $> cd samples $> mkdir build $> cd build $> cmake ..
