第九章 Normal Mapping and Displacement Mapping

本章主要讲述两种图形学技术，支持在不增加objects的poly primitive的情况下，在场景中增加更多的细节。第一种是normal mapping，通过创建一些“fake” geometry（虚设的多边形图元）模拟光照作用。第二种是displacement mapping，根据纹理数据moving vertices actually（与“fake”相对应，这里指真实的移动）来创建凹凸不平的表面。

Normal Mapping（法线贴图）

前面几章，已经讨论了specualr maps，environment maps以及transparency maps，这些texture maps都提供了附加的数据信息。Specular maps中的数据用于限制specular highlight，environment maps则包含了用于reflective surfaces的colors，transparency maps用于控制output-merge阶段的alpha blending。这些额外的信息由每一个pixel提供，比仅由每一个vertex提供，具有更高的精度。同样 ，一个normal map也是对每一个pixel都提供表面的法向量数量，该额外的数据可以应用于多种技术上。
Normal maps的其中一个应用是虚构一个凹凸表面的细节，比如石墙。可以使用足够的geometry来模拟这中凹凸不平的墙面，使用的vertices越多，得到的细节也越多。这样就可以在场景中更好的处理光照，远离光源的石块就会显示为较暗的区域。但是，增加geometry会导致计算成本也增大。相反，对于一个含有少量poly geometry的object（即使是一个flat plane），使用normal map方法，也可以模拟与大量增加geometry情况下同样的光照效果。这种应用就称为normal mapping。

Normal Maps

图9.1中显示了用于一面石墙的color map（左图）和normal map（右图）。相对于color map，normal map看起来有点奇怪。虽然可以把norml map显示出来，但是normal map中存储的是3D directions vectors（3维的方向向量）。对normal map进行采样时，从RGB通道中得到的结果表示方向向量的x，y，z分量。这些法向量可用于一些效果的计算，比如diffuse lighting。

图9.1 A color map (left) and normal map (right) for a stone wall. (Textures by Nick
Zuccarello, Florida Interactive Entertainment Academy.)
RGB texture的每一个channels都存储一个unsigned 8-bit值（unsigned char），该类型的数值范围为[0, 255]。但是一个规范化的方向向量，对应的xyz各个分量值范围是[-1, 1]。因此，法线向量存储到texture之前必须先转换到范围[0, 255]，对texture进行采样的时候必须再转换到范围[-1, 1]。可以使用如下的公式，把浮点型向量从范围[-1, 1]转换到范围[0, 255]:

f(x) = (0.5x + 0.5) * 255

再使用下面的方程式变换回来：

实际工作中，一般会使用图像处理软件（比如Adobe Photoshop）把一个normal map编码成RGB texture格式。但是采样texture时需要在shader中手动计算，把数据从范围[0, 255]转换回[-1, 1]。在采样过程中已经执行了浮点除法（除以255）操作，所以得到的采样结果在范围[0, 1]之间。因此，只需要使用下面的方程函数把范围[0, 1]转换到范围[1, 1]:

f(x) = 2x − 1

或者，也可以使用16位或32位浮点型数值作为normal maps的texture格式，这样可以产生更好的细节效果，但会牺牲一些性能。

Tangent Space（切空间）

一般使用每一个vertex的法线来计算diffuse，同样也可以使用每一个pixel的法线。但是法线必须与light处于同一个坐标空间。对于per-vertex法线，由object space提供。但是normal maps的法线值处于tangent space。
Tangent space（或者texture space）是一个相对于纹理的坐标系，由三个相互正交的向量确定：surface normal向量，tangent向量以及binormal向量。图9.2描述了这三个向量。

图9.2 An illustration of tangent space. (Texture by Nick Zuccarello, Florida Interactive Entertainment Academy.)

其中normal向量，N，是一个vertex的表面法向量。Tangent向量，T，与表面的法线垂直，与指向texture的u轴方向。Binormal向量，B，则指向texture的v轴方向。
可以使用这三个向量创建一个TBN（tangent, binormal, normal）变换矩阵，如下所示：

可以使用这个矩阵把向量由tangent space变换到object space中。但是，由于light vector通常是在world space中，因此需要把从normal map中采样得到的noraml从tangent space变换到world space。或者换一种方式，直接使用已经处于world space中的向量创建TBN矩阵。

注意
可以把normals直接编码到world space中，就可以省去从tangent space到world space的变换。但是，使用这些normals的objects只能保持静止不动（不能执行变换）。另外，这些normals也不能简单地在多个ojbects之间重用（因为这些normals不能再进行变换）。

TBN矩阵有一个非常值得关注的特性，该矩阵由三个orthonormal向量（相互正交的单位向量）构成，并形成了一个正交基（定义了一个坐标系）。也就说该矩阵是一个正交矩阵，而正交矩阵的逆等于其转置。因此，把一个向量从object或者world space变换回tangent space（inverse mapping反向映射），只需要把该向量与TBN矩阵的转置相乘即可。另外，根据TBN矩阵的orthonormal性质，如果已经知道了任意两个向量，就可以推导出第三个向量。通常情况下，normal和tangent向量与geometry一起存储，而binormal向量（在vertex shader中）由这两个向量进行cross product计算得出。执行这种计算是对GPU运算和数据传输（在CPU和GPU之间）高成本之间的一种折衷的方法。

A Normal Mapping Effect

根据上面所讨论的方法，列表9.1列出了一种normal mapping effect的代码。
列表9.1 NormalMapping.fx

#include "include\\Common.fxh"cbuffer CBufferPerFrame{    float4 AmbientColor : AMBIENT <        string UIName =  "Ambient Light";        string UIWidget = "Color";    > = {1.0f, 1.0f, 1.0f, 1.0f};        float4 LightColor : COLOR <        string Object = "LightColor0";        string UIName =  "Light Color";        string UIWidget = "Color";    > = {1.0f, 1.0f, 1.0f, 1.0f};    float3 LightDirection : DIRECTION <        string Object = "DirectionalLight0";        string UIName =  "Light Direction";        string Space = "World";    > = {0.0f, 0.0f, -1.0f};    float3 CameraPosition : CAMERAPOSITION < string UIWidget="None"; >;}cbuffer CBufferPerObject{    float4x4 WorldViewProjection : WORLDVIEWPROJECTION < string UIWidget="None"; >;    float4x4 World : WORLD < string UIWidget="None"; >;        float4 SpecularColor : SPECULAR <        string UIName =  "Specular Color";        string UIWidget = "Color";    > = {1.0f, 1.0f, 1.0f, 1.0f};    float SpecularPower : SPECULARPOWER <        string UIName =  "Specular Power";        string UIWidget = "slider";        float UIMin = 1.0;        float UIMax = 255.0;        float UIStep = 1.0;    > = {25.0f};}Texture2D ColorTexture <    string ResourceName = "default_color.dds";    string UIName =  "Color Texture";    string ResourceType = "2D";>;Texture2D NormalMap <    string ResourceName = "default_bump_normal.dds";    string UIName =  "Normap Map";    string ResourceType = "2D";>;SamplerState TrilinearSampler{    Filter = MIN_MAG_MIP_LINEAR;    AddressU = WRAP;    AddressV = WRAP;};RasterizerState DisableCulling{    CullMode = NONE;};/************* Data Structures *************/struct VS_INPUT{    float4 ObjectPosition : POSITION;    float2 TextureCoordinate : TEXCOORD;    float3 Normal : NORMAL;    float3 Tangent : TANGENT;};struct VS_OUTPUT{    float4 Position : SV_Position;    float3 Normal : NORMAL;    float3 Tangent : TANGENT;    float3 Binormal : BINORMAL;    float2 TextureCoordinate : TEXCOORD0;    float3 LightDirection : TEXCOORD1;    float3 ViewDirection : TEXCOORD2;};/************* Vertex Shader *************/VS_OUTPUT vertex_shader(VS_INPUT IN){    VS_OUTPUT OUT = (VS_OUTPUT)0;        OUT.Position = mul(IN.ObjectPosition, WorldViewProjection);        OUT.Normal = normalize(mul(float4(IN.Normal, 0), World).xyz);    OUT.Tangent = normalize(mul(float4(IN.Tangent, 0), World).xyz);    OUT.Binormal = cross(OUT.Normal, OUT.Tangent);    OUT.TextureCoordinate = get_corrected_texture_coordinate(IN.TextureCoordinate);    OUT.LightDirection = normalize(-LightDirection);        float3 worldPosition = mul(IN.ObjectPosition, World).xyz;    float3 viewDirection = CameraPosition - worldPosition;    OUT.ViewDirection = normalize(viewDirection);            return OUT;}/************* Pixel Shader *************/float4 pixel_shader(VS_OUTPUT IN) : SV_Target{    float4 OUT = (float4)0;        float3 sampledNormal = (2 * NormalMap.Sample(TrilinearSampler, IN.TextureCoordinate).xyz) - 1.0; // Map normal from [0..1] to [-1..1]    float3x3 tbn = float3x3(IN.Tangent, IN.Binormal, IN.Normal);        sampledNormal = mul(sampledNormal, tbn); // Transform normal to world space        float3 viewDirection = normalize(IN.ViewDirection);    float4 color = ColorTexture.Sample(TrilinearSampler, IN.TextureCoordinate);    float3 ambient = get_vector_color_contribution(AmbientColor, color.rgb);        LIGHT_CONTRIBUTION_DATA lightContributionData;    lightContributionData.Color = color;    lightContributionData.Normal = sampledNormal;    lightContributionData.ViewDirection = viewDirection;    lightContributionData.LightDirection = float4(IN.LightDirection, 1);    lightContributionData.SpecularColor = SpecularColor;    lightContributionData.SpecularPower = SpecularPower;    lightContributionData.LightColor = LightColor;    float3 light_contribution = get_light_contribution(lightContributionData);        OUT.rgb = ambient + light_contribution;    OUT.a = 1.0f;        return OUT;}/************* Techniques *************/technique10 main10{    pass p0    {        SetVertexShader(CompileShader(vs_4_0, vertex_shader()));        SetGeometryShader(NULL);        SetPixelShader(CompileShader(ps_4_0, pixel_shader()));                    SetRasterizerState(DisableCulling);    }}

Normal Mapping Preamble

在该effect中，首先使用了一个ambient light，specular highlight以及一个directional light。新增了一个用于表示normal map的Texture2D对象，VS_INPUT结构体包含一个surface normal和一个tangent vector（处于object space中）。VS_OUPUT中新增了表示tangent和binormal的成员，在传递给下一个管线阶段之间，需要变换到world space中。

Normal Mapping Vertex and Pixel Shader

在vertex shader中，先把normal和tangent向量变换到world space中，然后计算这两个向量的cross product得到binormal向量。在pixel shader，先对normal map进行采样，再把采样得到的normal向量由范围[0, 1]转换到范围[-1, 1]。然后创建TBN矩阵，并用该矩阵把采样的normal向量变换到world space中。当normal变换到world space中之后，接下来的光照计算与之前的完全一样。

注意
如果你发现vertex shader是一个性能瓶颈，可以在输入参数中直接提供bionormal（与surface normal和tangent一起）。这是为了平衡vertex shader性能和图形总线中数据传输成本的一种折衷方法。更普遍的情况是，图形管线成为了瓶颈。

Normal Mapping Output

图9.3显示了在一个带有stone wall纹理的plane上，使用normal mapping effect的输出结果。左图中使用了图9.1中的normal map。而右图中，使用了一个normal map但是没有任何效果。两幅图中，ambient light都是禁用的，direcitonal light是纯白色，full-intensity（强度值为1.0），specular highlight的power值为100，intensity值为0.35。

图9.3 NormalMapping.fx applied to a plane with a stone wall texture using a normal
map (left) and without a normal map (right). (Textures by Nick Zuccarello, Florida Interactive
Entertainment Academy.)