OpenGL ES 2.0/3.0 中的折射。大像素纹理

Question

尝试在 OpenGL ES 2.0/3.0 中实现折射。使用了以下着色器：

顶点着色器：

#version 300 es
precision lowp float; 
uniform mat4 u_mvMatrix;

in vec4 a_position;  
in vec3 a_normal;
...
out mediump vec2 v_refractCoord;

const mediump float eta = 0.95;

void main() {
    vec4 eyePositionModel = u_mvMatrix * a_position;

    // eye direction in model space
    mediump vec3 eyeDirectModel = normalize(a_position.xyz - eyePositionModel.xyz);

    // calculate refraction direction in model space
    mediump vec3 refractDirect = refract(eyeDirectModel, a_normal, eta);

    // project refraction
    refractDirect = (u_mvpMatrix * vec4(refractDirect, 0.0)).xyw;

    // map refraction direction to 2d coordinates
    v_refractCoord = 0.5 * (refractDirect.xy / refractDirect.z) + 0.5;
    ...
}

片段着色器：

...
in mediump vec2 v_refractCoord;
uniform samplerCube s_texture; // skybox

void main() {
    outColor = texture(s_texture, vec3(v_refractCoord, 1.0));
}

加载纹理的方法：

@JvmStatic
fun createTextureCubemap(context: Context, rowID: Int) {
    val input = context.resources.openRawResource(rowID)
    val bitmap = BitmapFactory.decodeStream(input)

    val textureId = IntArray(1)
    glGenTextures(1, textureId, 0)
    glBindTexture(GL_TEXTURE_CUBE_MAP, textureId[0])

    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_POSITIVE_X, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_NEGATIVE_X, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_POSITIVE_Y, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_NEGATIVE_Y, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_POSITIVE_Z, 0, bitmap, 0)
    GLUtils.texImage2D(GL_TEXTURE_CUBE_MAP_NEGATIVE_Z, 0, bitmap, 0)

    glTexParameteri(GL_TEXTURE_CUBE_MAP, GL_TEXTURE_MIN_FILTER, GL_NEAREST)
    glTexParameteri(GL_TEXTURE_CUBE_MAP, GL_TEXTURE_MAG_FILTER, GL_NEAREST)
    return textureId[0]
}

但纹理是用大像素获得的，如：

这可能是什么原因？也许这对于低多边形模型来说是正常的？好像纹理太接近了。

注意：多边形越少 - 质量越差。

提前感谢任何comment/answer！

图片来自goodfon.ru

解决方法： 在@Rabbid76 的指点下，我改了正常数据。事实证明，在 Blender 中，您需要将对象的着色设置为平滑（不平坦）——这会增加导出为 *.obj 格式时的法线数量：Why OBJ export writes face normals instead of vertex normals

此外，根据@Rabbid76 的建议，我更改了行：

vec3 eyeDirectModel = normalize(- eyePositionModel.xyz);

因此，像素化消失了：

另外，在vertex shader中计算折射时也可能出现像素伪影，所以我将计算转移到fragment shader中。这是修改后的着色器代码：

顶点着色器：

#version 300 es
precision lowp float;
uniform mat4 u_mvpMatrix;
uniform mat4 u_mvMatrix;

in vec4 a_position; 
in vec3 a_normal;

out vec3 v_normal;
out lowp float SpecularIntensity;

out vec3 v_eyeDirectModel;

float getSpecularIntensity(vec4 position, vec3 a_normal, vec3 eyeDirectModel) {
    float shininess = 30.0;
    vec3 lightPosition = vec3(-20.0, 0.0, 0.0);
    mediump vec3 LightDirModel = normalize(lightPosition - position.xyz);
    mediump vec3 halfVector = normalize(LightDirModel + eyeDirectModel);
    lowp float NdotH = max(dot(a_normal, halfVector), 0.0);
    return pow(NdotH, shininess);
}

void main() {
    v_normal = a_normal;
    vec4 eyePositionModel = u_mvMatrix * a_position;
    // Eye direction in model space
    vec3 eyeDirectModel = normalize(- eyePositionModel.xyz);
    // specular lighting
    SpecularIntensity = getSpecularIntensity(a_position, a_normal, eyeDirectModel);
    v_eyeDirectModel = eyeDirectModel;
    gl_Position = u_mvpMatrix * a_position;
}

片段着色器：

#version 300 es
precision lowp float;
uniform mat4 u_mvpMatrix;

in vec3 v_normal;
in lowp float SpecularIntensity;
in vec3 v_eyeDirectModel;

out vec4 outColor; 
uniform samplerCube s_texture; // skybox

const float eta = 0.65;
void main() {
    // Calculate refraction direction in model space
    vec3 refractDirect = refract(v_eyeDirectModel, normalize(v_normal), eta);
    // Project refraction
    refractDirect = (u_mvpMatrix * vec4(refractDirect, 0.0)).xyw;
    // Map refraction direction to 2d coordinates
    vec2 refractCoord = 0.5 * (refractDirect.xy / refractDirect.z) + 0.5;

    vec4 glassColor = texture(s_texture, vec3(refractCoord, 1.0));
    outColor = glassColor + SpecularIntensity;
    outColor.a = 0.8; // transparent
}

Answer 1

首先shader代码有错误。 a_position.xyz - eyePositionModel.xyz 没有任何意义，因为 a_position 是模型中的顶点坐标 space 而 eyePositionModel 是视图中的顶点坐标 space.
您必须在视图空间中计算 refract 的入射向量。那是从眼睛位置到顶点的向量。由于视线space中的眼睛位置是(0, 0, 0)，所以是：

vec4 eyePositionView = u_mvMatrix * a_position;

// eye direction in model space
mediump vec3 eyeDirectView = normalize(- eyePositionView.xyz);

另外就是法向量属性的问题。问题是由于法向量是按面计算的，而不是针对每个顶点单独计算的。
注意，折射方向（refractDirect）取决于顶点坐标（eyeDirectModel）和法向量（a_normal）：

mediump vec3 refractDirect = refract(eyeDirectModel, a_normal, eta);

由于相邻表面之间的法向量不同，您可以看到网格面之间的明显边缘。

如果按顶点计算法向量，则相邻面共享顶点坐标和相应的法向量。这将导致从一个面到另一个面的平滑过渡。

OpenGL ES 2.0/3.0 中的折射。大像素纹理

Refraction in OpenGL ES 2.0/3.0. Large pixels texture

shader

android

opengl-es

glsl

opengl-es-3.0