为什么旋转 3D 点云后顶点法线会翻转?
Why do vertex normals flip after rotating 3D point cloulds?
我有两个人脸 3D 点云样本。蓝色点云表示目标面,红色点云表示模板。下图显示目标面和模板面在不同方向对齐(目标面大致沿 x 轴,模板面大致沿 y 轴)。
图一:
鼻子周围的区域如图1所示。
我想以鼻尖为中心旋转我的目标脸(蓝色脸)(我在图1之前将目标转换为模板,以便鼻尖,即centerpt
,因为两个面都叠加在一起)以与模板面(红色面)大致对齐。我使用以下 MATLAB 代码旋转了目标面:
% PCA for the target face
targetFaceptfmt = pointCloud(targetFace); % Convert to point cloud format
point = [templateFace(3522, 1), templateFace(3522, 2), templateFace(3522, 3)]; % The 3522th point in the templateFace is the nasal tip point used as center of rotation later on
radius = 20; % 20mm
[NNTarIndex, NNTarDist] = findNeighborsInRadius(Locationptfmt, point, radius); % Find all vertices within 20 of the nasal tip point on the target face
NNTar = select(Locationptfmt, NNTarIndex); % Select the identified points for PCA
[TarVec,TarSCORE,TarVal] = pca(NNTar.Location); % Do PCA for target face using vertices close to the nasal tip
% PCA for the template face
templateFaceptfmt = pointCloud(templateFace); % Convert to point cloud format
[NNTemIndex, NNTemDist] = findNeighborsInRadius( templateFaceptfmt, point, radius); % Find all vertices within 20 of the nasal tip point on the template
NNTem = select(templateFaceptfmt, NNTemIndex); % Select the identified points for PCA
[TemVec,TemSCORE,TemVal] = pca(NNTem.Location); % Do PCA for template face using vertices close to the nasal tip
% Rotate target face with nasal tip point as the center of rotation
targetFace_r = R * (targetFace-cenertpt)' + centerpt';
targetFace_new = targetFace_r';
其中 targetFace
和 templateFace
分别包含未旋转的目标面和模板面的坐标。 targetFace_r
是目标人脸围绕鼻尖旋转后的坐标,R
是通过PCA计算得到的旋转矩阵(旋转公式来源见here),centerpt
是用作旋转中心的鼻尖点。然后我绘制了转置 targetFace_r
,即 targetFace_new
,每个顶点都添加了法线:
图2:
在旋转之前,目标面和模板面的法线通常指向相似的方向(图1)。旋转后,目标面和模板面都沿 y 轴对齐(这是我想要的),但是,目标面和模板面的法线指向相反的方向。请记住,没有对模板面进行任何更改,我意识到旋转后计算的目标面的 法线被翻转了。但我不知道为什么。 我使用 R 中 Rvcg 包的 checkFaceOrientation
函数来检查沿法线的扩展是否会增加质心大小。模板面返回 TRUE,目标面返回 FALSE,这证实目标面的顶点法线已翻转。
顶点法线在 MATLAB 中计算如下:
TR = triangulation(Faces, Vertices); % Triangulation based on face and vertex information
VN = vertexNormal(TR); % Calculate vertext normal
其中 Faces
包含面信息,即连接列表,Vertices
包含顶点坐标。对于旋转前的目标面、旋转后的目标面和模板面,分别计算顶点法线。我使用相同的 Faces
数据计算旋转目标面前后的顶点法线。
翻转的顶点法线导致一些进一步分析的错误。因此,我必须手动翻转法线,使它们与模板面的法线指向相似。
图3:
图3显示手动翻转法线后,目标面和模板面的法线大致指向相同的方向。
我的问题是为什么旋转后计算的目标面的法线翻转了?在什么情况下 3D 点云的旋转会导致顶点法线翻转?
补充一些可能有用的信息:我得到的旋转矩阵R
如下,供大家参考:
0.0473096146726546 0.867593376108813 -0.495018720950670
0.987013081649028 0.0355601323276586 0.156654567895508
-0.153515396665006 0.496001220483328 0.854643675613313
自trace(R) = 1 + 2cos(alpha)
以来,我通过acos((trace(R)-1)/2)*180/pi
计算了alpha,得到了相对于鼻尖点的旋转角度91.7904。
如 , the direction of your vertex normals will depend on how you've ordered the triangular facets in your Faces
matrix. This will follow a right-hand rule 所述,您的手指遵循三角形周围的顶点顺序,拇指指示表面法线方向。这里有一个简单的例子来帮助说明:
Vertices = [0 0; 0 1; 1 1; 1 0]; % Points clockwise around a unit square in x-y plane
Faces = [1 2 3; 1 3 4]; % Two triangular facets, clockwise vertex ordering
TR = triangulation(Faces, Vertices);
VN = vertexNormal(TR)
VN =
0 0 -1
0 0 -1
0 0 -1
0 0 -1
在此示例中,Vertices
包含 x-y 平面中单位正方形的 4 个顶点,如果您从正 z 向下看,则顺时针排列。 Faces
中定义了两个三角形面,每行中的索引顺序也以顺时针方式沿着顶点进行跟踪。这会导致每个面的 surface 法线指向负 z 方向。当计算 vertex 法线时,它们也指向负 z 方向。
当我们翻转一个三角形的顺序使其点为逆时针时会发生什么?...
Faces = [1 2 3; 1 4 3]; % Second facet is 1 4 3 instead of 1 3 4
TR = triangulation(Faces, Vertices);
VN = vertexNormal(TR)
VN =
0 0 0
0 0 -1
0 0 0
0 0 1
第二个三角形的表面法线现在将指向正z方向。仅由一个三角形(第 2 行和第 4 行)使用的顶点将具有与表面法线匹配的顶点法线,而每个共享的顶点(第 1 行和第 3 行)将具有 0 的顶点法线(两个表面法线抵消) .
这将如何帮助您解决问题?好吧,这很难说,因为我不知道你是如何定义 Faces
和 Vertices
的。但是,如果您确定网格中的 每个 顶点法线指向错误的方向,您可以通过交换 Faces
矩阵中的两列来轻松翻转它们计算法线:
Faces = [1 2 3; 1 3 4]; % Clockwise-ordered vertices
TR = triangulation(Faces(:, [1 3 2]), Vertices); % Change to counter-clockwise
VN = vertexNormal(TR)
VN =
0 0 1 % Normals are now pointing in positive z
0 0 1
0 0 1
0 0 1
如果我理解正确的话,看起来你的旋转矩阵实际上是在编码旋转加反射。如果你的矩阵大约是:
0.04 0.86 -0.49
0.98 0.03 0.15
-0.15 0.49 0.85
则每个单位向量指向正轴的图像为:
x = [ 0.04 0.98 -0.15]
y = [ 0.86 0.03 0.49]
z = [-0.49 0.15 0.85]
但是,如果您对 x
和 y
(cross(x, y)
) 进行叉积,您将得到大约 [0.49 -0.15 -0.85]
,这是 z
,这意味着矩阵正在编码旋转和反射。自然地,将网格的顶点乘以反射矩阵会反转其多边形的缠绕顺序,从而产生反转的法线。
在你引用的幻灯片中,它指出生成旋转矩阵的 PCA 方法在 3D 情况下应该只考虑四种不同的轴组合,以确保输出矩阵遵守右手法则。如果检查了所有轴的组合,那么 PCA 将在搜索最佳匹配时同时考虑旋转空间和反射空间。如果是这种情况,并且如果数据中存在一些噪声,使得模板的左半部分与目标的右半部分匹配得稍微好一些,反之亦然,那么 PCA 方法可能会生成一个反射矩阵,如下所示你观察。也许您可能想重新审视如何从 PCA 结果生成 R
的逻辑?
我有两个人脸 3D 点云样本。蓝色点云表示目标面,红色点云表示模板。下图显示目标面和模板面在不同方向对齐(目标面大致沿 x 轴,模板面大致沿 y 轴)。
图一:
我想以鼻尖为中心旋转我的目标脸(蓝色脸)(我在图1之前将目标转换为模板,以便鼻尖,即centerpt
,因为两个面都叠加在一起)以与模板面(红色面)大致对齐。我使用以下 MATLAB 代码旋转了目标面:
% PCA for the target face
targetFaceptfmt = pointCloud(targetFace); % Convert to point cloud format
point = [templateFace(3522, 1), templateFace(3522, 2), templateFace(3522, 3)]; % The 3522th point in the templateFace is the nasal tip point used as center of rotation later on
radius = 20; % 20mm
[NNTarIndex, NNTarDist] = findNeighborsInRadius(Locationptfmt, point, radius); % Find all vertices within 20 of the nasal tip point on the target face
NNTar = select(Locationptfmt, NNTarIndex); % Select the identified points for PCA
[TarVec,TarSCORE,TarVal] = pca(NNTar.Location); % Do PCA for target face using vertices close to the nasal tip
% PCA for the template face
templateFaceptfmt = pointCloud(templateFace); % Convert to point cloud format
[NNTemIndex, NNTemDist] = findNeighborsInRadius( templateFaceptfmt, point, radius); % Find all vertices within 20 of the nasal tip point on the template
NNTem = select(templateFaceptfmt, NNTemIndex); % Select the identified points for PCA
[TemVec,TemSCORE,TemVal] = pca(NNTem.Location); % Do PCA for template face using vertices close to the nasal tip
% Rotate target face with nasal tip point as the center of rotation
targetFace_r = R * (targetFace-cenertpt)' + centerpt';
targetFace_new = targetFace_r';
其中 targetFace
和 templateFace
分别包含未旋转的目标面和模板面的坐标。 targetFace_r
是目标人脸围绕鼻尖旋转后的坐标,R
是通过PCA计算得到的旋转矩阵(旋转公式来源见here),centerpt
是用作旋转中心的鼻尖点。然后我绘制了转置 targetFace_r
,即 targetFace_new
,每个顶点都添加了法线:
图2:
在旋转之前,目标面和模板面的法线通常指向相似的方向(图1)。旋转后,目标面和模板面都沿 y 轴对齐(这是我想要的),但是,目标面和模板面的法线指向相反的方向。请记住,没有对模板面进行任何更改,我意识到旋转后计算的目标面的 法线被翻转了。但我不知道为什么。 我使用 R 中 Rvcg 包的 checkFaceOrientation
函数来检查沿法线的扩展是否会增加质心大小。模板面返回 TRUE,目标面返回 FALSE,这证实目标面的顶点法线已翻转。
顶点法线在 MATLAB 中计算如下:
TR = triangulation(Faces, Vertices); % Triangulation based on face and vertex information
VN = vertexNormal(TR); % Calculate vertext normal
其中 Faces
包含面信息,即连接列表,Vertices
包含顶点坐标。对于旋转前的目标面、旋转后的目标面和模板面,分别计算顶点法线。我使用相同的 Faces
数据计算旋转目标面前后的顶点法线。
翻转的顶点法线导致一些进一步分析的错误。因此,我必须手动翻转法线,使它们与模板面的法线指向相似。
图3:
我的问题是为什么旋转后计算的目标面的法线翻转了?在什么情况下 3D 点云的旋转会导致顶点法线翻转?
补充一些可能有用的信息:我得到的旋转矩阵R
如下,供大家参考:
0.0473096146726546 0.867593376108813 -0.495018720950670
0.987013081649028 0.0355601323276586 0.156654567895508
-0.153515396665006 0.496001220483328 0.854643675613313
自trace(R) = 1 + 2cos(alpha)
以来,我通过acos((trace(R)-1)/2)*180/pi
计算了alpha,得到了相对于鼻尖点的旋转角度91.7904。
如 Faces
matrix. This will follow a right-hand rule 所述,您的手指遵循三角形周围的顶点顺序,拇指指示表面法线方向。这里有一个简单的例子来帮助说明:
Vertices = [0 0; 0 1; 1 1; 1 0]; % Points clockwise around a unit square in x-y plane
Faces = [1 2 3; 1 3 4]; % Two triangular facets, clockwise vertex ordering
TR = triangulation(Faces, Vertices);
VN = vertexNormal(TR)
VN =
0 0 -1
0 0 -1
0 0 -1
0 0 -1
在此示例中,Vertices
包含 x-y 平面中单位正方形的 4 个顶点,如果您从正 z 向下看,则顺时针排列。 Faces
中定义了两个三角形面,每行中的索引顺序也以顺时针方式沿着顶点进行跟踪。这会导致每个面的 surface 法线指向负 z 方向。当计算 vertex 法线时,它们也指向负 z 方向。
当我们翻转一个三角形的顺序使其点为逆时针时会发生什么?...
Faces = [1 2 3; 1 4 3]; % Second facet is 1 4 3 instead of 1 3 4
TR = triangulation(Faces, Vertices);
VN = vertexNormal(TR)
VN =
0 0 0
0 0 -1
0 0 0
0 0 1
第二个三角形的表面法线现在将指向正z方向。仅由一个三角形(第 2 行和第 4 行)使用的顶点将具有与表面法线匹配的顶点法线,而每个共享的顶点(第 1 行和第 3 行)将具有 0 的顶点法线(两个表面法线抵消) .
这将如何帮助您解决问题?好吧,这很难说,因为我不知道你是如何定义 Faces
和 Vertices
的。但是,如果您确定网格中的 每个 顶点法线指向错误的方向,您可以通过交换 Faces
矩阵中的两列来轻松翻转它们计算法线:
Faces = [1 2 3; 1 3 4]; % Clockwise-ordered vertices
TR = triangulation(Faces(:, [1 3 2]), Vertices); % Change to counter-clockwise
VN = vertexNormal(TR)
VN =
0 0 1 % Normals are now pointing in positive z
0 0 1
0 0 1
0 0 1
如果我理解正确的话,看起来你的旋转矩阵实际上是在编码旋转加反射。如果你的矩阵大约是:
0.04 0.86 -0.49
0.98 0.03 0.15
-0.15 0.49 0.85
则每个单位向量指向正轴的图像为:
x = [ 0.04 0.98 -0.15]
y = [ 0.86 0.03 0.49]
z = [-0.49 0.15 0.85]
但是,如果您对 x
和 y
(cross(x, y)
) 进行叉积,您将得到大约 [0.49 -0.15 -0.85]
,这是 z
,这意味着矩阵正在编码旋转和反射。自然地,将网格的顶点乘以反射矩阵会反转其多边形的缠绕顺序,从而产生反转的法线。
在你引用的幻灯片中,它指出生成旋转矩阵的 PCA 方法在 3D 情况下应该只考虑四种不同的轴组合,以确保输出矩阵遵守右手法则。如果检查了所有轴的组合,那么 PCA 将在搜索最佳匹配时同时考虑旋转空间和反射空间。如果是这种情况,并且如果数据中存在一些噪声,使得模板的左半部分与目标的右半部分匹配得稍微好一些,反之亦然,那么 PCA 方法可能会生成一个反射矩阵,如下所示你观察。也许您可能想重新审视如何从 PCA 结果生成 R
的逻辑?