多个 SCNView 音频错误
Multiple SCNView audio error
我正在开发一款使用 SceneKit 支持正常播放和 VR 的游戏。正常播放时,我有一个 SCNView
,一个摄像头,它也对应于视图音频侦听器。当切换到 VR 模式时,我将屏幕分成两部分 SCNView
都从两个不同的摄像机播放相同的场景,音频侦听器位于它们之间,这里没问题。
在我的游戏中,我需要位置音频,所以我使用 SCNAudioSuorce
来使用 SCNAction
播放音效,但是由于在两个视图中都在播放相同的场景,我如何才能将其中一个和音频只来自另一个吗?我搜索了网络和文档,但没有发现任何相关内容。
iOS 11 更新: 在 iOS 11 上测试我的应用程序并尝试在 VR 模式下播放声音后,应用程序在渲染时崩溃在 __UpdateAudioTransform
排队线程 因为我播放那个声音,将它从动作中移除(包括其他节点转换)使游戏 运行 正常。
更新 1: 感谢@rickster 的建议,我尝试实施 SCNTechnique
并按照 Apple 文档得到了这个
SCNTechnique(dictionary: [
"passes" : [
"leftView": [
"draw": "DRAW_SCENE",
"pointOfView": stereoCameraLeftName,
"viewport": "(0, 0, 400, 400)"
],
"rightView": [
"draw": "DRAW_SCENE",
"pointOfView": stereoCameraRightName,
"viewport": "(200, 0, 400, 400)"
]
],
"sequence": [ "leftView", "rightView" ]
])
其中 stereoCameraLeftName
和 stereoCameraRightName
在其他地方定义为字符串,用作包含相应相机的节点的名称,视口尺寸仅用于测试。当我将此技术应用于场景时它不起作用并且取决于场景 pointOfView
的设置方式我要么看到充满背景颜色的完整场景(pointOfView
设置为用于非VR 模式,不再链接到场景图)或使用两个相机之一渲染的全尺寸(pointOfView
设置为 nil
),我错过了什么?
更新 2: 经过一些尝试和错误后,我发现为自定义视口定义简单通道的正确方法是这样的,w
和 h
定义为 CGFloat
:
let technique = SCNTechnique(dictionary: [
"passes" : [
"leftView": [
"outputs": [ "color": "COLOR" ],
"draw": "DRAW_SCENE",
"colorStates": [
"clear": true,
"clearColor": "sceneBackground"
],
"pointOfView": stereoCameraLeftName,
"viewport": "0 0 \(w) \(h)"
],
"rightView": [
"outputs": [ "color": "COLOR" ],
"draw": "DRAW_SCENE",
"colorStates": [
"clear": false
],
"pointOfView": stereoCameraRightName,
"viewport": "\(w) 0 \(w) \(h)",
"blendStates": [
"colorOp": "add",
"alphaOp": "add"
]
]
],
"sequence": [ "leftView", "rightView" ]
])
但是有一个问题:当第二遍被渲染时,屏幕的左侧保持黑色(清晰的颜色)并且右侧被正确渲染,如果我排除这个通道只留下第一个左侧已正确渲染,并且右侧显示为预期的场景背景颜色。奇怪的是,如果不是在我的 iPhone 6s 运行ning iOS 11 上测试,而是在模拟器 (iOS 11) 上测试,一切似乎都正常,我是确定我在结合这两个过程时遗漏了一些东西。
更新 2.1: 从第二遍中删除 blendStates
得到相同的结果。
更新 3: 尝试重新创建 MWE 以重新创建问题我发现我的方法是正确的,我将尝试调查我项目的其他部分以找到哪里有问题。
最终更新: 问题似乎是由抗锯齿在视图上处于活动状态引起的,禁用它会使 SCNTechnique
工作正常,似乎是 iOS 11 我已经提交了错误报告。
这是尝试在多个视图中渲染同一场景的众多问题之一。 (其他包括性能和并发性。)相反,仅使用单个视图并使用 SCNTechnique
在其中渲染视图场景两次可能是更好的选择。
配置技术时,可以为每个绘制通道单独设置 pointOfView
— 如果您正在寻找立体分离,这可能会很方便。
您还可以为每个通道设置 viewport
。如果您正在进行某种立体渲染,您可以使用它来使一个渲染通道覆盖视图的一半,而另一个渲染通道覆盖另一半。
我正在开发一款使用 SceneKit 支持正常播放和 VR 的游戏。正常播放时,我有一个 SCNView
,一个摄像头,它也对应于视图音频侦听器。当切换到 VR 模式时,我将屏幕分成两部分 SCNView
都从两个不同的摄像机播放相同的场景,音频侦听器位于它们之间,这里没问题。
在我的游戏中,我需要位置音频,所以我使用 SCNAudioSuorce
来使用 SCNAction
播放音效,但是由于在两个视图中都在播放相同的场景,我如何才能将其中一个和音频只来自另一个吗?我搜索了网络和文档,但没有发现任何相关内容。
iOS 11 更新: 在 iOS 11 上测试我的应用程序并尝试在 VR 模式下播放声音后,应用程序在渲染时崩溃在 __UpdateAudioTransform
排队线程 因为我播放那个声音,将它从动作中移除(包括其他节点转换)使游戏 运行 正常。
更新 1: 感谢@rickster 的建议,我尝试实施 SCNTechnique
并按照 Apple 文档得到了这个
SCNTechnique(dictionary: [
"passes" : [
"leftView": [
"draw": "DRAW_SCENE",
"pointOfView": stereoCameraLeftName,
"viewport": "(0, 0, 400, 400)"
],
"rightView": [
"draw": "DRAW_SCENE",
"pointOfView": stereoCameraRightName,
"viewport": "(200, 0, 400, 400)"
]
],
"sequence": [ "leftView", "rightView" ]
])
其中 stereoCameraLeftName
和 stereoCameraRightName
在其他地方定义为字符串,用作包含相应相机的节点的名称,视口尺寸仅用于测试。当我将此技术应用于场景时它不起作用并且取决于场景 pointOfView
的设置方式我要么看到充满背景颜色的完整场景(pointOfView
设置为用于非VR 模式,不再链接到场景图)或使用两个相机之一渲染的全尺寸(pointOfView
设置为 nil
),我错过了什么?
更新 2: 经过一些尝试和错误后,我发现为自定义视口定义简单通道的正确方法是这样的,w
和 h
定义为 CGFloat
:
let technique = SCNTechnique(dictionary: [
"passes" : [
"leftView": [
"outputs": [ "color": "COLOR" ],
"draw": "DRAW_SCENE",
"colorStates": [
"clear": true,
"clearColor": "sceneBackground"
],
"pointOfView": stereoCameraLeftName,
"viewport": "0 0 \(w) \(h)"
],
"rightView": [
"outputs": [ "color": "COLOR" ],
"draw": "DRAW_SCENE",
"colorStates": [
"clear": false
],
"pointOfView": stereoCameraRightName,
"viewport": "\(w) 0 \(w) \(h)",
"blendStates": [
"colorOp": "add",
"alphaOp": "add"
]
]
],
"sequence": [ "leftView", "rightView" ]
])
但是有一个问题:当第二遍被渲染时,屏幕的左侧保持黑色(清晰的颜色)并且右侧被正确渲染,如果我排除这个通道只留下第一个左侧已正确渲染,并且右侧显示为预期的场景背景颜色。奇怪的是,如果不是在我的 iPhone 6s 运行ning iOS 11 上测试,而是在模拟器 (iOS 11) 上测试,一切似乎都正常,我是确定我在结合这两个过程时遗漏了一些东西。
更新 2.1: 从第二遍中删除 blendStates
得到相同的结果。
更新 3: 尝试重新创建 MWE 以重新创建问题我发现我的方法是正确的,我将尝试调查我项目的其他部分以找到哪里有问题。
最终更新: 问题似乎是由抗锯齿在视图上处于活动状态引起的,禁用它会使 SCNTechnique
工作正常,似乎是 iOS 11 我已经提交了错误报告。
这是尝试在多个视图中渲染同一场景的众多问题之一。 (其他包括性能和并发性。)相反,仅使用单个视图并使用 SCNTechnique
在其中渲染视图场景两次可能是更好的选择。
配置技术时,可以为每个绘制通道单独设置 pointOfView
— 如果您正在寻找立体分离,这可能会很方便。
您还可以为每个通道设置 viewport
。如果您正在进行某种立体渲染,您可以使用它来使一个渲染通道覆盖视图的一半,而另一个渲染通道覆盖另一半。