文档开发者中心
我的
|

HarmonyOS 6

ArkGraphics 3D

GSPlugin 渲染的 3DGS 能否注入自定义 Shader 做边缘裁剪?

已解决

问题

@hms.graphics.spatialRender.GSPlugin 渲染的 3DGS 高斯泼溅,能否注入或替换其 fragment shader,实现按包围盒(AABB)对每个 splat 做逐 fragment 裁剪?

需求

Three.js + Spark 渲染同一份 .ply 时,可以通过对 Spark 的 fragment shader 源码做字符串 patch,注入一段代码,把落在指定 AABB 之外的 splat 直接丢弃。效果是把 3DGS 模型干净地"切"在包围盒内,不会有边缘羽化外溢,可以做精确剪裁、空间标注、AR 边界等场景。希望在鸿蒙端也能达到同等能力。

询问

1. 是否有任何公开(或可申请的非公开)API,能让开发者注入或替换 GSPlugin 的 splat fragment shader?

2. 是否有 API 可以传入若干 clip plane / AABB / 任意凸体,让 GSPlugin 在内部做 per-splat / per-fragment 的裁剪?

3. 目前是否有其他官方推荐的方案?
期望效果
如图所示,3dgs在平面处被干净裁切
cke_8399.png

点赞
收藏
回复
2
分享
举报
浏览381 发布于2026-05-23 05:06上海
全部评论
最多点赞
最新发布
最早发布
|
采纳答复

目前公开能力下,@hms.graphics.spatialRender.GSPlugin 基本是一个“黑盒渲染器”,暂时还不支持像 Three.js / Spark 那样对 3DGS 的 shader 做深度注入。

你提到的这种:

收起
自动换行
深色代码主题
复制
per-fragment AABB clipping

本质上属于:

收起
自动换行
深色代码主题
复制
开发者自定义 splat fragment shader

而 GSPlugin 当前没有开放这一层能力。


先说结论

1. 能否注入/替换 GSPlugin 的 fragment shader?

目前公开 API:

收起
自动换行
深色代码主题
复制
不支持

包括:

  • fragment shader 替换
  • shader patch
  • GLSL 注入
  • material hook
  • render pass callback

目前都没有开放。

GSPlugin 更偏:

收起
自动换行
深色代码主题
复制
高层封装的 3DGS Runtime

不是:

收起
自动换行
深色代码主题
复制
可编程渲染管线

2. 是否支持 clip plane / AABB / convex clipping?

目前也:

收起
自动换行
深色代码主题
复制
没有公开 API

至少现阶段:

  • 没有 clip plane
  • 没有 volume clipping
  • 没有 splat discard callback
  • 没有自定义 visibility filter

为什么你在 Three.js + Spark 能做?

因为 Spark 本质上:

  • shader 源码是开放的
  • splat pipeline 可 patch
  • fragment discard 可改

例如:

收起
自动换行
深色代码主题
复制
if(pos.x < minX || pos.x > maxX){
    discard;
}

这是典型:

收起
自动换行
深色代码主题
复制
per-fragment discard

但 GSPlugin 内部 shader:

收起
自动换行
深色代码主题
复制
开发者不可见

所以做不了同级别 patch。


当前 GSPlugin 更像什么?

它更类似:

引擎

特征

SceneView

高层

GSPlugin

高层

Filament

中层

Vulkan/OpenGL

底层

GSPlugin 属于:

收起
自动换行
深色代码主题
复制
“只负责播放/展示3DGS”

而不是:

收起
自动换行
深色代码主题
复制
“开放3DGS渲染管线”

3. 官方推荐方案有哪些?

目前能想到的只有几类“曲线方案”。


方案1:模型预裁剪(最现实)

在导出 .ply 前:

直接对 Gaussian 数据做 CPU 级裁剪。

即:

收起
自动换行
深色代码主题
复制
超出 AABB 的 splat 不导出

这是目前最稳定方案。


原理

3DGS 的每个 splat 本身就是:

收起
自动换行
深色代码主题
复制
position + covariance + color + opacity

你完全可以:

收起
自动换行
深色代码主题
复制
预处理ply

把:

收起
自动换行
深色代码主题
复制
position 不在 AABB 内

的 splat 删除。


优点

  • 性能最好
  • 没 shader 依赖
  • HarmonyOS 可直接用
  • 没边缘羽化

缺点

不能动态裁剪。


方案2:多模型分块

把场景:

收起
自动换行
深色代码主题
复制
Spatial Chunk

化。

例如:

收起
自动换行
深色代码主题
复制
room_1.ply
room_2.ply
room_3.ply

然后:

收起
自动换行
深色代码主题
复制
动态显示/隐藏

实现“区域裁切”。

很多移动端 3DGS 实际都这么干。


方案3:Stencil / Depth Mask(效果有限)

理论上:

可尝试:

  • 自定义空间遮罩
  • 深度裁切
  • RenderNode mask

但:

收起
自动换行
深色代码主题
复制
只能遮挡

不能真正:

收起
自动换行
深色代码主题
复制
fragment discard

所以:

  • 边缘羽化还会存在
  • 高斯尾巴仍会泄露

达不到你图里这种“干净切面”。


方案4:完全绕过 GSPlugin

这是唯一真正能做到:

收起
自动换行
深色代码主题
复制
Three.js Spark 同等级能力

的方法。

即:

  • 自己实现 3DGS renderer
  • Vulkan/OpenGL ES
  • 自己写 splat shader

这样:

收起
自动换行
深色代码主题
复制
discard;

随便玩。


但代价很大

因为你需要自己实现:

  • splat sort
  • covariance projection
  • anisotropic gaussian
  • transparency blend
  • visibility resolve
  • mobile optimization

工作量巨大。


目前行业现状其实也类似

很多平台:

平台

是否开放3DGS Shader

Luma

❌

Polycam

❌

GSPlugin

❌

Unity插件

部分支持

Three.js Spark

✅

真正开放 shader 的并不多。


你这个需求本质属于:

收起
自动换行
深色代码主题
复制
专业级 3DGS 编辑能力

而目前 HarmonyOS GSPlugin:

更偏:

收起
自动换行
深色代码主题
复制
消费级渲染能力

如果你一定要“动态裁切”

目前最接近的方案建议:

推荐组合

收起
自动换行
深色代码主题
复制
CPU 预裁剪 + 分块加载

或者:

收起
自动换行
深色代码主题
复制
自己实现 3DGS Renderer

否则:

收起
自动换行
深色代码主题
复制
GSPlugin 当前做不到真正 fragment clipping

最后补充一个关键点

你图里的:

收起
自动换行
深色代码主题
复制
“平面干净切断”

实际上不仅仅是:

收起
自动换行
深色代码主题
复制
clip plane

还涉及:

收起
自动换行
深色代码主题
复制
Gaussian opacity tail elimination

因为 Gaussian 本身是连续衰减。

很多引擎即使支持 clip plane:

边缘仍会有:

收起
自动换行
深色代码主题
复制
半透明羽化

只有:

收起
自动换行
深色代码主题
复制
fragment discard

才能真正切干净。

而这正是当前 GSPlugin 没开放的核心能力。

展开全部
3楼回复于2026-05-25 08:58 来自辽宁

从目前公开的 Spatial Render / GSPlugin API 来看,GSPlugin 主要暴露的是加载 GSNode,以及官方提供的若干效果参数,例如 Retro、Comic、ObraDinn、ColorEditing 等。我没有看到可传入自定义 fragment shader、替换 splat shader,或直接配置 clip plane / AABB / 任意凸体裁剪的公开接口。

所以如果目标是像 Three.js / Spark 那样做逐 fragment 的硬裁剪,目前不建议按“patch GSPlugin 内部 shader”的方式设计,后续版本兼容性也不可控。

可考虑几个替代方向:1. 在数据侧预处理 .ply,把 AABB 外的高斯点过滤后再加载;2. 如果裁剪区域固定或变化很少,离线生成多份裁剪后的 3DGS 资源;3. 对实时交互裁剪要求很高的场景,评估自研渲染链路或其他可控图形管线;4. 将 clip plane / AABB 裁剪作为 GSPlugin 能力诉求提交给官方,并附上 AR 边界、空间标注等业务场景。

2楼回复于2026-05-23 16:46 来自四川
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要提问题

了解社区公约,与您携手共创和谐专业的开发者社区。