发布于 2023-08-11 / 510 阅读

石墨优易超高清虚拟演播系统

石墨优易是新奥特研制的超高清虚拟演播产品,此产品在继承新奥特丰富图文经验的基础上,面向未来应用,为满足新时期的需求应运而生。

系统采用双引擎架构,基于高质量、高效率的双渲染引擎,引入实时光线追踪技术,实现了光照材质、特技滤镜、粒子系统等效果;系统充分利用GPU+CPU技术,自主研发大量高效算法,包括拥有自主知识产权的无限蓝箱、软色键抠像等技术;系统支持HDR/WCG信号处理,提供前后端HDR/SDR实时转换处理手段,向下兼容HD/SD信号格式;系统针对超高清应用自主研制精确镜头标定与畸变处理算法,完美实现虚实结合的跟踪效果;系统支持超高清数字信号的输入输出,向下兼容HD/SD信号格式;系统同样提供灵活可定制的机位配置方案。

主要技术参数、系统指标:

基于虚幻渲染引擎,直接完成虚实合成和视频信号输出。

石墨优易可以对三维物体、三维文字、三维图片、三维曲线进行实时渲染,生成虚拟背景和虚拟前景,并可以通过虚拟演播室主控端播出中进行实时更改变换,能够在摄像机运动的情况下,保证场景渲染的平滑、稳定、无锯齿

支持AR、VR、MR综合应用

采用制播分离的系统架构,主控端直接操作渲染端虚拟场景播出。操控简便、配置灵活、播出安全

支持12G SDI、4*3G SDI、IP-2110多种超高清信号格式,并兼容高清和标清

4x3G-SDI提供2SI和SQD两种格式,并可通过软件实现2SI

IP-2110输入输出时,支持2022-7冗余保护,支持2059 PTP时钟锁相

色域支持ITU-R BT.2020和ITU-R BT.709

HDR符合ITU-R BT.2100,支持HLG、PQ、S-Log3曲线

支持断电直通

采用GPU算法技术实现HDR、WCG转换

支持3.5亿以上面片模型的渲染,支持30G以上的纹理贴图

支持光线追踪渲染,支持PBR材质

支持各种实时光照效果,包括动态高光反射、体积光、光照贴图、光晕、镜头光环等特效;

支持多种材质贴图方式,包括凹凸贴图、法线贴图、反射贴图、立方体贴图、球面贴图等;

支持粒子系统。粒子发生器可支持位置、姿态、延时、发射个数参数调节,支持颜色、光照、加速、删除属性调节。粒子编辑器支持连续生成和爆发生成模式,提供生命期、初始尺寸、初始方向、透明控制等属性调节。支持粒子碰撞功能。可以模拟雨雪、烟雾、火焰、瀑布等效果

支持FBX、OBJ、3DS格式的三维模型导入,实现与3DMAX、MAYA、D5、C4D等制作软件的交互,可以对导入模型进行编辑;

支持FBX骨骼动画,实现关节联动、皮肤置换等功能,支持通过动捕系统操控虚拟动画人物

支持LOD自动处理能力,可实现模型面片数随着与摄像机之间距离的变化而变化;

支持三维动画制作播出,物体大小、运动路径、摄像机参数等都可作为关键帧;

支持物理模拟碰撞效果,碰撞响应支持Ignore(忽略),Overlap(重叠),Block(阻挡),实现自由落体、爆炸、弹射等效果;

支持动力学系统,模拟重力、风力、浮力、摩擦等,可实现旗飘、落叶、漂浮物等自然现象;

提供图形化性能分析工具,可实时查看模型的三角面片数,根据场景模型面片、纹理复杂度等提供每帧渲染耗时、丢帧状态,可对渲染性能实时分析

支持公告牌显示功能

支持主流跟踪协议,包括但不限于FreeD、BlackTrax、e-Crane、Kuper、MoSys、Motion Analysis、NCAM、Orad、SolidTrack、Spidercam、Sportvision、Stype、Telemetrics、Trackmen等

可实时读取摄像机传感器的多项参数,支持基于光电传感的物理摇臂跟踪,推拉、旋转、摇移、聚焦等跟踪无滑步,图像平滑连续、无抖动

支持基于红外识别的摇臂跟踪,支持多种摇臂,不需要对摇臂进行加工改造;摇臂的推、拉、摇、移跟踪无滑步,图像平滑连续、无抖动;

支持电控云台跟踪,电控云台可以放在摇臂上,也可以放在固定三脚架上;

支持机器人云台跟踪,机器人云台可以放在摇臂上,也可以放在固定三脚架上;

支持ROSS、NCAM等点云跟踪系统,机器可以放在包含摇臂、升降摇臂、机器人、固定三脚架、斯坦尼康、飞猫上,推、拉、摇、移等跟踪效果无滑步,图像平滑连续、无抖动;

机位移动后,跟踪状态保持,无须调整初始化参数,无须测量,自适应初始化定位;

支持内置色键,支持多级抠像、区域抠像,可实现4路以上超高清信号同时抠像。

色键抠像结果无失真、无闪烁、无色溢、边缘过渡自然平滑,可实现对发丝、烟雾、阴影和透明体的细腻处理。

支持多机位可编辑无限蓝箱,参数可以动态调节,支持外混和内混模式。

主控端支持多机位合成画面预监,支持显示器、HDMI和SDI同步输出。

系统支持至多四路无轨虚拟通道,每一路无轨通道可单独配置视频源并支持多级抠像

系统支持建立多讯道的无轨跟踪机位,可在任意两个虚拟镜头间推拉摇移拍摄,运动方式和运动时间可实时调整。

系统支持将多个无轨跟踪机位编辑生成虚拟摄像机轨迹使用。

系统支持有轨无轨虚拟融合使用,实现有轨机位上添加无轨机位位置的使用方式。

项目技术及工艺创新要点:

虚拟植入技术的无缝结合

石墨通过图像识别和分析结合传感器数据,自动定位摄像机在虚拟场景中的位置和姿态,而不需实际测量摄像机在现场的位置距离等物理信息。

支持摄像机装配误差的自动校正;通过图像识别技术可以自动推算摄像机CCD的转轴参数, 并校正云台装配造成的俯仰和侧滚误差。

支持摇臂、伸缩摇臂和飞猫的传感参数的精细化误差校正;石墨独创的精细化调整方法,在央视实测中达到了很高的跟踪精度(0~2厘米误差);该校正技术方案可以推广到轨道等其他可移动的摄像机跟踪的应用上。

石墨的GPU色键具有很高的效率,4K画面的处理在1.5毫秒以内;抠像质量很高,包括亮度和阴影处理,保证真实人物在虚拟场景中的“落地感”。

系统创新性地对每一路摄像机输入图像都支持三级色键级联,可以分工逐级细致处理抠像效果,也可以同时对多个区域和/或多个颜色进行抠像。

色键界面包括灵活的抓图察看功能,可细致观察每一路摄像机输入的每一级色键的输入和输出图像,色键取色基本在此进行。

输入视频、抠像视频和多个虚拟图层渲染共同组成了虚拟演播、虚拟植入的场景,并且可与其它包装图层叠加播出,融为一体。

支持渲染机与跟踪摄像机之间一对一、多对一、一对多、多对多等系统构型,并可集中控制跟踪和色键的调整;并支持基于UE和“石墨优易”系统的渲染机。

“石墨优易”系统支持UE渲染

基于“石墨”的UE插件套件 – 包括时钟插件、输入输出I/O插件、媒体文件播放插件、色键插件、虚拟摄像机插件、数据替换插件、核心播控插件和辅助制作插件,以及独立的“石墨优易”播控程序,构成“石墨优易”的功能主体。

可控制UE渲染图像的视频输出和外视频输入,支持各种“石墨”系统的I/O格式和介质,支持高清和4K制式、8位BGRA(SDR)渲染或者16位浮点RGBA(HDR)渲染模式。

支持视音频和图像序列等媒体文件的播放和实时替换,包括“石墨”支持的各种格式;可以自动生成该功能所需的UE纹理材质。

支持UE场景内的各类蓝图触发、场景动画触发、子场景加载及物体空间变换。

“石墨优易”独创的UELink技术可将UE渲染画面实时传递给“石墨”系统作为一个图层,可与石墨各个虚拟图层以及常规图层叠加,形成统一的画面。

“石墨”跟踪传感程序可驱动UE的虚拟摄像机插件,并可与“石墨”场景内的虚拟摄像机同步驱动,配合UELink技术,实现双引擎联合渲染、联动跟踪。