“沉浸式”媒体技术 让科学更美丽

08.03.2017  00:03

说起“沉浸式”媒体技术,你可能不熟悉,但说起AR/VR技术,即便你不太了解,可能也曾有所耳闻。戴上一台虚拟现实头盔后,睁开眼睛,你可以看到一片森林,还能在森林中行走、驻足,甚至与动物对话,森林中的一切将你包围,你“身临其境”,这就是“沉浸式体验”。

学术意义上的“沉浸式”,来源于匈牙利籍著名心理学家米哈里·契克森米哈1975年提出的沉浸理论。该理论认为,当人们在进行某些日常活动时,会完全投入情境当中,过滤掉所有不相关的知觉,进入一种沉浸的状态。当沉浸理论延伸到人机互动媒体上时,就出现了沉浸式媒体。AR的专业术语是增强现实技术,VR是虚拟现实技术,将这两种技术运用在媒体形式上,就是最新的“沉浸式”媒体技术。

一幅图促成一个研究院

在中科大先研院一楼大厅,一幅美丽的科学可视化作品,面积达200平方米以上,生动地表现了单分子拉曼光谱成像的科学成果。该成果表现的是中科大前任校长侯建国院士、董振超教授团队发表在顶级学术期刊 《自然》上的一篇论文成果。当时,由中科大科技传播与科技政策系周荣庭教授带队,为拉曼成像成果制作了5个科学可视化方案。这些可视化原理图被广泛应用于《自然》网站和国内外新闻宣传上。对科学可视化印象深刻的侯建国院士,在随后开展的校企合作探索中,积极指导并推动了中科大与皖新传媒共建新媒体研究院。

2014年8月8日,中科大“沉浸式”媒体技术实验室即新媒体研究院在中科大先研院正式挂牌成立,周荣庭教授出任院长。实验室成立的初衷,就是探索VR/AR等“沉浸式”媒体技术在科学传播与科学教育上的应用,通过新媒体技术的融合,来推动科学文化的传播。

在最初接洽的时候,皖新传媒负责人曾半开玩笑地对周荣庭说:“你把侯校长请到皖新传媒来,我们就每年支持1000万元。 ”周荣庭去请示侯建国校长,极少去企业参访的侯校长说:“这是好事,我给你背书去。 ”在考察皖新传媒的短短两小时中,皖新传媒居然出版了一份关于侯校长考察的内部刊物。所有编写、排版、印刷工作,均在两小时内完成。这种按需出版的技术和效率,给侯校长留下深刻的印象。在合作中,侯建国鼓励新的研究平台致力于创建国家级工程技术研究中心、建设国家级新媒体人才培养基地,并开创国际化新媒体学术交流平台。

可以说,一幅图促成一个研究院。 ”周荣庭感慨地说,一方面,科技的快速发展促进了公众对科技文化产品与教育需求的不断增加;另一方面,研究院以中科大人文学院科技传播与科技政策系为依托,是需求与技术的强强联合,这让新媒体研究院对未来发展充满信心。

将科学与人文深度融合

如果早点看到这一科普作品,我或许就选择化学专业了。 ”一位大学生看过中科大体验式数字传播作品《美丽化学》后,在写给制作团队的信中感慨地说。

中科大新媒体研究院出品的体验式数字传播作品《美丽化学》,将科学的神奇与美丽通过可视化影像传播给大众。截至目前,作品已有超过千万的独立访问量,得到《时代周刊》等全球140余家媒体的重点关注与报道,2015年2月获得由美国国家科学基金会(NSF)和美国《大众科学》杂志举办的Vizzies国际科学可视化竞赛大奖,这是国内作品首次获得该奖。

成立短短两年多时间,中科大新媒体研究院在国内外已初步拥有一定的影响力和知名度。依照“沉浸式”阅读理念,实验室利用自主研发的基于手机与PAD的增强现实出版技术平台“科学荟”,于2015年与电子工业出版社合作研发了AR绘本《消失的世界》,并延伸开发了相关联的三套桌牌游戏……在此基础上,实验室还开发了一套行业领先的轻量级增强现实编辑技术及云生产平台,该平台将在行业垂直领域实现特征识别、数据转换、编辑制作、数据管理传输、标准制定等方面的集成设计和研发,为VR/AR技术行业服务高效定制奠定了基础。

短短两年多时间,就取得了如此多实质性的进展,他们是怎样做到的? “我们将科学与人文深度融合,并以此为核心竞争力,交叉学科背景更是我们的一大优势。 ”周荣庭表示。

令新媒体研究院院长助理吴茂乾记忆特别深刻的是,周荣庭院长特别强调 “聚焦”二字:聚焦国际最前沿的成果,专注于擅长的领域、埋头苦干。周荣庭对于每一个产品都有着严格的要求,每次有新产品出来,周荣庭都是第一个试用的用户,“如果是自己都不满意的作品,宁可承受损失,也不要交付给用户”。

互动体验让科学更美丽

2016年初,中科大新媒体研究院启动面向中学理科教师使用的互动式多媒体课件演示平台“火花学院”项目,吴茂乾是主要负责人。

在与蚌埠二中合作开展化学公开课的过程中,由于时间紧、要求高,团队部分成员曾建议将AR技术应用部分去掉。吴茂乾经过慎重考虑,坚持将AR技术引入到公开课中,并前后3次带领团队前往学校沟通协调。最终,AR技术所呈现出的分子结构模型,得到了全校师生的一致好评,作品入选国家级公开课名录。

2015年,该研究院与电子工业出版社达成合作意向,计划出版一本增强现实的科普绘本。获得法国科普大奖的作品《消失的大陆》进入了团队视野,在保持原绘本艺术风格的前提下,团队需要将绘本上的动物通过3D技术动态复原,并展示它们如何跳、如何跑、如何飞翔、如何进食。对于他们来说,这是一个巨大的挑战。

在制作过程中,团队遇到不少技术难题,比如在移动终端性能的限制下,如何用有限的计算资源呈现原绘本精美的艺术性?一个动物只能用5000~10000个画面贴片组成,所有的贴图必须绘制得非常精细。 “所有的设计都是团队成员们反复核查资料获得的。 ”吴茂乾说,“科学与人文的结合更需要严谨的科学态度。

以始祖鸟为例,所有的羽毛都需要单独建模,每个动作都要做到精确:始祖鸟扇动翅膀,不是将双翅向后展开到后背,而是在胸部一侧(双翅夹角不能超过180度)。以爬行方式移动的古生物,爬行方式也各有不同:梁龙行走是一侧的前脚先移动,同时该侧的后脚跟上,然后再换另一侧脚;而翼手龙是以“左前、右后、右前、左后”这样“对角线”方式移动四肢。

在团队的共同努力下,AR出版物《消失的世界》于2015年底正式推出。在2015年北京图书订货会上,《消失的世界》首批5000本图书销售极为火爆,一上市便被抢购一空。 “‘沉浸式’媒体技术展现了科学的美丽,并赋予用户沉浸式互动体验,不仅在增强融合的体验中为我们打开无限想象空间,还将想象空间变为现实。 ”周荣庭说。(记者 桂运安 通讯员 刘爱华)