如今，随着人工智能和AR、VR、MR等技术不断迭代升级，科技与文化之间不再是“花开两朵，各表一枝”。不久前结束的文博会上，通过AI工具，不懂绘画的人可以生成精美画作，不懂音乐的人可以创作旋律；还可以在元宇宙中，借助VR等技术感受古代文化的独有魅力。
广州的科研机构和科技企业非常重视科技创新与文化的深度融合。在香港科技大学（广州）的计算媒体与艺术学域，多位深耕AI领域的学者正开展文化遗产保护传承中的前沿科技应用研究；在广东虚拟现实科技有限公司，企业利用MR技术，可以让观众亲身感受湖北省博物馆“镇馆之宝”战国编钟的独特音质。
本期《科技周刊》，我们将带大家感受广州科技与文化的碰撞，了解那些沉浸式文化体验背后的科技支撑。
AI生成的具有疍家文化特征的图片。
让AI精准重现疍家生活
如今，大家在社交软件上常能看到很多AI文生图、文生视频的内容，但因为AI并未深度准确地学习特征文化内容，这些生成的图和视频仍有不少缺陷和谬误。
“AI如何生成一张图或视频？怎么决定图或视频中的每个像素，背后需要AI比较系统地学习某个文化的特征，而不是望文生义地生成。”来自香港科技大学（广州）计算媒体与艺术学域（以下简称“CMA学域”）的许丕文教授告诉记者，他的专业背景是信号识别，属于纯理工科，目前，他担任两个国际多媒体学术期刊的编辑，在AI与文化融合领域的研究颇为深入。
几年前，许丕文就利用AI生图技术进行过相关主题的文化创作，当时ChatGPT这类大语言模型还未出现。2022年，卡塔尔世界杯期间，他就曾用AI学习各个参赛队伍庆祝胜利的文化表达，并进行AI作品创作。“我的作品会出现在卡塔尔球迷观赛的大屏幕上。每支队伍都有自己庆祝胜利的文化元素，我们利用AI技术，生成32支参赛队的庆祝图案，比赛中，哪支队伍进球了，他们的庆祝图案就会配合庆祝音乐出现在大屏幕上，让球迷更加沉浸在进球的喜悦中。”
聚焦疍家文化，通过AI生成艺术作品。
许丕文特别希望寻找粤港澳大湾区内共有的非遗元素，并利用生成式AI等科技，更好地展现和保存这些文化元素。最终，他选择了粤港澳地区共有的疍家文化。疍家人的最大特点是以艇为家，每户一般有一至两艘船用于作业和居住。他们的船被称为“疍家艇”，艇上有拱形的疍篷遮阳避雨，艇旁有长桨推进，艇底有水舱用于装载捕获的鱼，水舱之上垫甲板，白天方便作业，夜晚则以甲板为床。
许丕文告诉记者：“我曾用时下比较流行的AI文生图软件，制作疍家人的生活场景，但生成的图片却是一些富人在游艇上海钓的照片，画风也比较单一，这和真实的疍家生活南辕北辙。”
1949年后，在政府的大力支持下，绝大部分疍民开始上岸生活，今荔湾区陆居路、南沙区东涌镇附近，正是当年广州疍民上岸后的聚居地。随着时代的变迁，疍家艇和他们的生活方式已几近消弭。为了让AI重现真实的疍家生活，许丕文团队在珠江口附近走访了多名疍民后代，拍摄了现存的疍家艇、渔网、疍棚、特色服装等物品的数百张图片。
这些图片和对疍民后代的文字采访，成为AI深度学习的资料。同时，许丕文还不断优化算法，让AI能够准确生成具有疍家文化特征的图片和视频。
2024年10月，许丕文主理的疍家文化人工智能艺术展在南沙举办。展览聚焦疍家文化的历史和传统，通过人工智能生成的艺术作品，涵盖水墨画、工笔画、动漫及装置艺术。展览开始，一位由AI生成的疍家老爷爷向观众们介绍艺术展的内容和疍家文化，随后，疍民用网捕鱼的高清图片、疍民的生活场景，一幕幕展现在观众面前。
“做疍家文化的展览，是为了探索传统文化的现代表达方式，推动大湾区乃至中国文化的全球传播，展现中国文化的无限魅力。”许丕文说，经过这次展览的磨炼，团队进一步提升了文生图算法的准确性，也为后续其他濒临失传或已然失传的文化再现积累了经验。
为重现宋代真实场景构建模型
疍家文化人工智能展只是“牛刀小试”，如今，港科大（广州）CMA学域的另一项AI与文化的深度融合项目，更加令人期待。
去年，CMA学域的张康教授与许丕文等4位学者一起，联合申请并获得《2024年国家社科基金文化遗产保护传承研究专项》中的“文化遗产保护传承中的前沿科技应用研究”，这是这所几乎纯理工方向的院校首次获得国家社科基金支持项目。
目前，许丕文正在用AI准确重现宋代人的生活场景。如今，我们可在多个社交平台上看到AI生成的“靖康之耻”“岳飞从军”等宋代史实视频，但视频中谬误极多，如表现北宋开封皇宫的视频，展现的却是类似明清紫禁城的形象，视频内官员和百姓的穿着，也和史实有很大出入。
许丕文用AI模型生成诗人辛弃疾“醉里挑灯看剑”的图片。
在CMA学域实验室内，许丕文向记者展示了团队用AI模型生成的宋代将军和士兵的形象，这些形象的人物穿着，所使用的武器、战马，以及身后的建筑都符合宋代的史书描述。
此外，许丕文还用自己的头像，生成了诗人辛弃疾“醉里挑灯看剑”的图片；许丕文团队的一位女博士则用自己的头像，生成了李清照“沉醉不知归路”的图案。团队还设计了一款宋词创作大模型，只要输入词牌名和个人想表达的心情或意境，大模型就会生成一首符合平仄、韵脚要求和作者心境的词，这类诗词还可以印刻在瓷盘、茶壶等文创产品上。
“随着AI宋代模型越来越丰富，该模型的应用将会越来越多。如可以利用文生视频的技术创作宋代的影视或动漫作品。游戏企业也可以用此开发宋代主题的游戏作品。”许丕文说。
用AI模型生成的宋代士兵形象。
1．文本收集
许丕文告诉记者，建立AI宋代模型时，通常需要有4个步骤。步骤一是文本收集。收集尽可能多的描述宋代社会风貌的材料，如宋代流传至今的绘画、描述宋代的史书，名人札记等，这将成为投喂大模型的重要原料。
2．特征提取
步骤二是开发和完善可用于文化特征提取的大语言模型算法。经过训练，这些算法是会“读古文”的，它能把步骤一收集的文本中的宋代文化特征提取出来。比如宋代的文人士大夫穿什么衣服？他们喝酒的酒器是怎样的？宋代普通士兵是怎样的穿着？用什么武器？将军又是穿什么？每个年龄段的妇女穿什么？宋代的建筑又是怎样的？这些文化特征经过算法提取后，就成为步骤三的原料库。
3．验证入库
步骤三是文生图与验证。利用步骤二获得的文化特征素材，进行文字生图，生成的图片经过人类专家的验证后，进入图片库。每张文字生成的图片，都会写有相关文献出处，方便专家查询和判断。
4．训练模型
步骤四则是用这些已证明无误的图片再训练生成一个AI宋代模型，并用这个模型进行各类内容生产，比如生成宋代战争的画面。同时，创作者还可以对画风进行选择，如工笔画、卡通或现实场景等。
想听曾侯乙编钟演奏？来元宇宙！
广州多家科技企业非常重视文化与科技的创意交融。在国家级专精特新“小巨人”企业燧光（广东虚拟现实科技有限公司），记者看到了公司生产的多款MR眼镜和MR望远镜产品。这些产品已应用在广东科学中心、广州塔、湖北省博物馆、深圳世界之窗等国内著名旅游景点。
公司品牌负责人文小关向记者展示了MR眼镜下的战国曾侯乙编钟。该国宝现存于湖北省博物馆，是中国迄今发现数量最多、保存最好、音律最全、气势最宏伟的一套编钟，代表了中国先秦礼乐文明与青铜器铸造技术的最高成就。“我们公司与武汉大学合作，利用AI模拟每个编钟发出的声音，并设计了相关软件。游客戴上我们的MR眼镜，然后用手柄敲击元宇宙中的编钟，就可以‘演奏’国宝。”文小关说。
据介绍，公司的MR望远镜已在广州塔顶层运行。游客们透过该望远镜，不仅将全广州的美景尽收眼底，还可以了解广州各个地标建筑的历史，该建筑附近藏有哪些美食。
不仅是燧光，广州多家科技企业都在文创领域深耕。广州力天文化科技集团有限公司近年来设计布展了广东文学馆、广州市文化馆、中山市博物馆等一批高质量的文旅地标与场馆，还有丝路航空航天科普馆、珠海太空中心等一批在建文旅项目。公司致力于创造新体验场景，综合运用AR、VR、MR、5D、多媒体投影等技术，赋能文旅地标出新出彩。
广州卓远虚拟现实科技股份有限公司则深耕XR扩展现实、云计算、大数据、人工智能、区块链等技术领域，已为全球6000多家专业客户交付XR扩展现实整体解决方案。作为卓远股份旗下的VR文旅娱乐品牌，幻影星空深耕VR文旅娱乐产业十余年，已形成“规划设计—硬件—软件—内容—运营—服务”的完整产业链，可提供裸眼飞行影院、XR实感互动、沉浸式观影等多元产品体系，全球累计接待体验人次超10亿次。
游客透过广州塔顶层的MR望远镜，不仅能看到广州美景，还能了解各个地标建筑的具体信息。
大院大所谈创新
用前沿科技传承文化遗产
许丕文介绍，香港科技大学（广州）的CMA学域在科研和学术方面拥有强大实力。CMA学域不仅牵头建立了拥有先进设施设备的CMALab，学者们还开展了多项研究项目，涉及AR、VR、人工智能生成艺术、信息艺术与设计、数据可视化等领域。
比如，在CMA学域的4位学者共同申请获得《2024年国家社科基金文化遗产保护传承研究专项》“文化遗产保护传承中的前沿科技应用研究”中，许丕文主要负责文化遗产视觉特征的精确内容生成技术创新，目前他的工作是全面捕捉文化遗产的视觉特征，创新开发一系列带有文化遗产视觉特征的内容生成模型。张康教授则专注于整合专家知识和美学特征提取技术，建立评分系统和数据驱动模型，为国画、书法、壁画、浮雕、服装设计、地毯、剪纸等领域的内容生成提供美学标准，确保生成内容的文化和艺术价值。王泽宇助理教授计划通过高精度的三维扫描设备和智能重建技术对文化遗产场景进行三维数据的采集与分析，为文化遗产保护传承提供更加准确和高质量的数据基础。此外，结合数字人重建和VR/AR技术，将为参观者构建更加真实的沉浸式互动体验，提升文化遗产保护效果和公众参与度。曾伟助理教授旨在构建一个能够统一展示文本、图像和三维模型的多模态数据可视化系统。利用数字化传播手段和教育推广，推动文化遗产的广泛传承。
游客透过广州塔顶层的MR望远镜，不仅能看到广州美景，还能了解各个地标建筑的具体信息。
名词解释
AR（AugmentedReality，增强现实）
一种将虚拟信息与现实世界相融合的技术，通过计算机技术将虚拟的信息应用到真实世界，实时计算用户的地理位置及角度，将相应的图像、视频等信息叠加到用户的视野中。
VR（VirtualReality，虚拟现实）
一种通过计算机模拟生成可以交互的三维虚拟环境，让用户沉浸其中的技术。用户通过佩戴VR设备，如头盔、手套等，完全沉浸在虚拟世界中，与虚拟环境进行交互。
MR（MixedReality，混合现实）
增强现实和虚拟现实的结合体，既包含虚拟现实的沉浸式体验，又包含增强现实的叠加功能。MR通过将虚拟物体与现实环境进行无缝融合，让用户可以在虚拟和现实之间自由切换。
XR（ExtendedReality，扩展现实）
涵盖了AR、VR、MR等所有扩展人类现实体验的技术，强调通过各种技术手段，扩展人类对现实世界的感知和交互能力。
文/广州日报新花城记者：武威
图/广州日报新花城记者：李波 通讯员：卢梦舟
广州日报新花城编辑：张宇
