摘 要：

本文旨在对领悟智能设计的人智共创设计过程进行深入剖析，并磋商在智能创意背景下，设计师多模态状态识别的有效方法，以及未来研究的寻衅。

关键词：

人智共创；创意状态；多模态；状态识别

0 弁言

设计师与人工智能（AI）在设计领域的共创过程（人智共创）既是机遇也是寻衅。
随着 Web 3.0技能的发达发展（Gan et al.，2023），人工智能与各领域的深度领悟为人智协作开辟了新的可能性（Kulkarni et al.，2017；TONG et al.，1992；Wu et al.，2021）。
人工智能已被证明是设计任务中的有效赞助工具，其在天生创意内容、评估创意方案及引发创意灵感等方面均展现出显著成效。

设计过程是繁芜且多维度的交互过程，涉及知识或目标驱动思维（自上而下）与情境驱动或驱动思维（自下而上）之间的繁芜相互浸染（Chrysikou， 2014）。
在产品开拓流程中，观点设计尤为关键（Li et al.，2010），其核心是创造性构想，包括设计问题的代价挖掘和设计方案的创意构思，实现这些目标的关键技能是多通道的创意捕捉和创意引发。

人智协作观点创新设计中，人类设计师善于创意构思，而智能系统则更善于创意引发（Liu et al.，2020），设计过程中的关键步骤在于如何构建人智协作系统，使其能够预测设计师的设计状态，并根据这些状态应时调度系统的参与办法和程度。
设计状态包括设计师把稳力分配（Dybvik et al.，2022）、设计偏好（Gonçalves et al.，2014）、认知负荷（Ehkirch et al.，2021）和感情状态（Shi et al.，2020）等。
通过剖析这些设计状态，人智协作系统可以选择最为得当的交互通道，为设计师推送具有启示性的设计资源，从而引发其创意思维。
此外，系统还须要根据设计师对推送内容的接管程度和设计偏好的变革，动态调度反馈内容，以提升设计过程的整体效率（Wang et al.，2016）。

在人智协作系统中，创意引发技能的核心在于创意内容的识别和推送。
这哀求系统能够整合和统一各种设计资源的特色，这些资源包括设计案例库、环球专利库、开源办理方案库，以及大模型等（Tholander et al.，2023）。
通过有效管理和利用这些资源，人智协作系统可以为设计师供应更加精准和高效的支持，推动设计领域的创新和进步。

1 智能创意背景下设计流程与设计师状态识别

传统设计过程以构思、呈现和修正为主线，至今仍在当代设计实践中霸占主要地位。
随着互联网技能的崛起，打算机逐渐演化成为跨设计领域的核心构思工具（Jonson，2005）。
打算机赞助观点设计（CACD）成为研究焦点，通过比较打算机赞助设计过程与手绘草图设计过程 （Bilda et al.， 2003；Plimmer et al.，2002），创造数字设计工具的引入使得设计师在关注细节与整体之间切换的频率增加，同时改进设计方案的频率也有所提升（Won， 2001）。
进一步的研究，如 Lin et al.（2020）的事情，引入了具身机器人与设计师共同绘制草图，证明了机器人在协作创造过程中对设计师的创新思维和协作观点化过程的积极影响。

自 2010 年以来，人工智能天生内容（AIGC）迅速发展，成为一种新的内容创建办法。
它利用人工智能技能天生内容以知足用户需求，是对传统内容创作办法的补充，并展现出广阔的运用前景。
与早期的打算机赞助设计不同，AIGC 在内容制作方面展现了一定的创新能力。
从手工草图到人机共创，再到 AI天生，这一过程标志着设计过程的数字化转型。
设计方法论也从个人创意逐步演进到协同创新，终极发展为智能天生，从而深化和智能化了人机关系。

然而，人智共创过程与传统设计方法的显著差异带来了评估设计师状态的寻衅。
为了应对这一寻衅，基于生理数据的评估方法成为了一个可行的方向，包括眼动追踪（Aalto et al.，2022）、脑电图（Cao et al.，2022）、姿态（Gunes et al.，2007）或者面部表情（Xu et al.，2023） 等成熟技能来捕捉感情、认知负荷和把稳力等关键指标。
这些方法的目的是丈量和推断设计师在人智共创设计过程中的状态，从而为优化人智协作和提高设计效率供应有力支持。

2 面向人智共创过程的多模态智能创意通道研究

创意设计过程是一个综合性强且繁芜的过程，涵盖问题定义、用户研究、创意天生、观点开拓、原型制作、测试和履行等多个阶段。
在这一过程中，包括草图、笔墨、语音和生理信息等各种与创意过程干系的通道，扮演着至关主要的角色，共同助力设计师和设计团队引发创意思想并完善终极的设计观点。
在早期设计阶段，草图和草模等视觉通道发挥着快速探索不同设计观点的主要浸染。
设计师通过绘制草图或制作草模，能够直不雅观地呈现设计想法，进而快速迭代和优化设计方案。
笔墨通道则在设计问题的定义和分解过程中发挥着不可或缺的浸染，帮助设计师准确地传达设计需求和意图。
随着设计流程的深入，生理信息通道如眼动和脑电等能够实时采集设计师的生理数据，与其他通道相辅相成，共同帮助理解设计师在不同阶段的设计状态。
例如，眼动数据可以揭示设计师在设计过程中的视觉把稳分布，而脑电数据则可以反响设计师的认知负荷和感情状态。

根据通道包含的信息类型，与设计创作过程干系的通道可以分为面向设计内容的通道和面向设计师的通道两大类。
面向设计内容的通道紧张关注如何表达设计的核心观点、构造和内容，包括草图、语义和草模等，帮助设计师将设计思想详细化，为设计方案的迭代和优化供应有力支持。
而面向设计师的通道则侧重于如何识别设计师状态，帮忙识别设计内容，并供应关于设计师把稳力、认知负荷、感情等间接信息，帮助设计师更好地认识自己在设计过程中的状态和需求，从而作出更加明智的设计决策。

2.1 面向设计内容的创意状态捕捉

草图、语义和物理模型已被认可为促进设计研究和构思的赞助工具（Christiaens et al.，2020），不仅帮助设计师将创意想法转化为可理解的形式，还促进了设计过程中的互换和协作。

草图是创意过程中的有力工具，许可设计师快速记录和演示创意意图的基本观点。
草图具有直不雅观性和灵巧性，使得设计师能够迅速捕捉和表达创意的火花。
通过草图，设计师可以更好地理解和探索设计问题，从而推动创意的天生和发展。
语义，包括笔墨和语音等，在传达创意意图方面发挥着重要浸染。
笔墨可以精确地描述设计细节、供应背景信息、阐明设计决策，并传达设计情绪和代价不雅观。
语音则能够实时地互换设计想法，促进团队成员之间的沟通和协作。
通过语义的利用，设计师能够更有效地将创意想法传达给其他人，从而得到反馈和建议，进一步完善设计方案。
物理原型是设计过程中的另一个主要工具，能够更全面地表现设计方案。
通过物理原型，设计师可以仿照产品的实际利用场景，评估其可行性和用户体验。
物理原型还具有直不雅观性和可触性，使得设计师和用户能够更直接地感想熏染到设计的形态、构造和功能。

2.1.1 草图

草图是设计和构思的主要组成部分，被设计师广泛采取作为产生和互换设计想法的手段。
根据所利用的工具，草图可分为徒手素描（Freehand sketching）和打算机赞助草图（computer-aided sketching）两大类。
其设计内容的提取，如表 1 所示。

表 1 草图设计内容提取

2.1.2 语义

在设计中，语义信息用于记录和传达设计内容，包括观点、目标、功能、用场等。
在草图中添加笔墨阐明草图的含义、高下文或比例，有助于理解设计内容 （McGown et al.，1998）。
通过结合草图中的笔墨阐明和设计师在设计干系活动中的大声思考访谈，研究职员可以更深入地理解设计师在设计干系活动中的认知过程（R. Liu et al.，2021）和设计师实行任务的办法（Jaspers et al.，2004）。
语义设计内容的提取，如表 2 所示。

表 2 语义设计内容提取

2.1.3 物理原型

设计理念的物理表示称为物理原型（prototype）（Lim et al.，2008）。
研究表明，原型有助于在创意开拓的早期阶段更准确地方案设计过程（Youmans2011）。
在早期设计阶段反复利用低保真模型，有助于更全面地突出关键设计问题，扩大创意空间，产生更具本钱效益的设计办理方案（Isaet al.，2015）。

在当代设计流程中，数字模型与物理原型常常是相互补充的。
设计师首先通过数字模型进行初步的设计探索和优化，然后将这些数字模型转化为物理原型进行实际的测试和验证。
设计职员通过制作和修正物理原型并结合数字模型，数字模型的视觉阐明被迅速投射到物理模型的有形界面上。
通过这种办法，他们可以迅速地将数字模型的视觉阐明投射到物理模型的有形界面上，从而更直不雅观地理解设计的实际效果。
这种办法可以仿照干预方法对操持设计方案的影响，并加快利益干系者之间的协作共识。

2.2 面向设计师的创意状态捕捉

在设计领域，理解设计师在创作过程中的设计状态至关主要。
设计状态常日涉及设计师在创作过程中的认知负荷、把稳力分配、感情状态等多个方面。
为了更准确地定义和评估设计师的设计状态，研究职员可以利用多通道生理信息剖析技能，个中包括脑电图（EEG）、眼动追踪（Eye Tracking）及面部表情识别等。
由于篇幅所限，本文以较常用的眼动追踪和脑电图通道及其双通道领悟为例。

2.2.1 眼动

思维活动在很大程度上是无意识征象（Jacob et al.，2003），在外部表现为视觉行为。
因此，眼动追踪技能被认为是探索用户思维活动的最得当的方法之一（Clement et al.，2013）。
相较于其他认知数据的网络方法，眼动数据的网络速率更为迅速且直接（Ware et al.，1986），能够实时地反响出把稳力的变革，因此适宜作为研究繁芜内部过程中抽象观点的客不雅观指标（Hyönä et al.，2002）。
基于眼动的设计状态的提取，如表 3 所示。

表 3 基于眼动的设计状态提取

2.2.2 脑电

脑电图已被广泛运用于监测设计场景中的认知功能。
脑电旗子暗记中包含的设计信息可以分为决策信息和偏好信息两类。
决策信息紧张揭示大脑在处理设计干系信息时的决策过程及其结果，而偏好信息则表示了设计师大脑对外界设计刺激的情绪体验及代价判断。

过去的研究已证明，大脑内侧额叶皮层与中额叶区域的 β 范围（16~18 Hz）、低频段的 F7 正面和 T6颞信道（Yılmaz et al.，2014），与个体的偏好密切干系（Boksem et al.，2015）。
此外，感情与把稳力等生理成分也被证明与创意设计过程有关（Agarwalet al.，2019），脑电功率谱中的 α 波和 β 波，以及事宜干系电位（ERP）中 N1、P3 等身分均与把稳力和认知加工有关，γ 波段的神经振荡与设计师在创意设计过程中的神经信息通报和意识体验存在关联。
基于脑电的设计状态的提取，如表 4 所示。

表 4 基于脑电的设计状态提取

2.2.3 多通道生理通道领悟

鉴于单一通道生理数据丈量的局限性，多模态系统的运用逐渐受到研究职员的关注，个中领悟了多种生理和行为数据以提高评估结果的可信度和准确性（Guo et al.，2019；Wang et al.，2020；Zheng et al.，2018）。

多通道领悟的创意捕捉（见表 5）紧张包括数据领悟和特色领悟两种办法。
数据领悟的核心在于整合来自不同生理和行为数据源的信息，从而提升数据质量和剖析精度。
在履行范例的特色级或决策级领悟之前，首先须要剖析这些数据源之间的干系性。
例如，Kumar et al.（2019）将客户的脑电图旗子暗记与在线评论的情绪剖析相结合，以实现对产品的综合评估。
考虑到脑电图和在线评论在数据性子和剖析方法上的显著差异，研究职员在决策级领悟之前独立处理了这两种数据，并深入剖析了它们的预测输出。

表 5 多通道领悟的创意状态捕捉

特色领悟则是根据一定的规则或算法，将来自不同特色提取器的特色组合成一个新的特色向量，旨在提升模型的性能。
这种方法常日运用于特色级或决策级模态领悟策略中。
例如，Wangetal.(2020)运用了脑电图和眼动追踪旗子暗记的决策级领悟进行设计决策预测，并实现了高达92.45%的准确率。
Panda et al.(2020)领悟了脑电图旗子暗记和客户评论信息，用于剖析客户的决策过程。
Maetal.(2019)提出了一种将脑电图、眼动追踪和肌电图领悟到多模态残差LSTM(MMResLSTM)网络中的方法，以进行跨模态的韶光干系性剖析。

3 结论

在设计领域，人智协作新模式对设计智能的发展

至关主要，人工智能作为设计师的得力助手，其潜力巨大，但能否准确捕捉设计师的深层意图并供应恰当的设计方案，仍旧是亟待办理的问题。
此外，人工智能在创造性和情绪表达方面的局限性也不容忽略，这对设计师与 AI 之间的协同事情提出了新的寻衅。
考虑到这些成分，设计师如何有效地与人工智能协同事情，共同完成设计任务，成为了一个值得深入磋商的课题。
特殊是在内容天生领域，人智协作的评估体系尚未成熟，还存在许多待办理的问题。

随着设计智能在 AI 2.0 时期崛起为一个主要分支，期望本研究能为专注于设计智能新兴领域的研究职员带来灵感与帮助。
我们鼓励研究职员在智能内容天生技能、创新方法等方面持续探索与开拓，以办理设计智能领域所面临的繁芜问题。
通过共同努力，期待设计智能能在未来发挥更大的浸染，推动设计领域的持续进步与发展。

张晨琪

上海交通大学博士研究生。
研究方向包括人机交互和康健促进领域的技能设计和评估。

韩挺

上海交通大学设计学院教授，医疗机器人研究院双聘教授；教诲部“长江学者褒奖操持”青年学者（2019），特聘教授（2022）。
研究领域紧张是智能设计、体验与交互设计。

选自《中国人工智能学会通讯》

2024年第14卷第4期

智能创意与数字艺术专题