劉玉磊，馬艷陽

面向生成式人工智能應(yīng)用的意圖驅(qū)動的界面交互范式探索

劉玉磊1，馬艷陽2*

（1.四川師范大學(xué)，成都 610101；2.四川農(nóng)業(yè)大學(xué)，成都 611130）

對生成式人工智能技術(shù)賦能下的界面交互范式進(jìn)行梳理和探析。以典型的界面范式為切入，包括WIMP范式、Non-WIMP范式、Post-WIMP范式等，分析各類型界面范式的發(fā)展、特點(diǎn)和局限，再以生成式人工智能技術(shù)帶來的交互新特點(diǎn)為基礎(chǔ)，探討生成式人工智能技術(shù)對界面交互范式轉(zhuǎn)換問題產(chǎn)生的推動、影響和變革。提出了一種面向生成式人工智能應(yīng)用的、意圖驅(qū)動的IDIM范式，包含意圖域、對話流、互動啟示、多模態(tài)交互幾個要素。生成式人工智能技術(shù)以其強(qiáng)大的生成能力和智能化特性，為交互領(lǐng)域帶來了空前的機(jī)遇和挑戰(zhàn)，不僅為界面交互范式帶來了變革，也促使交互設(shè)計向更智能、更個性化的多元交互模式轉(zhuǎn)變。IDIM范式提供了一種新的界面交互范式參考，對完善交互理論、推動生成式人工智能的應(yīng)用發(fā)展具有積極作用。

生成式人工智能；用戶界面；交互范式；范式轉(zhuǎn)換

2023年《自然》年度十大人物中，作為人工智能聊天機(jī)器人的Chatgpt入選，可見生成式人工智能給科學(xué)發(fā)展和進(jìn)步帶來的巨大改變。目前生成式人工智能對各類復(fù)雜問題都可以給出對應(yīng)理解，能夠生成復(fù)雜的圖形、表格、文本、代碼、視頻等，具備多模態(tài)推理能力，其智能化、多模態(tài)的數(shù)據(jù)處理能力及個性化交互的特性正在改變?nèi)伺c機(jī)器互動的方式。生成式人工智能呈現(xiàn)的新特征、新模式，將帶來全新的人機(jī)交互方式和設(shè)計可能性，也正在推動界面交互范式的轉(zhuǎn)換。

生成式人工智能的相關(guān)研究集中在自然語言處理、計算機(jī)視覺、音頻處理、混合模態(tài)生成等基礎(chǔ)研究領(lǐng)域，以及醫(yī)療檢測、化學(xué)分析、創(chuàng)意設(shè)計等應(yīng)用領(lǐng)域。在人機(jī)交互領(lǐng)域，現(xiàn)有界面交互范式多以用戶需求為導(dǎo)向，通過連續(xù)完成任務(wù)實(shí)現(xiàn)用戶目標(biāo)，而基于生成式人工智能技術(shù)的理解能力和生成能力，中間的任務(wù)環(huán)節(jié)可以被縮短甚至消除。那么，未來人機(jī)界面是否可以跳過任務(wù)步驟直達(dá)意圖結(jié)果，在意圖驅(qū)動的交互過程中界面范式將如何演變，這些問題亟需探討。生成式人工智能的崛起標(biāo)志著人機(jī)交互領(lǐng)域的一次革命性變革，探索一種面向生成式人工智能應(yīng)用的界面交互范式，是對生成式人工智能技術(shù)應(yīng)用領(lǐng)域的擴(kuò)展和對人機(jī)交互理論的完善。

1 界面范式

1.1 范式的起源

1962年，美國科學(xué)哲學(xué)家托馬斯·庫恩在書中首次提出“范式”（Paragigm）的概念和相關(guān)理論[1-2]。庫恩認(rèn)為“范式”是指在某個學(xué)科內(nèi)從事科學(xué)研究的一套公認(rèn)模式，包括世界觀、定理、規(guī)則、方法、行為標(biāo)準(zhǔn)、應(yīng)用等。庫恩還提出“范式轉(zhuǎn)移”（Paradigm Shift）的概念，認(rèn)為學(xué)科的變革伴隨著“范式”的轉(zhuǎn)變，“范式轉(zhuǎn)移”為學(xué)科發(fā)展提供了新的可能性。

人機(jī)交互領(lǐng)域認(rèn)為“范式”是指在設(shè)計和研究交互系統(tǒng)時所采用的基本模式、方式或者框架。這些“范式”為交互設(shè)計提供指導(dǎo)，幫助設(shè)計者理解用戶需求、優(yōu)化用戶體驗(yàn)，以及實(shí)現(xiàn)有效的信息交流，助力開發(fā)新的計算設(shè)備和界面，以改進(jìn)人們與現(xiàn)有技術(shù)的交互方式。因此，該領(lǐng)域的“范式”主要用來指代“界面范式”，“界面范式”一般是指用戶界面的設(shè)計模型或模式。

1.2 類型和發(fā)展

用戶界面經(jīng)歷了批處理界面、命令行界面和圖形用戶界面三個主要階段。在計算機(jī)誕生時期，1945年左右，計算機(jī)以批處理（Batch Processing）的方式工作，幾乎沒有用戶界面，不涉及用戶和計算機(jī)之間的任何交互。1964年左右，出現(xiàn)了命令行界面CLI（Command Line Interface），用戶通過鍵入命令來與計算機(jī)進(jìn)行交互，因用戶需要記住復(fù)雜的命令和參數(shù)，對非專業(yè)用戶不夠友好，交互效率有限。

圖形用戶界面GUI（Graphical User Interface）在20世紀(jì)80年代中期開始廣泛應(yīng)用，采用WIMP范式作為典型范式。WIMP通過窗口（Windows）、圖標(biāo)（Icons）、菜單（Menus）和點(diǎn)選設(shè)備（Pointing Device）四大互動元件實(shí)現(xiàn)圖形化交互[3]。WIMP范式是圖形用戶界面最早的經(jīng)典范式，Windows系統(tǒng)、MacOS系統(tǒng)和許多應(yīng)用程序都有使用。

由于計算機(jī)技術(shù)和設(shè)備環(huán)境的發(fā)展，傳統(tǒng)WIMP界面范式顯露出局限性，例如：操作方式過度依賴鼠標(biāo)和鍵盤、交互感知通道有限、二維的桌面隱喻不適用于三維虛擬場景等。20世紀(jì)90年代，一些學(xué)者陸續(xù)提出Non-wimp范式[4]和 Post-wimp范式[5]，力圖提供更自然的交互方式，滿足新場景的需要。Post-wimp相關(guān)界面范式類型較多，例如：Jacob等[6]提出現(xiàn)實(shí)隱喻的RBI（Reality-based Interaction）界面范式；石磊等[7-8]提出筆式交互系統(tǒng)的PGIS（Paper、Gadget、Icon、Sketch）；董士海等[9]提出面向多通道模型的VIR（Virtual Information Room）界面范式；張小龍等[10]提出面向智能系統(tǒng)的RMCP（Role、Modal、Command、Presentation Style）界面范式；王慧等[11]提出基于化身交互隱喻的ASLI（Avatar、Scenario,、Language、Instrument）界面范式；秦貴和等[12]提出LWHP（Layer、Widget、Hierarchical Menu、Pressure+Gesture）多媒體終端上新型壓力交互范式；還有腦機(jī)接口BCI（Brain-Computer Interfaces）[13]、運(yùn)動追蹤和身體感知等Post-wimp范式的研究。

硬件設(shè)備和軟件技術(shù)的發(fā)展，不斷推動著界面范式的轉(zhuǎn)換和升級，朝著自然、智能的方向發(fā)展，見表1。相關(guān)研究集中在觸控交互、語音交互、多通道交互、腦-機(jī)交互、其他傳感器類交互等領(lǐng)域，自然用戶界面NUI（Nature User Interface）成為圖形用戶界面GUI之后的新方向，對應(yīng)的界面范式研究也成為重要課題，見圖1。

2 生成式人工智能技術(shù)推動界面范式的轉(zhuǎn)換

2.1 意圖驅(qū)動結(jié)果的界面范式

生成式人工智能（Generative Artificial Intelligence）是一種人工智能算法，能夠通過機(jī)器學(xué)習(xí)自主地生成具有意義和邏輯性的新數(shù)據(jù)，包括文本、圖像、音頻、視頻、代碼等各種類型內(nèi)容。以ChatGPT（2022年）、Midjourney（2022年）、Stable Diffusion（2022年）、Google Gemini（2023年）、文心一言（2023年）等為代表的生成式人工智能應(yīng)用發(fā)展迅速，其成為一種新的設(shè)計要素，對設(shè)計范式的轉(zhuǎn)變起到較大推動作用。

微軟發(fā)布的關(guān)于GPT-4的研究報告[14]中驗(yàn)證了GPT-4的諸多能力，包括：多模態(tài)與跨學(xué)科組合的能力、視覺能力、空間理解力、音樂能力、代碼能力、數(shù)學(xué)能力、與人類交互的能力等，整體上表現(xiàn)出較高的智能水平。在微軟發(fā)布的關(guān)于新模型GPT- 4V(ision)[15]的研究報告中，GPT-4V(ision)在視覺理解、多模態(tài)知識、時間推理、抽象推理、情感理解等很多實(shí)驗(yàn)領(lǐng)域都表現(xiàn)出人類水平。諸多學(xué)者從不同領(lǐng)域研究了生成式人工智能的能力，例如：創(chuàng)新教育[16-17]、藥物研發(fā)[18]、員工效率[19]、藝術(shù)創(chuàng)作[20-21]、新聞媒體[22]等。

表1 范式類型對比

Tab.1 Comparison of paradigm types

圖1 界面范式的發(fā)展

傳統(tǒng)界面設(shè)計中，用戶與計算機(jī)之間的交互多通過固定的指令、按鈕和菜單來實(shí)現(xiàn)，用戶需要按照預(yù)設(shè)的規(guī)則進(jìn)行操作，而生成式人工智能賦予了計算機(jī)更強(qiáng)大的理解和推理能力。計算機(jī)可以快速響應(yīng)用戶的意圖、實(shí)現(xiàn)任務(wù)目標(biāo)。生成式人工智能技術(shù)的崛起正在驅(qū)動著界面范式向更加智能、個性化和適應(yīng)性的方向轉(zhuǎn)變。

針對生成式人工智能技術(shù)，人機(jī)交互專家雅各布·尼爾森（Jakob Nielsen）[23]指出人工智能正催生一個新的用戶界面范式。在新的人工智能系統(tǒng)中，用戶不再需要告訴計算機(jī)做什么、怎么做，而是直接告訴計算機(jī)他們想要的結(jié)果。尼爾森將生成式人工智能帶來的新界面范式定義為基于意圖的結(jié)果規(guī)范（Intent- Based Outcome Specification，IBOS），它側(cè)重于定義用戶與系統(tǒng)交互的預(yù)期結(jié)果，而不是關(guān)注實(shí)現(xiàn)該結(jié)果所需的具體步驟或操作。人機(jī)交互專家馬修·特克（Matthew Turk）[24]曾指出多模態(tài)交互的目標(biāo)是通過技術(shù)、交互方法和界面，消除人機(jī)交互中存在的約束，朝著充分利用人類自然的交流、互動能力的方向發(fā)展。生成式人工智能技術(shù)在一定程度上消除了用戶在與機(jī)器交互過程中繁瑣的操作步驟，實(shí)現(xiàn)了更自然的交互。

2.2 生成式人工智能技術(shù)下的交互新特點(diǎn)

以大算力為基礎(chǔ)，大數(shù)據(jù)、大模型驅(qū)動的生成式人工智能技術(shù)在自然語言處理、計算機(jī)視覺、語音處理等方面表現(xiàn)突出，具有高適應(yīng)性、強(qiáng)學(xué)習(xí)能力、高計算能力、大語料庫等特點(diǎn)，通過將生成式人工智能引入界面交互設(shè)計中，可以在個性化、智能化、適應(yīng)性等方面對用戶體驗(yàn)進(jìn)行賦能。相比于以往的智能交互體驗(yàn)，生成式人工智能技術(shù)背景下的交互體驗(yàn)也將呈現(xiàn)出如圖2所示的新特點(diǎn)。

圖2 生成式人工智能交互體驗(yàn)新特點(diǎn)

1）自適應(yīng)個性化交互：生成式人工智能基于海量數(shù)據(jù)進(jìn)行訓(xùn)練，大模型自身具備強(qiáng)大的知識庫，可以根據(jù)用戶的輸入了解其喜好、習(xí)慣和相關(guān)情況，實(shí)現(xiàn)個性化輸出。同時，生成式人工智能可以持續(xù)學(xué)習(xí)用戶的特定需求和偏好，不斷優(yōu)化輸出，實(shí)現(xiàn)對用戶意圖的理解并提供符合用戶期望的體驗(yàn)。

2）長距離上下文感知：生成式人工智能技術(shù)具備長距離感知理解上下文的能力，解決了早期語言模型無法捕捉長距離語義關(guān)系的問題，因此可以生成更連貫的文本信息。例如，在應(yīng)用場景中，生成式人工智能可以與用戶進(jìn)行長時間的復(fù)雜對話，即使中斷一段時間，也可以無縫銜接地繼續(xù)交流，而不需要重復(fù)之前的對話背景。

3）多模態(tài)自動生成：利用生成式人工智能技術(shù)，可以實(shí)現(xiàn)多模態(tài)輸入和輸出。在多模態(tài)內(nèi)容生成中，不同的感知模態(tài)可以相互補(bǔ)充，以提供更豐富的體驗(yàn)。例如，一個多模態(tài)生成系統(tǒng)可以接受一段文本描述和一個圖像作為輸入，然后生成與之相匹配的語音解說。

4）開放域交互場景：開放域?qū)υ捠亲匀徽Z言處理的一個目標(biāo)[25]。生成式人工智能有賴于大模型的能力，可以基本實(shí)現(xiàn)開放域任務(wù)要求，即能夠自適應(yīng)各種任務(wù)場景、處理不受限制的輸入，并提供對應(yīng)合理的輸出。開放域交互避免了場景選擇、規(guī)則定義等約束，可以提供更自然、更直接的用戶體驗(yàn)。

5）實(shí)時性和流暢性：生成式人工智能技術(shù)可以實(shí)時分析用戶輸入，并迅速提供對應(yīng)的輸出。這種實(shí)時性和流暢性可以增強(qiáng)用戶的沉浸感和參與感，以提升交互體驗(yàn)效果。

3 面向生成式人工智能應(yīng)用的意圖驅(qū)動的界面交互范式

3.1 提出IDIM界面范式

界面范式依托于設(shè)備、技術(shù)和場景，服務(wù)于用戶目標(biāo)（如圖3所示），通過前文對各類界面范式的分析，可以總結(jié)出界面范式的基本構(gòu)成一般包含：信息空間、交互對象、操作方式幾個方面，不同范式類型對應(yīng)的具體要素形式有所不同。例如典型的WIMP范式，以窗口（Windows）作為信息空間；以圖標(biāo)（Icons）、菜單（Menus）作為交互對象；以點(diǎn)選設(shè)備（Pointing device）作為操作方式。在任務(wù)驅(qū)動的場景中，需要通過完成系列命令集得到執(zhí)行結(jié)果。在WIMP范式中，窗口用于信息承載和多任務(wù)管理；圖標(biāo)和菜單用于命令集的歸類；點(diǎn)選設(shè)備用于手動觸發(fā)下一步操作。四要素的結(jié)合可以有效構(gòu)成交互界面?；赪IMP范式構(gòu)成要素的分析，再結(jié)合前文對生成式人工智能技術(shù)特點(diǎn)的分析，使用對比分析法和場景轉(zhuǎn)譯的方法，對面向生成式人工智能應(yīng)用的界面范式進(jìn)行推演。

圖3 用戶和交互界面關(guān)系圖

在意圖驅(qū)動的生成式人工智能的應(yīng)用場景中，任務(wù)的概念將被弱化，用戶可以更快速有效地直達(dá)目標(biāo)。因此，信息不必固化在某個窗口中，不需要多窗口進(jìn)行多任務(wù)管理，而只需要一個承載意圖的開放式信息空間。同時，用于歸類命令集的圖標(biāo)、菜單也成為非必要的交互對象，預(yù)設(shè)的命令集將升級為自然的對話流，再配合互動啟示進(jìn)行補(bǔ)償和校準(zhǔn)，進(jìn)而完成意圖理解。在交互方式層面，不再單純依賴點(diǎn)選設(shè)備進(jìn)行操作，而是采用多模態(tài)內(nèi)容的輸入和輸出。

通過以上分析，作者提出一種意圖驅(qū)動的、面向生成式人工智能應(yīng)用的新型界面交互范式IDIM。IDIM范式包含意圖域（Intent Domain）、對話流（Dialogue Flow）、互動啟示（Interactive Inspiration）、多模態(tài)交互（Multimodal Interaction）四大要素。相比于傳統(tǒng)的WIMP范式，IDIM范式更適用于生成式人工智能的應(yīng)用場景，見圖4。

圖4 WIMP范式和IDIM范式對比

3.1.1 意圖域

指用戶在生成式人工智能系統(tǒng)中的開放式交流空間，系統(tǒng)通過自然語言處理和深度學(xué)習(xí)等技術(shù)，智能地分析和理解用戶輸入的文本、語音或圖像等，以確定用戶的意圖和需求。相比于WIMP范式中的窗口（Windows），意圖域的開放性和智能性更高，不僅是一個靜態(tài)的信息承載容器，更是一個“能掐會算”的智囊?guī)欤w語義理解、上下文分析、自適應(yīng)推理等功能。意圖域作為生成式人工智能系統(tǒng)界面交互的核心要素，不僅能夠解讀用戶的輸入，理解其中的意圖，還可以將其映射到相應(yīng)的功能領(lǐng)域或操作，從而為用戶提供有針對性的響應(yīng)和交互，見圖5。

圖5 意圖域示意

3.1.2 對話流

是用戶和生成式人工智能系統(tǒng)之間的信息交流，指系統(tǒng)根據(jù)用戶的意圖和上下文，構(gòu)建起一種有序、連貫的交流模式，以確保交互的流暢性和任務(wù)目標(biāo)的達(dá)成。相比于WIMP范式中的圖標(biāo)（Icon），意圖驅(qū)動的界面范式中不需要預(yù)置功能項(xiàng)供選擇，而是需要構(gòu)建一種自然的、具有連貫性的交流模式，以引導(dǎo)用戶向著實(shí)現(xiàn)目標(biāo)的方向前進(jìn)。這需要系統(tǒng)在對話中能夠靈活地根據(jù)用戶的回應(yīng)和意圖，自主地選擇適當(dāng)?shù)膯栐兒突貞?yīng)方式，從而保持對話的連貫性。這里提到的“對話”不一定是單純的文字對話，也可以是圖片、語音、視頻等。

對話流可以用“河流”做隱喻，用戶的每句話像是水流，系統(tǒng)像是河道，引導(dǎo)用戶的話語從起點(diǎn)流向終點(diǎn)。對話流有賴于生成式人工智能的長距離上下文感知能力，以使交流保持順暢性和連貫性，從而實(shí)現(xiàn)自然、友好、個性化的用戶體驗(yàn)，見圖6。

圖6 對話流示意

3.1.3 互動啟示

指生成式人工智能系統(tǒng)中的交互反饋和智能引導(dǎo)。界面可以根據(jù)用戶的意圖輸入提供適當(dāng)?shù)牟僮饕龑?dǎo)、提示或信息。相比于WIMP范式中的菜單（Menu），互動啟示不一定給出明確的操作選擇，而更多的是激發(fā)用戶思考、行動或參與更深入的交互。另外，互動啟示可以是雙向的，一方面是界面引導(dǎo)用戶進(jìn)行特定操作；另一方面在用戶給出互動反饋后，系統(tǒng)可以根據(jù)用戶的反饋調(diào)整并適應(yīng)其的偏好，提供更準(zhǔn)確的界面輸出。例如，Midjourney在生成圖片后會提供四個放大按鈕（Upscale）、四個變體按鈕（Variation）和一個刷新按鈕以引導(dǎo)用戶進(jìn)行下一步的操作；ChatGPT在給出的每一條回答旁邊都有贊和踩兩個按鈕，以幫助改進(jìn)ChatGPT的回答質(zhì)量和推薦更符合用戶需求的答案，見圖7。

圖7 互動啟示示意

交互的目標(biāo)是自然、透明，引導(dǎo)并不是最優(yōu)方式，但在現(xiàn)階段基于意圖的開放域界面中，提供適當(dāng)?shù)幕訂⑹究梢蕴岣呓换バ屎陀脩魸M意度，也是該范式的要素之一。

3.1.4 多模態(tài)交互

指系統(tǒng)能夠理解和產(chǎn)生多種模態(tài)的輸入和輸出。不同類型的信息可以整合在一個界面中展示給用戶，為用戶提供豐富多樣的界面交互。多模態(tài)內(nèi)容包括但不限于文本、圖像、語音、視頻等，并且可以實(shí)現(xiàn)跨模態(tài)應(yīng)用。例如：用戶使用生成式人工智能應(yīng)用輸入一句話，即可生成一張與文字相匹配的圖片；或者輸入一張圖片，生成式人工智能應(yīng)用會反向生成其描述文本，以用來生成類似圖片。

多模態(tài)和跨模態(tài)應(yīng)用顛覆了傳統(tǒng)的單模態(tài)互動方式，相比傳統(tǒng)WIMP范式，IDIM范式從面向步驟和過程轉(zhuǎn)為面向意圖和結(jié)果，帶來更智能和豐富的用戶體驗(yàn)。

3.2 IDIM范式的設(shè)計應(yīng)用

接下來通過使用IDIM范式設(shè)計一款流動注射分析儀的軟件系統(tǒng)來說明IDIM范式的應(yīng)用情況。流動注射分析儀是一種高精度的化學(xué)分析儀器，廣泛應(yīng)用于環(huán)境監(jiān)測、藥物分析、食品安全等領(lǐng)域。一般包含硬件主體、硬件端軟件、電腦端獨(dú)立軟件系統(tǒng)三部分（如圖8所示），此處重點(diǎn)圍繞獨(dú)立軟件系統(tǒng)展開。

3.2.1 流動注射分析儀軟件系統(tǒng)分析

流動注射分析儀軟件的主要功能需求是檢測和量化，其余功能為輔助，用以提高這兩個功能模塊的使用效率與工作效率，見圖9。流動注射分析儀一般包含多個設(shè)備，每個設(shè)備又包含多個通道，各通道進(jìn)行獨(dú)立測量和獨(dú)立數(shù)據(jù)處理。開始測量前，需要對各通道進(jìn)行序列、方法、參數(shù)等設(shè)置，所有模塊配置完成后可開始測量。測量過程中可查閱實(shí)時數(shù)據(jù)。測量完成后再進(jìn)行數(shù)據(jù)分析和處理。整個交互流程中，在現(xiàn)有WIMP界面范式下，界面結(jié)構(gòu)層級和任務(wù)模塊較多，用戶需要按照既定路徑通過鼠標(biāo)鍵盤進(jìn)行圖標(biāo)點(diǎn)擊、按鈕點(diǎn)擊、配置信息輸入等精準(zhǔn)操作才可以完成配置，對專業(yè)知識儲備要求高，操作步驟較多，見圖10。

3.2.2 IDIM范式在流動注射分析儀交互設(shè)計中的應(yīng)用

通過引入生成式人工智能技術(shù)，結(jié)合文章提出的IDIM范式，優(yōu)化軟件交互流程。在IDIM范式下，依托生成式人工智能的知識模型能力和自適應(yīng)能力，可以根據(jù)各通道特征進(jìn)行自動化配置，提供智能化、個性化、自然化的交互體驗(yàn)，設(shè)計要點(diǎn)包含以下幾個方面。

1）著眼于用戶的操作目標(biāo)，為用戶提供意圖輸入和感知的空間。在流動注射分析儀軟件的設(shè)計中，通過生成式人工智能識別用戶需要的使用場景和需求來進(jìn)行信息和操作的呈現(xiàn)，不再限定于既定的層級結(jié)構(gòu)。避免界面出現(xiàn)復(fù)雜元素和過多層次的信息，以簡單自然的交互形式為主。例如，用戶通過自然語言輸入當(dāng)次實(shí)驗(yàn)?zāi)繕?biāo)，軟件自行匹配合適的配置和操作路徑，幫用戶快速設(shè)定好實(shí)驗(yàn)步驟和自動化任務(wù)。

2）通過自然的對話過程設(shè)計，讓用戶能夠高效交流，不受操作指令和對話規(guī)則的限制。結(jié)合生成式人工智能的機(jī)器學(xué)習(xí)能力和長距離上下文感知能力，流動注射分析儀軟件可以快速進(jìn)行任務(wù)理解和執(zhí)行。例如，用戶第一天做了多種樣品的檢測，第二天需要重復(fù)第一天的實(shí)驗(yàn)，則直接輸入“重復(fù)昨天的實(shí)驗(yàn)任務(wù)”，即可再次進(jìn)行相同選擇和配置的實(shí)驗(yàn)任務(wù)。

3）通過互動啟示的設(shè)計，讓用戶進(jìn)行實(shí)時反饋，幫助軟件不斷改進(jìn)和優(yōu)化模型，提供更符合用戶預(yù)期的體驗(yàn)。例如，軟件根據(jù)用戶的自然語言輸入并進(jìn)行實(shí)驗(yàn)配置后，其可以點(diǎn)擊贊同或反對當(dāng)前配置，以此增加用戶的參與感并提升智能化配置的有效性。設(shè)計形式可采用文字按鈕、圖形按鈕、表情反饋、手勢反饋等。

圖8 流動注射分析儀主體構(gòu)成[26]

圖9 流動注射分析儀軟件系統(tǒng)功能需求分析

圖10 流動注射分析儀軟件主要操作流程

4）在流動注射分析儀設(shè)計中，參數(shù)配置、設(shè)備狀態(tài)提示、曲線擬合、譜圖分析等模塊采用多模態(tài)交互。基于生成式人工智能的多模態(tài)能力，軟件支持多模態(tài)的內(nèi)容輸入和輸出，以適應(yīng)不同用戶的感知和操作習(xí)慣。例如，輸入方式除了自然語言文字外，還支持語音、圖像等的輸入，在信息輸出上同時支持文字、圖形、語音等多種類型。

4 結(jié)語

生成式人工智能技術(shù)為界面交互范式帶來新的可能性，同時推動著界面范式進(jìn)行變革轉(zhuǎn)換。文章探討了生成式人工智能技術(shù)對界面交互范式的影響，提出了意圖驅(qū)動的IDIM范式?？茖W(xué)儀器分析系統(tǒng)專業(yè)性和操作復(fù)雜度較高，文章通過IDIM范式在流動注射分析儀軟件系統(tǒng)中的應(yīng)用分析，提供了可供參考的設(shè)計提升路徑，使用戶能夠以更自然、智能的方式與系統(tǒng)進(jìn)行交互，提高系統(tǒng)效率和使用體驗(yàn)。整體上，IDIM范式在信息空間、交互對象、操作方式等方面提供了新的范式思路，在實(shí)際應(yīng)用中可根據(jù)技術(shù)背景、交互設(shè)備、使用場景等進(jìn)行適應(yīng)性調(diào)整。

[1] KUHN T S. The Structure of Scientific Revolutions[M]. Chicago: University of Chicago Press, 1962.

[2] 庫恩 T S. 科學(xué)革命的結(jié)構(gòu)[M]. 金吾倫, 胡新和, 譯, 北京: 北京大學(xué)出版社, 2004. KUHN T S. The Structure of Scientific Revolutions[M]. JIN W L, HU X H, translated. Beijing: Peking University Press, 2004.

[3] NIELSEN J. Noncommand User Interfaces[J]. Commun ACM, 1993, 36: 83–99.

[4] GREEN M, JACOB R. SIGGRAPH'90 Workshop Report: Software Architectures and Metaphors for Non-wimp User Interfaces[J]. ACM SIGGRAPH Computer Graphics, 1991, 25(3): 229-235.

[5] VAN DAM A. Post-wimp User Interfaces[J]. Communications of the ACM, 1997, 40(2): 63-67.

[6] JACOB R J K, GIROUARD A, HIRSHFIELD L M, et al. Reality-based Interaction: A Framework for Post- wimp Interfaces[C]// In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press , 2008: 201-210.

[7] 石磊, 鄧昌智, 戴國忠. 一種Post-WIMP界面:PGIS的實(shí)現(xiàn)[J]. 中國圖象圖形學(xué)報, 2010, 15(7): 985-992. SHI L, DENG C Z, DAI G Z. Implementation of PGIS: A Type of Post-wimp User Interface[J]. J Image Graph, 2010, 15: 985-992.

[8] 戴國忠, 田豐. 筆式用戶界面[M]. 合肥: 中國科學(xué)技術(shù)大學(xué)出版社, 2014. DAI G Z, TIAN F. Pen-based User Interface[M]. Hefei: University of Science and Technology of China Press, 2014.

[9] 董士海, 陳敏, 羅軍, 等. 多通道用戶界面的模型、方法及實(shí)例[J]. 北京大學(xué)學(xué)報(自然科學(xué)版), 1998, 34(2-3): 231–239. DONG S H, CHEN M, LUO J, et al. The Model, Method and Instance of Multimodal User Interface[J]. Acta Sci Nat Univ Pekinensis, 1998, 34(2-3): 231–239.

[10] 張小龍, 呂菲, 程時偉. 智能時代的人機(jī)交互范式[J]. 中國科學(xué): 信息科學(xué), 2018, 48(4): 406-418. ZHANG X L, LYU F, CHENG S W. The Paradigm of Human-computer Interaction in the Era of Intelligence[J]. SCIENTIA SINICA Informationis, 2018, 48(4): 406-418.

[11] 王慧, 姚乃明, 董健, 等. 基于Bots的人機(jī)交互界面范式[J]. 中國科學(xué): 信息科學(xué), 2018, 48(4): 475-484. WANG H, YAO N M, DONG J, et al. Bots Based Human-computer Interaction Interface Paradigm[J]. SCIENTIA SINICA Informationis, 2018, 48(4):475-484.

[12] 秦貴和, 王曼瑩, 孫銘會. 多媒體終端上新型壓力交互范式研究[J]. 吉林大學(xué)學(xué)報(工學(xué)版), 2023(11): 3186-3193. QIN G H, WANG M Y, SUN M H. Research on New Pressure Interaction Paradigm on Multimedia Terminals[J]. Journal of Jilin University, 2023(11): 3186- 3193.

[13] AGGARWAL S, CHUGH N. Review of Machine Learning Techniques for EEG Based Brain Computer Interface[J]. Archives of Computational Methods in Engineering, 2022, 15: 1-20.

[14] BUBECK S, CHANDRASEKARAN V, ELDAN R, et al. Sparks of Artificial General Intelligence: Early Experiments With GPT-4[EB/OL]. (2023-03-22)[2023-08- 20]. https://doi.org/10.48550/arXiv.2303.12712.

[15] YANG Z, LI L, LIN K, et al. The Dawn of lmms: Preliminary Explorations with GPT-4V (ision)[EB/OL]. (2023-08-29)[2023-09-01]. https://doi.org/10.48550/arXiv. 2309.17421.

[16] BAIDOO-ANU D, ANSAH L O. Education in the Era of Generative Artificial Intelligence(AI): Understanding the Potential Benefits of ChatGPT in Promoting Teaching and Learning[J]. Journal of AI, 2023, 7(1): 52-62.

[17] QADIR J. Engineering Education in the Era of ChatGPT: Promise and Pitfalls of Generative AI for Education[J]. In 2023 IEEE Global Engineering Education Conference (EDUCON), 2023, 5(1): 1-9.

[18] WALTERS W P, MURCKO M. Assessing the Impact of Generative AI on Medicinal Chemistry[J]. Nature Biotechnology. 2020, 38(2): 143-5.

[19] BRYNJOLFSSON E, LI D, RAYMOND L R. Generative AI at Work[EB/OL]. (2023-04-23)[2023-08-20]. https://doi.org/10.48550/arXiv.2304.11771.

[20] EPSTEIN Z, HERTZMANN A, AKTEN M, et al. Investigators of Human Creativity[J]. Art and the Science of Generative AI. Science. 2023, 380(6650): 1110-1111.

[21] GOZALO-BRIZUELA R, GARRIDO-MERCHAN E C. ChatGPT is not All You Need. A State of the Art Review of Large Generative AI Models[EB/OL]. (2023-01-11) [2023-08-20]. https://doi.org/10.48550/arXiv.2301.04655.

[22] PAVLIK J V. Collaborating with ChatGPT: Considering the Implications of Generative Artificial Intelligence for Journalism and Media Education[J]. Journalism & Mass Communication Educator, 2023, 78(1): 84-93.

[23] NIELSEN J. AI is First New UI Paradigm in 60 Years[EB/OL]. (2023-05-19)[2023-06-20]. https://www. uxtigers.com/post/ai-new-ui-paradigm.

[24] TURK M. Multimodal Interaction: A Review[J]. Pattern Recognition Letters, 2014, 36:189-95.

[25] GAO J, GALLY M, LI L. Neural Approaches to Conversational AI[J]. Foundations and Trends in Information Retrieval, 2019, 13(2-3): 127-298.

[26] 寶德儀器. BDFIA-8600/C全自動流動注射分析儀[EB/OL]. (2021-01-11)[2023-07-20]. https://www.bjbaode. com/product1/304.html. Baode Instrument. BDFIA-8600/C Automatic Flow Injection Analyzer[EB/OL](2021-01-11)[2023-07-20]. https:// www.bjbaode.com/product1/304.html.

Intent-driven Interface Interaction Paradigm under Generative Artificial Intelligence Technology

LIU Yulei1, MA Yanyang2*

(1. Sichuan Normal University, Chengdu 610101, China; 2. Sichuan Agricultural University, Chengdu 611130, China)

The work aims to sort out and analyze the interface interaction paradigm empowered by generative artificial intelligence technology. Starting from typical interface paradigms, including WIMP paradigm, Non-WIMP paradigm, Post-WIMP paradigm, etc., the development, characteristics and limitations of various types of interface paradigms were analyzed, and then based on the new interactive characteristics brought by generative artificial intelligence technology, the promotion, impact and changes of generative artificial intelligence technology on the paradigm shift of interface interaction were explored. One kind of intent-driven IDIM paradigm for generative artificial intelligence applications was proposed, which included several elements: Intent Domain, Dialogue Flow, Interactive Inspiration, and Multimodal Interaction. Generative artificial intelligence technology, with its powerful generation ability and intelligent characteristics, has brought unprecedented opportunities and challenges to the field of interaction. It has not only brought changes to the interface interaction paradigm, but also promoted the transformation of interaction design to a more intelligent and personalized multi-interaction mode. The IDIM paradigm provides a new interface interaction paradigm reference, which plays a positive role in improving interaction theory and promoting the application development of generative artificial intelligence.

generative artificial intelligence; user interface; interaction paradigm; paradigm shift

TB472

A

1001-3563(2024)04-0058-09

10.19554/j.cnki.1001-3563.2024.04.006

2023-09-05

教育部人文社科青年基金項(xiàng)目（23YJC760078）；四川省高校哲學(xué)社會科學(xué)重點(diǎn)研究基地工業(yè)設(shè)計產(chǎn)業(yè)研究中心課題（GYSJ2022-03）；四川師范大學(xué)校級實(shí)驗(yàn)設(shè)備科研項(xiàng)目（SYJS2021027）；四川師范大學(xué)校級自然科學(xué)類科研基金項(xiàng)目（xj2022122413）