多点触摸走进生活，改变未来！

 

 

传统的人机交互技术正面临着新型触控技术的强烈冲击。与传统的单一触摸技术不同，以iPhone中使用的多点触控为代表的新技术可以同时处理多个触摸，将彻底颠覆传统交互设备的输入输出界限，一个更加自由的交互世界正快速向我们走来。

■ 乐天 编译

使用窗口、图标、菜单和定位设备

（WIMP: window, icon, menu, pointing device）的人机界面其名称也许缺乏新意，但其主导计算业界已经大约15年了。键盘、鼠标和显示屏幕仍在为用户提供出众的服务。

不过开发基于人体触摸和姿势的技术的人员表示，WIMP的主导地位可能快要走到尽头了，只要看看苹果公司推出才一年的iPhone即可明白这点。研究人士表示，从人机界面的角度来看，iPhone的屏幕结合了显示和输入两种功能—用多个手指通过多种直观的触摸和姿势就能进行操控，这简直就是革命性的创新。

iPhone并不是惟一把人机界面带到新水平的商用设备。微软的Surface计算机把输入和输出装置集成到了庞大的桌面设备上，它能识别触摸和姿势，甚至还能识别放在上面的物理实体。三菱电子研究实验室（MERL）研发的DiamondTouch Table是一种由触摸和姿势激活的显示屏，支持小范围群体协作。它甚至能识别谁在触摸。

这些设备为即将来临的更自然、更直观的人机交互时代指明了一条道路。马萨诸塞州塔夫茨大学的计算机学教授Robert Jacob表示，触摸仅仅是“后WIMP界面”研究这个新兴领域的一个组成部分，他把这些广泛结合的技术称为“基于现实的交互”（reality-based interaction）。

这些技术包括: 虚拟现实、上下文感知计算、知觉与情感计算以及实体交互（计算机能够直接识别物理实体）。他认为，基于现实的交互能发展起来，得益于四大“实际主题”: 朴素物理学、人体感知、环境感知和社会感知。

Jacob说: “所有这些界面的相似之处在于，它们更像是实际环境。”比方说，iPhone“使用了你马上知道该怎么做的姿势”，比如用两个手指触摸一个图像或者应用程序，然后把它拉开来即可实现放大，或者把它捏起来即可实现缩小（这些操作还应用到了iPod Touch和新款MacBook Air的触控板）。

他又说: “用户用不着致力于记住用户界面的布局; 而是只要致力于所要完成的任务。”iPhone能同时处理多个触摸，这与自动柜员机（ATM）等传统触摸应用主要采用的单一触摸技术相比是一大飞跃。

“创新的长鼻”效应

虽然大多数人在iPhone去年亮相之前还没有听说过多点触控技术（multitouch），但多伦多大学的Bill Buxton及其同事早在1984年就已经在试验计算机领域的多点触控技术。

如今已是微软公司研究人员的Buxton表示，触摸技术所走的道路可能会类似鼠标: 鼠标早在1965年就由Douglas Engelbart发明，直到大约三十年后推出了Windows 95，才出现爆炸性成长。Buxton称这长达几十年的起步期为“创新的长鼻”（long nose of innovation），这种现象极其常见。

如今，触摸技术可能类似鼠标在1983年前后的处境。Buxton说: “人们知道现在有了值得关注的不同技术。不过我认为我们还不知道这种不同技术会带来什么。就在一两年之前，输入设备与输出设备之间还存在重大区别。显示屏就是显示屏; 鼠标就是鼠标。”

而现在，屏幕可以是双向交流的工具这种想法即将流行开来。“所以，现在不但我的眼睛能看到像素，屏幕也能‘看’到我的手指。”

触摸无所不在

虽然IBM公司的先进触摸技术在市场上还没有得到太大的发展，但为未来指明了一条道路。IBM在其Everywhere Displays项目中，把投影仪装到普通房间的一个或多个角落，把“触摸屏”的图像投影到普通物体的表面上，比如桌面、墙面或者地面上。

摄像机捕捉到用户触摸表面各部位的图像后，把这些信息发送出去，以便计算机解读。触摸屏没有任何电子元件—确实一个计算部件都没有，所以它们易于移动及更新部件。

IBM研究公司的Claudio Pinhanez介绍，这种概念的一个版本已运用到德国的一家葡萄酒商店。麦德龙超市在莱茵贝格的“未来商店”安装了一个信息亭，顾客可用来获取商店贮藏的葡萄酒方面的信息。但这家店贮藏的酒太多了，顾客常常很难在架子上找到所需的某款酒。Pinhanez表示，他们最后购买的往往是附近特卖区的低价酒，对商店而言这类酒利润微薄。

而如今，信息亭设有“演示”按钮; 摁下这个按钮后，就会在所选物品前方的地面上投射强光。Pinhanez表示，强光区还不是如上所述的输入设备，但很可能会成为输入设备。

IBM还在为杂货店开发原型系统。比如说，这种系统能够在地面上照亮圆圈区域，问顾客“你希望为增加饮食中的纤维迈出第一步吗？”如果顾客用脚触摸“yes”，系统会把脚印投影到相应的产品上（比如说纤维含量高的麦片）。

Pinhanez说: “接下来，你可以让麦片盒本身具有交互功能。触摸以后，系统会把有关这盒麦片的信息投影到架子上方的面板上。”

被问及交互式麦片盒会不会是寻找起来很麻烦的办法时，Pinhanez说: “问题在于，有了投影和摄像技术，就能把任何日常物体变成触摸屏。”而人们常常探讨的替代方案（比如商店系统通过手持设备与顾客进行交互）之所以很难实现，就是由于相应设备缺乏标准。

四大核心要素

塔夫茨大学的Jacob开发了一套框架，结合了多点触控屏幕等不同技术和能从用户脸部读取表情的系统。他说，这种“基于现实的交互”基于以下四个概念:

● 朴素物理学。人们都知道苹果从树上掉下来后总会落向地面，就算忘记了牛顿定律，也知道这点，这是一种常识。苹果公司的iPhone就顺应了用户的直觉: 它能够模拟重力（用户转动设备时，屏幕会从肖像模式变成风景模式）和惯性（如用户飞快翻阅联系表时，手指移开后，联系表仍会继续滚动，好像联系表有质量似的）。

● 人体感知与技能。这是指独立于环境来协调人的双手、双脚和感官的功能。“新兴界面支持日益丰富的基于这种技能的输入技术，包括双手交互和人体全身交互。”Jacob如是说。

● 环境感知与技能。人自然会根据周围环境的物体采取行动。新兴的人机交互方式如虚拟现实也是如此。比方说，“上下文感知”或者传感系统能够计算出用户的位置，并由此采取相应行动。

● 社会感知与技能。人们认识到有别人在场之后，会用各种方式与对方进行互动。同样，像三菱的DiamondTouch Table这些新兴技术有助于通过触摸屏来促进协作: 触摸屏让用户与别人保持目光接触的同时，还可以与触摸屏进行交互。

Jacob说: “所有这些新的交互方式得益于建立在用户之前对非数字化日常世界的认识这一基础上。”

“粗手指”问题

一些研究人士表示，姿势识别是触摸技术发展到一定阶段的自然产物: 系统能识别手或者手指在屏幕上移动或者移近屏幕，而不需要真正触摸。

IBM的Pinhanez说: “我们的技术快要成功了，因为我们能识别触摸姿势。用户可以在不实际触动按钮的情况下移到按钮上方。”

阻挡问题指手指或者手挡住了用户视线，看不到自己的操作，从而导致犯错。现在有几家公司正在用一些新方法来解决这个问题。微软和MERL合作开发了名为LucidTouch的研究原型，这种“伪半透明”的双面移动设备让用户可以用手指在设备正面或者背面发出命令。

微软研究部门的Patrick Baudisch说: “我们正在着手解决的问题是有些人所说的‘粗手指问题’。”用户触摸设备的背面后，他会在屏幕上触摸对象的后面而不是前面看到手指的图像。LucidTouch能同时接收多达10个手指的输入。

Baudisch说，LucidTouch特别适用于这两种情况: 一是多点触控交互; 二是触摸屏非常小，可能只有手表面这么小。他不愿透露LucidTouch何时或者是否会成为产品，只表示研究人士会继续加以完善，同时寻找移动游戏、艺术和电子表格等应用。

Baudisch表示微软的原型已经能按手指姿势来进行操作，系统不但能识别手指的位置和移动，还能明白手指数量不同代表什么意思。比如，一个手指的移动被看成是相当于移动鼠标，一个手指的触摸被看成是点击鼠标，而两个手指的触摸及移动被看成是滚动鼠标。

Baudisch认为，各色各样的触摸技术现已逐渐成熟。他说: “触摸技术已存在很长时间，但传统上应用于小众市场。这项技术过去比较昂贵，还存在人机工程学问题。但现在可以说情况在好转。”

他说，移动设备的兴起是一个重要的催化剂，设备尺寸变得越来越小，而屏幕变得越来越大。他指出，当屏幕覆盖整个设备的表面后，传统按钮就没了地方。这就促使其他类型的交互方式（如语音）闪亮登场。

大屏幕也触摸

但不是触摸技术方面的所有进步都会应用于移动设备的小屏幕上。微软的Surface计算机使用的双向触摸屏就有30英寸，大得足以几个人围在一起、同时使用。这种计算机平放后，可显示360度的用户界面。

Surface内置的摄像头可以感知触摸和姿势等用户输入（手指在屏幕上移动），还能够捕捉识别放在上面的物体所需信息。这些信息发送到普通类型的Windows Vista PC进行处理，处理结果由数字光处理（DLP）投影仪返回给Surface。这是一种基于视觉的系统，不是像许多传统触摸设备那样采用电容或者电阻原理。

触摸的艺术

弗吉尼亚理工大学的音乐技术教授Ico Bukvic把触摸技术带到了无与伦比的境界，他使用法国公司JazzMutant的Lemur多点触控“操纵面”，快速创作及演奏音乐作品，这样用户就可以使用手和手指来“表演”用计算机创作的音乐。

Bukvic面对的是“交互式多媒体艺术”，它结合了动画、视频、录制及实时电子音乐及其他内容，让艺术家、听众和计算机能够在“共生圈”里面协同工作。用户只要用10个手指来控制众多参数: 视频亮度、虚拟摄像机位置、声音高低和幅度以及乐器组合等，就能够进行艺术表演，这好比钢琴演奏家在弹奏即兴创作的复杂乐曲。

Bukvic表示，这些参数可以保存到“可能结果库”里面，方便以后重新创作。他说: “这就像是虚拟表演，每个手指的弯曲影响到实际输出—音频和视频等。创作与表演合为一体。”

微软正与几个商业伙伴（包括喜达屋酒店及度假酒店集团）合作，共同推行Surface机，初步定于今年夏季交付。Surface计算部门的营销主管Mark Bolger声称，Surface最初会针对休闲、娱乐和零售等行业。他说，不妨设想这样的场景: 酒店客人借助Surface计算机中大堂里面的“虚拟接待员”，操纵地图、相片、餐厅菜单及剧院信息。

Bolger表示，Surface有四个关键特点，这些特点可能会出现在将来许多基于触摸技术的设备: 直接交互（不用键盘或者鼠标）、多点触控界面、多用户输入和对象识别器—比如说，侍应生把一瓶酒放到Surface上，它就会调出葡萄酒厂的图片。

至于何谓“多用户”，还存在一定的分歧。MERL负责业务发展的副总裁Adam Bogue称，MERL的DiamondTouch Table是市面上惟一真正多用户的触摸设备，原因是它是惟一能够识别同时触摸的多个用户。他说: “我们的整个目的就是支持小范围的群体协作。”

借助DiamondTouch，用户实际上成了系统的一部分。嵌入在该设备表面下方的多根天线把微弱的无线射频信号送到用户的指尖。Bogue解释: “如果你触摸面板，实际上就是把自己与信号进行了电容耦合，形成了通过你身体以及椅子的电路。每把椅子都连接到独立的接收器信道。”

MERL在2001年推出了第一款DiamondTouch设备，此后把100多台设备卖给了大学实验室和少数几家期望把该设备集成到自身系统中的公司。这家组织现正在开发应用—最初的应用出现在地理信息系统（GIS）和CAD领域; 还在销售一套软硬件，让其他公司可以用来自行开发应用。

Bogue表示，MERL在1月底宣布把DiamondTouch部门分离出来，组成名为Circle Twelve Inc.的独立公司。

当然，研究人士和发明家们在设想开发尺寸更大的触摸屏，包括整面交互墙。在YouTube上搜索一下“multitouch wall”（多点触控墙），就会看到许多这种诱人的设备已到了原型阶段，出现在许多技术展会及其他公共场所。甚至只要花10万美元，就能在Neiman Marcus百货公司买到这样一款设备: 由多点触控技术创新者Jeff Han及其公司Perceptive Pixel Inc.开发的 Interactive Media Wall。

但专家们预测，好戏才刚刚开始上演。

触摸之外

卡内基·梅隆大学的电气计算机工程和机器人学教授Pradeep Khosla表示，触摸技术会急速发展，这主要归功于外在因素。他说: “人类面对面交谈时，可以做出眼部姿势、脸部姿势和手部姿势，对方能一一解读其要传达的意思。我认为，这正是发展方向。所有这些方面都有发展空间，多种方式的姿势将是未来。”

微软的Buxton也预计不同的交互技术会趋向融合。他说: “过去有这样的看法，少就是多—尽量减少得到的功能，以便降低复杂性。而另一种观点是，多实际上就是少—更多的所需功能集成起来，复杂性随之消失。”

Buxton预测，在将来的办公室，桌面计算机可能会与现在的几乎一样。“但你完全可以用鼠标或者姿势，把计算机上的内容投射到墙壁或者白板上，然后站着通过触摸和姿势来操作。你还可以把内容拖到手机上，这样手里就有了这个平面。手机、墙壁和桌面，它们适合处理不同的任务。”

那么这会终结WIMP界面吗？塔夫茨大学的Jacob称用户不会马上扔掉手里的键盘和鼠标。他说: “它们其实特别好用。WIMP几乎完全取代了命令行界面的位置。WIMP界面是很出色的技术创新，人们根本不能没有它，我并不认为它走到了穷途末路。”

Buxton同意上述观点。他说: “WIMP是有着20多年历史的标准界面; 所有应用都是围绕它来开发的。难就难在，不把孩子连同洗澡水一起倒掉，即我们如何获得这些新方法的优点，同时保留现有技术的精华部分。”