编者按：移动和云计算作为新的计算平台已经出现，并逐步融合成为一个强大的云-移动计算平台。本文提出了一个虚拟屏幕的构想，作为上述平台的一个新的研发方向，将进一步优化用户的整体计算体验。对于这种虚拟屏幕，屏幕渲染工作在云中完成，并以图像形式传递至客户端，用于互动显示。这样，用户就能通过瘦客户端移动设备享受到许多计算密集型和含有丰富图形的服务。本文对其中的技术挑战进行了讨论，并尝试加以解决。文中通过对两种新型的云移动应用——云浏览器和云手机的介绍，阐明了虚拟屏幕的优势。

——曾文军教授，密苏里大学哥伦比亚分校

作者：微软亚洲研究院 吕岩、李世鹏、沈慧锋

近年来，我们见证了云计算的强劲增长，其中既有作为服务并通过互联网交付的应用程序，也有数据中心内支持这些服务的硬件和软件等基础设施（注1）。一般来说，云计算提供了一个集中的平台，用于执行程序和保存数据。建立在这一平台上的云服务已经可以处理以前通常由客户端设备独立完成的任务，并可以随时随地即时访问。然而直到最近，本地客户端设备仍然承担着一大部分以用户互动为目的的屏幕图像渲染工作。

我们认为，屏幕渲染（screen rendering）也可以迁移至云中，而经过渲染的屏幕图像可以作为云服务的一部分提供给用户。一般来说，屏幕代表着显示图像的部分或全部。从广义上讲，它也代表着用户界面中所涉及的数据集，例如显示图像、音频数据、鼠标、键盘、手写笔和触摸输入，以及其他多模态输入和输出（multimodality inputs and outputs）。在本文中，我们使用“屏幕”这一术语指代显示图像。把屏幕渲染迁移至云中，会带来很多优势。

首先，由于屏幕渲染与程序执行和数据存储密切相关，而将屏幕渲染迁移至数据存储和程序执行集中进行的云中，实际上简化了云计算架构。其次，屏幕渲染，特别是含有丰富图形的屏幕渲染，并不是简单的任务。它往往需要在客户端设备上配备强大的CPU和GPU。而把屏幕渲染迁移到云中，将大大降低对客户端设备的硬件要求，从而使降低客户端设备成本成为可能。第三，即使客户端设备配备了强大的CPU和GPU处理器，将屏幕渲染工作的部分或全部卸载到云中，就能够腾出客户端的处理能力，更有效地处理高优先级的任务（例如本地用户界面）和丰富的用户互动（例如触控和手势识别），这些都要求快速的本地响应。最后，将屏幕渲染迁移至云中也为整体计算体验的优化带来了新的途径。

屏幕虚拟化（screen virtualization），或将屏幕渲染迁移至云中，并不总是意味着将全部的屏幕渲染任务放入云中。根据实际情况，例如本地处理能力、带宽和网络延迟、数据依赖和数据流量以及显示分辨率等，屏幕渲染任务可以有一部分在云中完成，另一部分在客户端完成（即可伸缩的屏幕虚拟化）；通过这样的协作，将经过渲染的完整的画面呈现给用户。这非常类似于传统的云计算：我们​​必须决定将程序执行和数据存储是放在云中远程运行，还是留在本地设备上运行，以获得最佳的计算体验。屏幕虚拟化所带来的灵活性让我们得以通过平衡本地客户端设备和远程云设备上的数据存储、程序执行和屏幕渲染等负载，提供进一步优化的计算体验。

然而，如果客户需要维持较高保真度的显示图像，或要求响应性更好的用户互动，那么在云中渲染屏幕的做法就会给客户端设备对虚拟屏幕的访问增加难度。幸运的是，我们已经开发了一系列先进的多媒体和网络技术，用于解决这些问题。最终，我们希望为可伸缩屏幕虚拟化的云计算过程定义一套通用的云API，这样开发商就无须关心其中的数据存储、程序执行和屏幕渲染任务实际发生在何处，因为针对云服务的API将自适应、最优化地在云设备和客户端设备之间分配存储、执行和渲染任务。与曾经推动了个人电脑大规模普及的GUI相似，云API在云和各种各样的客户端设备之间架起了一座桥梁，能够在本地和远程两个层面上引入新的计算体验。这将促使云-移动计算的演进转化成为一场革命。

云中的屏幕（Screen in the Cloud）

互联网的迅速发展为我们提供了得以利用托管在公共或私人数据中心内的强大、并行、分布式虚拟机中的远程计算和存储资源的机会。在典型的云-端计算架构内，数据和程序可以远程和（或）本地存储、加载和运行。为了利用云优势，计算密集型任务通常在云中运行，以生成一些中间结果（例如HTML数据），然后再传递到客户端设备上进一步处理，生成显示屏幕。换言之，本地屏幕渲染从数据存储和程序执行中分离出去，并通过互联网与后两者实现连接。

图1：云-客户端计算体系架构的概念图

直至现在，云屏幕虚拟化仍然是云计算领域内进展不尽如人意的分支。相比之下，更加缺乏关注的领域是如何在云中利用虚拟屏幕，并将其与本地渲染能力相结合，通过各种不同的设备，提供相等甚至更好的用户体验，而不论其计算能力、渲染能力、带宽和屏幕分辨率的高下。图1描述了云-端计算概念性架构，其中的虚拟屏幕是在云中进行渲染的。屏幕的行为与数据和程序类似，可以根据云和客户端的具体能力状况，在两者之间进行自适应性和协作性处理。正如我们前面提到的，带有屏幕自适应（screen adaptation）功能的云-端架构可以提供以下好处：

• 通过笔记本电脑、电视和电话等各种不同的屏幕，为终端用户提供优化的互动体验；
• 为开发者简化编程模型，就像编写本地应用程序，而无需纠结于各种类型的实时数据通信；
• 通过虚拟机机制和屏幕远程处理能力，为软件供应商提供部署云软件服务的快速模型，例如，这种模型能够帮助快速​​部署试用版软件，而无需担心盗版问题。

现在，我们能否通过互联网，将屏幕作为一种实时服务交付给用户，实现近似本地的互动体验？屏幕作为显示图像，确实包含了大量的数据。幸运的是，它表现为图像序列时，其中存在很多可以有效去除的冗余成分。此外，带有全帧单元的屏幕刷新可以使客户端一侧的屏幕更新延迟变得相对固定。虽然多媒体、硬件和网络技术的突破指日可待，但我们在虚拟屏幕远程计算系统方面的最新进展表明，即便使用现有的技术，屏幕压缩和传输技术也可以做得非常高效。

虚拟屏幕的远程计算（Remote Computing with Virtualized Screen）

按照如图1所示的云计算概念结构，我们已经开发出一种能够利用交互式屏幕远程处理技术的瘦客户端远程计算系统。

（1）系统架构（System Architecture）

瘦客户端远程计算系统可以为最终用户提供高保真显示和高响应性的互动，就好像使用本地计算机一样。然而，复杂的图形界面和多媒体应用往往会向瘦客户端的开发者提出挑战：如何利用低带宽连接实现高效的传输。图2描述我们所提议的瘦客户端远程计算系统，该系统实现了应用程序逻辑（远程）和用户界面（本地）的脱钩，客户端因而能够使用作为云虚拟机部署的远程服务器。服务器和客户端之间通过互动屏幕远程处理机制，实现了网上双向沟通。客户端将用户输入发送到远程服务器，作为响应，服务器将屏幕更新返回给客户端。

屏幕更新模式决定了屏幕能否有效地压缩并传输到客户端。现有的瘦客户端系统，例如虚拟网络计算（VNC）（注2）和远程桌面协议（RDP）（注3），大多数情况下将屏幕更新表现为任意大小区域的基本图形。这种机制允许服务器简单地将需要更新的基本图形转发至压缩模块，而直接丢弃其它的稳定区域信息。在客户端，屏幕显示模块对所收到基本图形加以渲染，并覆盖指定部分矩形区域的像素。然而，需要更新的区域往往较小，而且可能出现在任意位置，如菜单或编辑框等。对这些小区域和任意位置进行编码，将导致系统受制于压缩效率的衰减。

图2：互动屏幕远程处理系统

与基于任意尺寸区域的架构不同，我们的瘦客户端系统采用了基于帧的屏幕表现模型（frame-based screen-representation model）。这种模型从帧缓冲区中一次性读取屏幕上的所有像素，并将整个屏幕图像送入压缩模块和传送模块。在客户端，屏幕显示模块将整个屏幕替换为新解码的屏幕。如图2所示，服务器和客户端存储着相同的参照帧，用于清除连续帧之间的冗余数据。除了在压缩方面的优势外，基于帧的屏幕表现模型还简化系统架构，免去了调度屏幕区域更新所需的固定带宽占用。此外，基于帧的屏幕表现模式还可以非常迅速地恢复由于丢包（packet loss）而导致的错误，无须通过关键帧刷新进行重传。

相对于VNC和RDP等现有的远程计算系统，我们所提出的解决方案能显著改善用户体验，它同时反映在屏幕更新和互动反应的平滑度上；而使之成为现实的，就是我们下面要介绍的高级屏幕压缩和传输技术。

（2）屏幕压缩（Screen Compression）

屏幕图像可能包括但不限于网页、幻灯片、海报、图像、视频以及其他任何显示在计算机屏幕上的内容。对于自然图片，许多现有的图像和视频编码标准（如JPEG2000和H.264/高级视频编码）已具有出色的编码性能。但是它们在屏幕图像压缩（大多数情况下包含富文本）方面的效率却不高。屏幕图像压缩所面临的挑战归纳如下：

• 计算复杂性（computational complexity）。屏幕编解码器不得不处理大量数据，以保持屏幕更新的高分辨率和高帧率。同时，编解码器还必须腾出绝大部分处理资源用于执行其它的常规应用；
• 压缩性能（compression performance）。组成屏幕图像的文本、图形和图片都有各自不同的特点和对编码工具的敏感性。屏幕编解码器必须在一个框架内有效处理各类数据，并同时维持较低的计算成本。

一般来说，典型的屏幕图像可以划分成四类区域：平滑、文本、图片和图片上的文本。根据我们的统计分析，平滑和图片区域更适合于变换域的编码；而文本和图片上的文本区域则更合适于像素域的有效压缩。为了简化编解码器的架构，我们提出了一种基于块的编码算法，它仅包含两种编码类型：图片和文本。文本块编码方案还包含“逃脱像素编码（escape pixel-coding technique）”技术，它专门用于处理“图片上的文本”区域内的背景图片像素。

 
图3：本文提出的屏幕压缩算法框架图

图3描述了我们所提出的屏幕压缩算法。捕获的屏幕图像被分割成互不重叠的16×16区块。与前一帧图像进行比较后，每个区块被都被识别为“可跳过”或“不可跳过”两类。接着，分类操作将不可跳过的区块划分成图片块和文本块，然后调用与这两类区块相关联的自适应编码方案。在区块分类中运用了统计梯度直方图（statistical gradient histogram）。100％准确的区块分类是几乎不可能的，因为“图片上的文本”区域本身是千变万化的。幸运的是，我们提出的“逃脱像素”编码方案可避免在分类失当的情况下避免画质损失，并仅有微小的码率增加。

这种屏幕编解码器在编码速度、质量和计算复杂性等方面的表现都超过了用于屏幕图像编码的传统自然图像和视频编解码器。编码和解码过程对GPU也十分友好。主流显卡的GPU加速能够轻而易举地使屏幕捕捉和编码的帧速率达到无GPU加速系统的两倍。

（3）屏幕传输（Screen Transmission）

在远程计算系统中，屏幕传输延迟可能是影响用户体验的最重要因素。由于屏幕图像是按照与视频类似的时间序列加以组织的，我们在其中利用了一些现有的视频传输技术。经过预测式编码的各帧之间具有强烈的相互依赖性，使得视频流对传输错误异常敏感。因此，必须运用一些缓冲和错误控制机制，这样，在固有的网络传输延迟以外，又产生了额外的延迟。

此外，互动屏幕远程处理（interactive screen remoting）对延迟的要求要比实时视频通信严格得多。例如，用户通常期望在点击某个按钮后，本地显示器立即做出反应，就像使用本地计算机一样。为了达到这一性能，要求云虚拟屏幕和本地设备显示器之间的快速往返消息处理以及几乎即时的更新速度。因此，现有的视频传输技术可能无法满足交互式屏幕远程处理场景的要求。

幸运的是，我们提出的屏幕编解码器并不会引起连续帧之间的高度依赖性，它可以在一定程度上缓解经过解码的屏幕图像中由传输错误引起的漂移误差​​。此外，屏幕远程处理还具有与视频传输场景迥然相异的独特功能。例如，它并不需要每次都对整个屏幕画面进行更新。相反，一些出现问题的屏幕区域可以在得到信号时立即呈现。因此，有可能通过一些具有内容感知能力的调度方案来帮助最大程度地减少传输延迟。

 图4：我们提出的屏幕传输算法框架图

图4描述了我们所提出的屏幕传输算法，其基础是屏幕压缩和传输的联合优化。屏幕图像处理分为三个层面：

• 在编解码器层面，屏幕图像编码通过一种灵活的切片结构（slicing structure），帮助客户端对隐藏了错误的屏幕进行重构。此外，屏幕解码器可以处理外出现故障的屏幕数据包，而不会产生漂移误差（drifting errors）；
• 在控制层面，拥塞-失真优化算法（congestion-distortion optimization algorithm）可以调度发送缓冲区中的数据包。这些数据包的调度依据是其对网络拥塞和显示失真的影响程度。有些数据包可能会被丢弃，而不会对后续帧进行重新编码；

    在传输层面，我们运用了带有自动重复请求的UDP传输协议，以平衡传输速率和错误控制。为了避免网络拥塞，我们利用TCP友好型速率控制器来估计可用带宽。

云-移动融合（Cloud-Mobility Convergence）

移动计算的快速发展提升了移动用户的自由度。除了通讯功能外，移动设备还可以成为计算、传感、控制、游戏和自然互动的平台。然而，移动设备很难成为满足所有用户计算需求的主导设备，其主要原因在于移动设备在计算、存储、显示和互动等方面的能力局限性。而另一方面，云计算通过集中的数据中心提供了无限的计算和存储能力。云计算可以大大增强移动设备的能力：

•  远程计算机终端（remote-computing terminal）。带有远程桌面解决方案（例如RDP和VNC）的移动设备可以利用云中的远程计算机程序，但是现有的计算机程序通常是针对较大的显示屏设计，因而难以适应移动设备屏幕；
•  可以利用云服务的平台（cloud-services harnessing platform）。移动设备可以通过互联网访问云中的无限服务。在极端的情况下，除了用户界面和传感器外，所有的程序执行、数据存储和屏幕渲染都可以迁移至云中。一般情况下，通过平衡本地客户端设备和远程云设备上的数据存储、程序执行和屏幕渲染等负载，我们可以实现适应云和移动设备能力的优化计算体验。

云屏幕虚拟化引入了一条新途径，进一步优化云-移动计算体验，并有可能加速云-移动融合。在我们所提出的交互式屏幕远程处理系统的基础上，我们将展示移动应用的两个典型案例：云浏览器和云手机。

（1）云浏览器（Cloud Browser）

由于大部分手机都预装了Web浏览器，移动浏览变得越来越普及。然而，许多移动浏览器并不能支持所有的复杂HTML对象，例如全功能Flash、JavaScript和Silverlight等。在很多情况下，用户无法从特定网站下载安装附加组件。更糟的是，网站所有者可能不得不开发和维护同一内容的两个版本，其中的完整版本适用于桌面浏览器，而另一个简化版本适用于移动浏览器。在大多数情况下，移动版本丢弃了丰富的多媒体信息，由此破坏和弱化了浏览体验。人们希望能够在移动电话上得到类似桌面的浏览体验。

图5：云浏览器的系统架构

最近，我们开发了一款云辅助型移动浏览器，我们称之为云浏览器，这是我们先前开发的基于代理的Web浏览器的延伸（注4）。图5描述了云浏览器的架构，在包含了部署在云中的虚拟浏览器，以及安装在设备上的移动浏览器。虚拟浏览器提取网页对象，并将其渲染为样本，进而对它们进行编码和复用，形成一种复合的屏幕格式，然后通过优化调度，将数据发送到客户端。移动浏览器接收到这些样本并进行解码，对其重新组合并呈现给移动用户。移动浏览器也会将控制讯息（例如客户端显示器的能见度以及用户互动事件等信息）发回到虚拟浏览器。

如前所述，复合屏幕格式（composite screen format）被定义为一个样本序列，其中的样本可以是屏幕图像，也可以是网页对象。网页对象由对象标识、类型以及在屏幕上所处的位置等属性所构成。我们定义了四种类型的网页对象：超链接、文本输入、密码输入和动态样本。对象样本并不直接用于显示，而是用于改善用户的互动体验和避免不必要的带宽占用。例如，客户端可以使用对象信息来执行一些简单的互动逻辑，向用户提供快速回应。此外，根据对象类型和用户偏好，可以有选择地对部分甚至全部的屏幕加以更新。

云浏览器是一套完整的端到端解决方案，将网页渲染任务从客户端卸载到了云或某些代理服务器上，对网页格式进行重整，以消除与移动设备不兼容的特征，在最大限度地提高对象层面互动性的同时，保持了完整的桌面浏览体验。在许多情况下，压缩后的网页数据量甚至可能小于原始HTML文件。更妙的是，我们提出的移动浏览器能够仅下载经过云渲染的网页屏幕图像中的可见部分，从而显著缩短载入时间。此外，由于大多数屏幕样本已经在云中进行了渲染，本地客户端可以为用户快速组装这些样本，从而进一步缩短了网页的渲染时间。HTML网页可以转换为屏幕图像，而屏幕图像也可以作为网页元素，嵌入到HTML文件中，帮助实现云和客户端之间的实时互动沟通。

（2）云手机（Cloud Phone）

作为一种个人计算设备，智能手机在移动用户中非常普及。除了市场上众多的手机品牌和各异的操作系统外，硬件和应用软件的迅速发展加快了手机硬件的升级步伐。我们是否能够以软件和服务的升级来取代频繁的硬件升级呢？最近，我们开发了一套完整的基于云服务的手机解决方案原型，我们称之为云手机，通过这款软件，用户即便使用廉价设备，也可以访问不断增加的云应用程序和服务，而无需更新手机硬件。

 
图6：云手机概念图

图6是我们提出的云手机概念图。一方面，通过在云中部署的虚拟手机、用户首选的移动操作系统（例如Windows Phone、iPhone和Android等）和无限的应用程序或服务，云手机服务可以随时随地在这些手机用户界面和程序之间任意切换。另一方面，云手机客户端能够以任何形式部署，例如作为手机、浏览器或笔记本电脑等。作为一套完整的基于云服务的手机解决方案，云手机具有以下优势：

• 它使制造低成本智能手机成为可能，在这种运行模式下，手机只是一个具有基本通信功能和屏幕解码器的终端。随着计算任务迁移至云中，复杂应用程序也就变得更加简单；
• 它可以模拟任何现有设备（例如手机、游戏机和掌上电脑等）。它还可以让用户通过任何手机享受相同的个人体验；
• 它还可以掌握用户在云中互动的完整知识，并有可能提供更完善的服务。

云手机服务走向市场之前，仍然有很多问题需要解决。例如，我们还应考虑到离线体验，因为网络并不总是可用的。然而，云手机的概念启发我们对于下一代移动平台的思考，并考虑云与移动的融合。手机操作系统之上或许需要一个中间件层，与一般的Web用户界面相比，它更合适运行丰富的云应用程序。

结论

云计算并不是一个Web服务的简单扩展。随着云与客户端之间新应用程序接口模型的引入，突破可能随之而来。用户通过云-端沟通实现人与云之间的互动，但它在一定程度上限制了用户体验，并提出了许多技术上的挑战。我们已经表明，先进的多媒体压缩和网络技术可以有效并高效地连通云与多种设备，并有可能促使云计算的演进转化为一场革命。

参考文献：

1.  M. Armbrust等，“云计算概览” (A View of Cloud Computing) ，《Comm. ACM》第53卷，2010年第4期，50-58页。

2.  T. Richardson等，“虚拟网络计算” (Virtual Network Computing)，《IEEE互联网计算》(IEEE Internet Computing)，第2卷，1998年第1期。

3. 微软，《远程桌面协议》 (Remote Desktop Protocol)，2009年，http://msdn.microsoft.com/en-us/library/ aa383015.aspx。

4.  H. Shen等，“基于代理的移动网络浏览器” (A Proxy-Based Mobile Web Browser) ，《Proc. ACM多媒体》 (ACM Multimedia) ，ACM出版社，2010年，763-766页。

注：本文译自Virtualized Screen: A Third Element for Cloud_Mobile Convergence，原文载于IEEE Computer Society