Win11 24H2中AI新特性解读: 大大提升用户体验

    Windows 11 24H2 带来了一系列激动人心的新功能，特别是在 AI 领域实现了重大突破。本文将深入剖析这些 AI 新特性，探讨它们的重要性，以及如何充分利用它们，打造更加智能、高效的使用体验。
    
    Windows Copilot 运行时：本地 AI 的基石
    Windows 11 24H2 引入了多项开创性的 AI 功能，这些功能会在你的设备本地运行，并不依赖云端分析和处理数据。
    在这些创新功能的背后，是全新的 Windows Copilot 运行时系统组件。它整合了 40+ 本地运行的 AI 模型，并提供了维护和管理这些模型的基础设施。这一设计不仅显著提升了系统性能，还为开发者打开了无限可能。借助 Windows Copilot 库提供的新 API，就能够轻松将 AI 功能融入自己的应用程序中，打造更加智能化、个性化的用户体验。
    
    Windows Copilot Runtime 架构示意
    如上图所示，Windows Copilot 运行时主要分为三层：
    第一层
    第一层提供了 AI 开发的基础设施，包含框架和工具：
    

• AI 框架：包括 DirectML、ONNX Runtime、PyTorch 和 WebNN。
• 工具链：包括 Olive、适用于 Visual Studio Code 的 AI 工具包，以及其他面向开发人员的工具。

    第二层
    第二层是 Windows Copilot 运行时的核心，包括 Windows Copilot 库（API）和本地 AI 模型：
    

• Windows Copilot 库：提供了一组全新 API，方便开发人员将 AI 功能集成到应用中。
• 本地模型：集成了 40 多个本地 AI 模型，为许多全新的 Windows AI 功能提供支持，例如 Windows Recall、实时字幕翻译、Windows Studio Effects、自动超级分辨率、「画图」应用中的图像创建器、语音清晰度、以及「照片」应用中的 Restyle 图像等多种酷炫功能。

    作为全新运行时的一部分，微软还集成了 Phi Silica 小型语言模型（SLM）和其他模型，如 OCR 光学字符识别器、屏幕区域检测器、自然语言解析器、图像编码器、向量嵌入、RAG 检索增强生成、文本摘要和用户活动识别等。
    第三层
    第三层是面向用户的应用层，通过调用底层功能实现各种 AI 体验：
    

• 在这一层中，各种应用程序（包括 Windows 原生和第三方应用）可以通过调用第二层的 AI 模型和 Windows Copilot 库提供的 API，来实现各种 AI 功能，为用户提供更智能、更便捷的使用体验。
• 开发者如果要在自己的应用中集成最新的 AI 功能，也需要通过 Windows Copilot 运行时来实现。

    Windows Copilot 运行时工作得非常底层，直接基于 NPU 和 GPU 来处理 AI 任务，并不依赖于云端服务，即使在没有网络的情况下也能正常工作。
    接下来，我们将深入探讨 Windows 11 24H2 的 AI 新功能，看看它们将如何改变我们使用 Windows 的方式，以及为什么它们对提高生产力和用户体验至关重要。
    一、Windows Recall：你的智能数字记忆助手
    Windows Recall 是 Windows 11 24H2 中最引人注目的 AI 功能之一。它就像一个智能数字记忆助手，默默地记录着你在电脑上的每一次操作。该功能依托本地运行的多个 AI 模型，不仅能够分析你的操作，还可以通过自然语言轻松搜索所有内容（包括文本和图像），帮助你高效完成工作和获取灵感。
    
    Windows Recall 功能
    Recall 功能核心优势
    

• 强劲硬件支持：专为 Copilot+ PC 设计，需要搭载最新款 Qualcomm Snapdragon X 系列处理器和 NPU，并配备 16GB 内存和 256GB SSD。
• 智能截屏与索引：每隔几秒自动截屏，并创建本地加密的向量索引，为快速精准的搜索奠定基础。
• 自然语言搜索：使用自然语言即可轻松查找过去的活动和内容，极大提升工作效率。
• 隐私保护至关重要：所有数据只在本地进行处理，不会上传到云端，用户隐私安全得到严格保护。

    Windows Recall 功能在 Microsoft Build 2024 大会上首次亮相时，便立即吸引了众多目光。尽管有人对隐私问题表示担忧，但微软一再强调其本地数据处理的特性，以求打消用户疑虑。
    二、Windows Studio Effects：AI 赋能的视频通话新体验
    Windows Studio Effects 是一套利用 AI 技术来增强视频通话和音频质量的组合功能，它依赖于设备的 NPU 为用户带来前所未有的通话体验。
    
    Studio Effects 快速设置面板
    Studio Effects 包括 6 大主要效果
    

• 自动取景：即使你在移动，也能让你始终保持在镜头中心。
• 背景虚化：在视频通话中模糊背景，提升隐私保护或隐藏杂乱环境。
• 眼神接触：让你在看屏幕时，看起来像是在与对方保持眼神交流。
• 语音聚焦：减少背景噪音，让你的声音更加清晰。
• 肖像光：优化视频中的光线效果，提升画面质量。
• 创意滤镜：为视频添加个性化滤镜效果。

    虽然 Studio Effects 功能在 Windows 11 中早就存在，但从 24H2 版本开始，微软计划在 Copilot+ PC 认证的电脑上更广泛地推广该功能。这意味着，更多用户将能享受到 AI 增强的通话体验。
    
    Studio Effects 依赖于设备的 NPU，因此并不是所有设备都能支持。
     三、实时字幕翻译：打破语言障碍的 AI 利器
    Windows 11 的 实时字幕功能在 24H2 更新中迎来了重磅升级，新增的「实时字幕翻译」功能带来了跨语言交流的全新体验。这项改进不仅能为听障人士提供更有效的辅助，也为所有用户带来了更加便捷、高效的语言交流体验。
    
    实时字幕翻译
    实时字幕翻译功能核心优势
    

• 实时翻译：支持将视频或语音内容实时翻译成你的母语，包括 YouTube 等平台的视频内容。
• 广泛兼容性：可以实时翻译电脑上的任何音频源，涵盖实时和预录音频。
• 多语言支持：支持将超过 40 种语言翻译成英语，显著拓展使用场景。
• 离线功能：可依托 NPU 运行，即使断网也能流畅使用。
• 音视频通话支持：新增对音频和视频通话的实时字幕支持，助力无障碍沟通。

    新版本虽然尚未明确离线功能的具体支持情况，但已经扩展了多种非英语语言的支持。
     四、语音清晰度：AI 驱动的音频增强体验
    Windows 11 的语音清晰度功能融合了 AI 技术，可以为你带来更清晰的音频体验。在 Windows 11 24H2 中，该功能不再局限于 Surface 设备，而是扩展到了更多 Windows 设备上，让更多用户能够享受到 AI 驱动的清晰通话效果。
    语音清晰度功能核心优势
    

• 智能噪音消除：能有效过滤背景噪音，确保通话时声音清晰。
• 回声消除：精准降低音频回声，提升通话质量。
• 实时混响降低：在视频或语音通话及录音时，实时降低混响，让声音更加纯净自然。
• 游戏体验优化：显著提升在线游戏时的语音质量，让你畅享更沉浸的游戏体验。
• 深度噪音抑制：应用程序可以轻松调用此功能，确保在线会议时的语音清晰度。
• 自动化处理：支持 NPU 的硬件和应用程序会自动开启此功能，无需手动操作。

    在支持的应用程序和搭载 NPU 的硬件上，语音清晰度功能会自动开始工作，用户无需也无法手动控制。
     五、自动超级分辨率：AI 驱动的游戏画质革命
    Windows 11 24H2 中的自动超级分辨率（Auto Super Resolution, SR）功能，标志着微软在游戏体验优化方面的一大飞跃。它通过 AI 技术来显著提升游戏画质和性能，为玩家带来更加流畅、沉浸的游戏世界。
    
    在「设置」中启用自动超级分辨率
    自动超级分辨率功能核心优势
    

• AI 增强画质：依托强大的 AI 技术，智能提升游戏分辨率和视觉效果，让画面更加细腻逼真。
• 性能优化：在提升画质的同时有效改善游戏帧率，带来更流畅的游戏体验。
• 行业合作：微软携手 Nvidia、AMD 和 Intel 共同研发了 DirectSR API，为下一代游戏集成 SR 技术奠定基础。
• NPU 驱动：不同于传统的 GPU 驱动，自动超级分辨率利用设备的 NPU 进行处理，带来更高效的运算能力。
• 易于控制：你可在 Windows 11 的「系统」>「屏幕」>「显示卡」设置中轻松找到并启用此功能。

    自动超级分辨率的工作原理与业界知名的 AMD FSR 和 Nvidia DLSS 技术类似，但它采用了 NPU 进行运算，而非传统的 GPU。这种创新方法不仅能带来更高效的处理，还能为不同硬件配置的用户提供画质提升的机会，打破了硬件性能对游戏体验的限制。
    目前仅适用于搭载 Qualcomm Snapdragon X 系列处理器的 Copilot+ PC。
    六、「画图」中的图像创建器：AI 辅助创意绘画的新旅程
    Windows 11 24H2 为经典的「画图」应用带来了革命性的「图像创建器」功能。这一 AI 驱动的工具将彻底改变你的绘画体验，为创意过程注入新的活力。
    
    图像创建器实时生成
    图像创建器功能核心优势
    

• 智能扫描：能够分析现有的草图或绘画，而不是从空白画布开始创建 AI 图像，让创作更加自然顺畅。
• 协作创作：基于你现有的绘画或草图进行创作，激发灵感，推动创作过程向前迈进。
• 高度可定制：可以根据你自己的想法完善、编辑和改进 AI 生成的内容，拥有完全掌控权。
• 扩散算法：采用先进的基于扩散的算法，即使是简单的线条或涂鸦，也能生成高质量图像。
• 风格调整：提供多种样式选项，方便调整图像风格，使其更加写实或更具表现力。
• 实时生成：能够在绘制时实时生成图像，反应速度快，创作效率高。

    对于艺术爱好者、设计师和创意工作者来说，「图像创建器」的出现无疑是个令人振奋的消息。它不仅可以快速实现创意构想，还能激发新的灵感，推动创作过程向前迈进。即使绘画技能比较拉胯的用户，也能创造出令人惊叹的作品。
    
    「图像创建器」是 Copilot+ PC 专属功能。它与云端的「Image Creator」功能不同，利用设备的 NPU 在本地处理图像生成。这不仅可以确保用户隐私，还能提供更快的响应速度和更稳定的体验。
     七、「照片」中的 Restyle 图像功能：AI 驱动的图片风格革新
    Windows 11 24H2 为「照片」应用带来了「Restyle 图像」功能，这将彻底改变你编辑和创作图片的方式，为照片赋予全新的艺术风格和创意表达。
    
    Restyle 图像处理
    Restyle 图像功能核心优势
    

• AI 技术驱动：依托设备的 NPU 和强大的 AI 算法进行图像处理，实现高效、智能的图片风格转换。
• 风格转换：能够彻底改变照片的风格，从复古怀旧到现代时尚，自由切换，打造多元化的视觉效果，宛如为照片增添了全新的艺术滤镜。
• 文本引导创作：支持使用文本提示来创建全新的背景，为照片注入新的创意元素，激发无限的想象力和表达力。
• 本地处理：所有操作都在设备本地完成，无需上传云端，确保用户隐私安全，并提供更快的处理速度，满足你对效率和隐私的双重需求。
• 高度定制：可以根据个人喜好和需求自由调整图片风格的强度和细节，打造专属的个性化视觉效果。

    通过「Restyle 图像」功能，无论你是专业摄影师、平面设计师，还是普通用户，都能轻松实现复杂的图像编辑和创作效果，打造令人惊艳的视觉作品。
    
    「Restyle 图像」是 Copilot+ PC 专属功能。它的本地处理特性不仅确保了用户隐私，还提供了更快的处理速度，对于需要快速批量编辑的专业用户来说尤为重要。
     八、Copilot 应用：全新升级的独立 AI 助手
    Windows 11 24H2 已将 Copilot 功能独立抽出，成为了全新的 AI 助手，提供更灵活、更强大的 AI 辅助体验，助力你更高效地完成工作和任务。
    
    Copilot 应用
    Copilot 应用核心优势
    

• 独立应用：Copilot 现已成为一款独立应用，可像其他应用程序一样进行管理和使用。
• 便捷访问：你可以自由地将它固定在任务栏上或取消固定，方便快速访问。
• 灵活操作：支持调整界面大小和在屏幕上自由移动，提供更加灵活的使用体验。
• 全新界面：采用简洁明了的界面设计，并借鉴了 OpenAI ChatGPT 的设计风格，提供更直观的用户体验。
• 强大模型：微软计划将 Copilot 升级到 OpenAI 最新的 GPT-4o 模型。它能够理解和处理多种格式的信息，包括文本、图像和音频，能为 Copilot 带来更强大的功能和更智能的 AI 辅助体验。
• 跨版本支持：你还可以在早期 Windows 11 和 Windows 10 上安装 Copilot 应用。

    新的 Copilot 应用不仅提供了更灵活的使用方式，还通过更先进的 AI 模型和增强的交互能力，大大提升了实用性和智能水平，能为你带来更加个性化、高效的 AI 辅助体验。
    其它坊间传闻AI
    深度壁纸：桌面体验的创新突破
    
    AI 深度壁纸
    微软正在酝酿一项名为「AI 深度壁纸」的全新功能，能够为 Windows 11 用户带来颠覆性的桌面视觉体验。这项创新基于深度学习技术，能够通过创造逼真的三维视觉效果，让静态桌面壁纸更加生动、充满活力，并融入用户交互之中。
    

• 视差效果：随着光标的移动和用户交互，桌面背景图像会产生轻微的移动和视差效果，营造出更加逼真的三维空间感和沉浸感。
• 动态响应：壁纸能够根据时间、天气、音乐等环境因素实时变化，甚至与用户的操作进行互动，为你提供更加个性化和身临其境的桌面体验。
• AI 驱动：依托强大的 AI 技术，AI 深度壁纸能够根据你的兴趣、喜好和习惯，自动生成或推荐个性化的壁纸内容，打造独一无二的桌面视觉效果。

    该功能尚未在最新的 Windows 11 Insider 版本中出现，但根据可靠消息，它有望在今年晚些时候随 Windows 11 24H2 正式版发布。
     「记事本」中的 AI 协作：文字处理的智能助手
    
    「记事本」中的 AI 协作
    Windows 11 24H2 将为「记事本」引入 AI 协作写作功能，为你提供更加高效、智能的文字处理体验。
    

• 内容重写：利用 AI 技术自动重新组织和表达文本内容，帮助你快速理清思路和优化表达。
• 调整格式：快速自动调整文本格式，如字体、大小、对齐方式等，提高排版效率。
• 调整语气：根据你的需求，自动调整文本的语气和风格，让文章更加正式、严谨或生动、活泼。
• 长度控制：智能调整段落长度，让文章结构更加合理，避免冗长或过于简短的情况。
• Copilot 解释：你还可以通过右键菜单中的「Explain with Copilot」选项，对选定的文本内容进行解释和说明。

    该功能可能会以白名单的形式逐步向用户开放，并有可能限制每月使用次数，以控制资源使用。