如今，人工智能 (AI) 领域发展迅猛，远远超越了简单对话界面的范畴。从最初基于规则的聊天机器人，到复杂的推理系统，再到如今功能强大的 AI 智能体，AI 已经能在尽量不需要人为干预的情况下完成复杂的多步骤任务。这些现代智能体不仅能回答各种问询，还能根据不断变化的情景信息主动制定方案、执行工作流程、做出决策，并调整方法。这种演变预示着企业利用 AI 的方式发生了根本性转变：AI 已经从被动响应的助手变为主动执行知识型工作（包括流程优化和战略决策）的自动化工具，可以为整个组织带来可衡量的业务价值。对于正在规划 AI 部署的企业和组织而言，了解支持这种转变的技术基础至关重要。
AI 智能体的工作方式
AI 智能体的高效运作依赖于两个关键组件的协同配合。一个组件是高级自然语言理解。该组件由 OpenAI、Anthropic 和 Google 等模型即服务提供商的基础模型提供支持，这些基础模型可以为智能体提供认知推理能力，使其能够理解复杂指令、合成信息，并生成富有智慧的回复。另一个组件是模型上下文协议 (MCP)。该组件用于实现“AI 的 API”，这是一种标准化框架，可以让智能体将企业特定的情景信息、数据源和领域专业知识整合到决策过程中。这两个组件相结合，可以产生强大的协同效应：智能体开发人员可以将基础模型丰富的一般知识和推理功能与情景信息和专用工具相结合，得到高度适用于特定业务使用案例和企业工作流程的智能体。
AI 智能体故障：潜在的风险
随着企业和组织开始部署 AI 智能体来支持任务关键型运营，相关基础设施的可靠性和性能变得至关重要。这些智能体依赖于两个基本组件：为认知能力提供支持的推理提供程序，以及托管企业情景信息和专用工具的 MCP 服务器。这两个组件都必须可靠运行，如果其中任何一个组件的可用性、性能或准确性下降，就会产生一系列连锁反应，造成重大业务中断、决策障碍，以及自动化工作流程失败。由于智能体执行复杂的工作流程时只接受最低限度的监督，而它又负责做出基于情景的决策并执行与业务运营密切相关的操作，所以一旦出现问题，就会造成严重的后果。考虑到这些潜在风险，企业和组织必须实施全面的监控解决方案来实时洞察推理提供程序和 MCP 服务器的运行状况、性能和行为，以确保智能自动化层始终运行稳定、符合预期且值得信赖。
全新的 AI 保障方法
为了解决 AI 基础设施存在的特定挑战，ThousandEyes 提供了两款专为该环境而设计的监控解决方案，分别是面向 AI 推理提供程序的测试模板，以及 MCP 服务器持续监控解决方案。它们为 AI 基础设施可观察性领域开启了新思路。这两款解决方案与传统监控方法的不同之处在于，它们能满足监控 AI 系统所面临的独特要求，这包括：不能依靠常规的正常运行时间和响应时间指标；不仅需要验证服务是否做出响应，还需要验证服务是否生成正确且一致的输出。这两款解决方案共同构成了一套综合而全面的方法，通过提供企业 AI 部署所需的深度可视性和保障，确保企业和组织能够自信地扩展其智能体实施，并落实严格的可靠性和性能标准。
AI 测试模板：对 AI 推理提供程序进行深度验证
图 1. 新上线的测试模板，可针对主流模型推理 API 提供保障
我们的 AI 测试模板将客户的智能体部署中配置的特定开发者 API 和生成式 AI 模型作为测试目标，旨在针对 AI 推理提供程序的性能提供更强的可视性。这些模板会从全球多个位置对延迟、响应时间、Token 效率和服务可用性等指标进行多维度测试，以帮助确保无论智能体部署位于何处，都能发挥稳定且一致的性能。最重要的是，这些模板包含可自定义的提示词，有助于利用符合实际、针对特定域的查询来训练模型。这些模板还采用高级断言逻辑来验证回复内容是否随着时间推移始终保持良好的准确性、一致性和适当性。借助这个新方法，企业和组织不仅能检测模型性能的细微下降，并确定不同区域间的服务差异，还能确保即使是在底层模型更新期间或基础设施发生变化时，其智能体也能继续提供可靠的输出。这样一来，企业和组织就能对生产 AI 部署树立充足的信心。
图 2. ThousandEyes 检测到，由于提供程序过载而导致模型推理失败
MCP 服务器监控：保障企业情景信息的完整性
我们还提供了用于持续监控 MCP 服务器的测试模板，以帮助企业和组织全面监督企业情景信息层，这也是确保 AI 智能体能在业务应用中发挥重要价值的关键。其背后的系统会通过流式 HTTP (Streamable HTTP) 建立基于标准的 MCP 客户端连接，广泛使用 MCP 协议来发现每台服务器所有已公开的可用资源、工具和功能。除了基本的可用性和性能监控功能，该解决方案还能检查 MCP 资源，验证可用工具及其配置的状态。这无疑是一项重要的安全和监管功能，有助于企业和组织了解其 MCP 环境中当前已公开的工具。由于现代智能体会自主选择和使用工具来处理用户的查询，所以对工具生态系统保持良好的可视性和可控性对于保障安全性、合规性和运营完整性至关重要。有了这种全面的监控方法，企业和组织就能确保企业情景信息层不仅能发挥出强大的作用，而且始终处于管理之中。
将 AI 承诺化为现实
通过 MCP 将标准化的企业情景信息集成到高级基础模型，再辅以全面的监控功能，这套强大的方法标志着企业 AI 的采用将迎来重要时刻。如今，企业和组织已经具备了部署自主智能体的基本要素，只需要将高级 AI 模型的推理能力与深入的企业情景信息相结合，并建立必要的持续可视性和可控性，就能利用 AI 智能体来执行任务关键型运营任务。我们在监控领域的两项创新（面向推理提供程序的测试模板以及 MCP 服务器持续监控解决方案）可以助力企业和组织在运维层面建立可靠的基础，从而充满信心地扩展 AI 智能体部署。有这些解决方案作为保障，企业和组织可以引入更多复杂的 AI 功能，同时确保企业环境始终满足所需的安全性、可靠性和监管标准。只要有效利用这些技术，企业和组织就能借助智能自动化和 AI 辅助决策来树立重要的竞争优势，并在运维过程中扩充人类专业知识来显著改善业务运营。