本文档提供了一个参考架构,可用于帮助保护具有检索增强生成 (RAG) 功能的应用的网络基础设施。RAG 架构通常包含单独的子系统来处理数据处理和内容检索流程。此参考架构演示了如何使用共享 VPC 执行以下操作:
- 使用 Identity and Access Management (IAM) 权限在子系统之间创建隔离。
- 使用专用 IP 地址连接应用组件。
本文档的目标受众群体包括架构师、开发者以及网络和安全管理员。本文档假定您对网络有基本的了解。本文档不介绍如何创建基于 RAG 的应用。
架构
下图展示了本文档介绍的网络架构:
上图中的架构显示了以下组件:
- 外部网络(本地或其他云端)
执行以下功能的外部网络:
- 为上传原始 RAG 数据的数据工程师提供网络连接。
- 终止外部网络连接。
- 托管外部路由器。
- 提供与 Google Cloud 路由 Virtual Private Cloud (VPC) 网络中的 Private Service Connect 端点的连接。
- 包含指向 Private Service Connect 端点的 DNS 服务器。
- 路由项目
一个执行以下功能的 Google Cloud 项目:
- 托管路由 VPC 网络,该网络通过 Cloud Interconnect 或 Cloud VPN 连接连接到外部网络。
- 托管一个 Network Connectivity Center (NCC) hub,该 hub 将外部网络、路由 VPC 网络和共享 VPC 网络连接在一起。
- 托管连接到区域级 Cloud Storage 端点的 Private Service Connect 端点。此端点可让数据工程师将 RAG 数据上传到 Cloud Storage 存储桶。
- RAG 共享 VPC 宿主项目
托管一个共享 VPC 网络,该网络托管前端服务内部应用负载均衡器以及需要 VPC 网络的任何其他服务。所有服务项目都可以访问该共享 VPC 网络。
- 数据注入服务项目
包含一个用于输入原始数据的 Cloud Storage 存储桶。包含数据注入子系统,该子系统包含以下组件:
- 注入处理:读取原始数据并进行处理。
- 注入输出:写入最终数据存储区。
- 服务项目
包含服务子系统,该子系统包括以下组件,这些组件提供用于推理和交互的服务和功能:
- RAG 数据存储区,其中包含数据注入子系统的输出。
- 通过将推理查询与 RAG 数据存储区中的数据相结合来为模型提供数据的服务进程。
- 服务处理子系统用于根据上传的 RAG 数据创建向量并处理最终用户请求的模型。
- 前端服务项目
包含前端子系统,该子系统是运行在 Cloud Run 或 Google Kubernetes Engine (GKE) 上的用户交互服务前面的应用负载均衡器。
该项目还包含 Google Cloud Armor,可帮助限制服务的访问方式。如果您想提供从互联网访问的权限,可以添加区域级外部应用负载均衡器。
- VPC Service Controls 边界
有助于防止数据渗漏。存储在 Cloud Storage 存储桶中的数据无法复制到边界之外的任何位置,并且控制平面操作会受到保护。
以下部分介绍了架构中的连接和流量。
组件之间的连接
本部分介绍了此架构中的组件和网络之间的连接。
外部网络到路由 VPC 网络
外部网络通过 Cloud Interconnect 或 Cloud VPN 连接到 Google Cloud 路由 VPC 网络,这些网络是 NCC hub 的混合 spoke。
路由 VPC 网络中的 Cloud Router 路由器和外部网络中的外部路由器交换边界网关协议 (BGP) 路由:
- 外部网络中的路由器向路由 VPC Cloud Router 路由器通告外部子网的路由。您可以使用 BGP 指标和属性来表示路由的偏好设置。
- 路由 VPC 网络中的 Cloud Router 路由器将 Google Cloud的 VPC 中的前缀的路由通告给外部网络。
路由 VPC 网络到共享 VPC 网络
您可以使用 NCC hub 的 NCC VPC spoke 连接路由 VPC 网络和 RAG VPC 网络。该 hub 还托管与外部网络的混合 spoke。
共享 VPC 网络中的资源到资源
在此设计中,Cloud Storage 存储桶会接收来自外部网络的数据。推理请求通过区域级内部应用负载均衡器传入。 对于系统的其余部分,您有以下选择:
- 将所有内容托管在 Google SaaS 基础架构中,例如 Cloud Storage 存储桶、Gemini Enterprise Agent Platform、Cloud Run 和 Pub/Sub。在这种情况下,组件通过专用 Google 基础设施进行通信。
- 将所有内容托管在 Compute Engine 虚拟机、GKE 集群、Cloud SQL 数据库或 VPC 网络中运行的其他组件中运行的工作负载中。在这种情况下,系统会通过您使用 NCC 或 VPC 网络对等互连连接的网络,使用专用 IP 地址进行通信。
- 使用全托管式服务、平台服务和基础设施服务。在这种情况下,您可以使用以下方法在 VPC 网络与全托管式服务之间建立连接:
- 专用 Google 访问通道:通过此方法,没有外部 IP 地址且在 VPC 网络中运行的工作负载可以访问 Google API。此访问在 Google 基础架构内部进行,并且此过程不会将此类流量公开到互联网。
- Private Service Connect:通过此方法,您可以在服务项目中为托管在代管式 VPC 网络中的服务(例如 AlloyDB for PostgreSQL)创建端点。
从外部网络到前端服务应用负载均衡器
区域级内部应用负载均衡器的端点是 RAG 网络中的 IP 地址。RAG 网络、路由网络以及与外部网络的混合连接都是同一 NCC hub 的 spoke。因此,您可以指示 NCC 将所有 spoke 子范围导出到 hub,然后 hub 会将这些子范围重新导出到其他 spoke 网络。然后,系统的最终用户可以从外部网络访问负载均衡服务。
流量
此参考架构中的流量流包括 RAG 数据流和推理流。
RAG 数据填充流
此流程描述了 RAG 数据如何通过系统从数据工程师流向向量存储。
- 数据工程师通过 Cloud Interconnect 连接或 Cloud VPN 连接从外部网络上传原始数据。数据会上传到路由 VPC 网络中的 Private Service Connect 端点。
- 数据通过 Google 的内部基础架构传输到数据注入服务项目内的 Cloud Storage 存储桶。
在数据注入服务项目中,数据通过以下方法之一在系统之间传输:
- 专用 Google 访问通道
- Private Service Connect 端点
- 直接 Google 基础架构
具体方法取决于系统是托管在Google Cloud VPC 网络中还是直接托管在Google Cloud中。在此流程中,数据注入子系统会将分块的 RAG 数据馈送到模型,模型会为每个分块生成向量。
数据注入子系统将向量数据和分块数据写入相应的数据存储区。
推理流
此流程描述了客户请求。
- 客户从外部网络向服务的 IP 地址发送请求。
- 请求经由 Cloud Interconnect 连接或 Cloud VPN 连接传输到路由 VPC 网络。
- 请求通过 VPC spoke 连接传输到 RAG VPC 网络。
- 客户请求到达应用负载均衡器,后者将请求传递给前端子系统。
- 前端子系统将请求转发到服务子系统。
- 服务子系统使用数据存储区中的相关情境数据来增强请求。
- 服务处理子系统将增强的提示发送到 AI 模型,该模型会生成回答。
使用的产品
此参考架构使用以下 Google Cloud 产品:
- Virtual Private Cloud (VPC):为您的 Google Cloud 工作负载提供全球可扩缩的网络功能的虚拟系统。VPC 包括 VPC 网络对等互连、Private Service Connect、专用服务访问通道和共享 VPC。
- 共享 VPC:Virtual Private Cloud 的一项功能,可让您使用来自该网络的内部 IP 地址将多个项目中的资源连接到一个公用 VPC 网络。
- Private Service Connect:一项功能,可让使用方从其 VPC 网络内部以私密方式访问托管式服务。
- 专用 Google 访问通道:一项功能,可让没有外部 IP 地址的虚拟机实例访问 Google API 和服务的外部 IP 地址。
- Cloud Interconnect:一种通过高可用性、低延迟的连接将您的外部网络扩展到 Google 网络的服务。
- Cloud VPN:一种通过 IPsec VPN 隧道将您的对等网络安全地扩展到 Google 网络的服务。
- Cloud Router:一项分布式全托管式服务,可提供边界网关协议 (BGP) 发言者和响应者功能。Cloud Router 可与 Cloud Interconnect、Cloud VPN 和路由器设备配合使用,根据 BGP 收到的路由和自定义已知路由在 VPC 网络中创建动态路由。
- Network Connectivity Center:一个编排框架,用于在连接到名为 hub 的集中管理资源的 spoke 资源之间简化网络连接。。
- VPC Service Controls:一种托管式网络功能,可最大限度地降低 Google Cloud 资源的数据渗漏风险。
- Cloud Load Balancing:一组高性能、可扩缩的全球和区域级负载均衡器。
- Model Armor:一项服务,可保护您的生成式 AI 和智能体 AI 资源免受提示词注入、敏感数据泄露和有害内容的侵害。
- Google Cloud Armor:一种网络安全服务,提供 Web 应用防火墙 (WAF) 规则,并可帮助防范 DDoS 攻击和应用攻击。
- Cloud Storage:适用于各种数据类型的费用低廉且不受限制的对象存储区。数据可从 Google Cloud内部和外部访问,并且跨位置进行复制以实现冗余。
使用场景
此架构专为企业场景而设计,其中整个系统的输入、输出和内部通信必须使用专用 IP 地址,且不得通过互联网传输数据:
- 私密输入:上传的数据不会通过互联网传输。而是将 Cloud Storage 存储桶托管在 Google Cloud路由 VPC 网络中的 Private Service Connect 端点后面。您仅使用专用 IP 地址通过 Cloud Interconnect 或 Cloud VPN 连接复制 RAG 数据。
- 私密服务间连接:服务通过 Google 的内部接口或 VPC 网络内部的私有地址相互通信。
- 私密输出:除非您选择设置访问权限,否则无法通过互联网访问推理结果。默认情况下,只有指定外部网络中的用户才能访问服务的专用端点。
设计替代方案
本部分介绍了您可以在 Google Cloud中为支持 RAG 的应用考虑的其他网络设计方法。
使服务可公开访问
在本文档所示的架构中,只有内部网络中的用户才能向您的应用发送查询。如果您的应用必须可供互联网上的客户端访问,请使用区域级外部应用负载均衡器。
使用 GKE Inference Gateway
如果前端子系统在 GKE 上运行,您可以使用 GKE Inference Gateway,而不是应用负载均衡器。
设计考虑事项
本部分提供了更多指导,可帮助您部署网络,以支持 RAG 架构的专用连接。这些指导可帮助您满足安全性、隐私性、合规性、可靠性、费用优化、运营效率和性能优化方面的特定要求。本部分中的指南并非详尽无遗。对于您的特定部署,您可能需要考虑本部分未涵盖的其他设计因素。
安全性、隐私权和合规性
为了帮助保护支持 RAG 的架构并满足您的隐私和合规性要求,请考虑以下建议:
- 提示和回答过滤:在 AI 模型前端部署 Model Armor,以评估入站提示和出站结果,防范提示注入、越狱攻击、敏感数据泄露和 Responsible AI 政策违规行为。您可以将 Model Armor 直接与 Gemini Enterprise Agent Platform 集成,也可以将 Model Armor 附加到应用负载均衡器,使用 Service Extensions 流量扩展在不当请求到达服务子系统之前将其拒绝。如需在使用专用 Google 访问通道或 VPC Service Controls 时,从 VPC 网络内私密访问 Model Armor 区域级端点,且不出现证书错误,请为 Model Armor API 创建区域级 Private Service Connect 端点。
- 边界和网络微细分:此架构使用 VPC Service Controls 来帮助防止跨服务项目发生未经授权的数据渗漏。除了服务边界之外,您还可以使用 Cloud Next Generation Firewall 分层和网络防火墙政策以及 IAM 治理的标记,来限制共享 VPC 网络中数据注入、服务和前端工作负载之间的东西向流量。
- 身份和零信任访问权限:通过启用 Identity-Aware Proxy (IAP),在前端内部应用负载均衡器或区域级外部应用负载均衡器上强制执行零信任访问权限控制,以便只有经过身份验证和授权的用户才能查询 RAG 应用。将最小权限服务账号与Principal Access Boundary Policy结合使用,以限制每个子系统主体可以访问的资源。如果您的服务子系统跨专用网络编排自主智能体或 Model Context Protocol (MCP) 工具,请使用Agent Identity和Agent Gateway对智能体到工具的流量进行身份验证和治理。
- 数据隐私和加密:在数据注入子系统中使用 Sensitive Data Protection,在生成嵌入并写入 RAG 数据存储区之前,检查、分类和去标识化上传到 Cloud Storage 存储桶的原始文档中的个人身份信息 (PII)。如果监管合规要求控制加密密钥,请为 Cloud Storage 存储桶、向量数据存储区和模型端点在 Cloud Key Management Service (Cloud KMS) 中配置客户管理的加密密钥 (CMEK)。
此设计使用既定的安全原则来帮助保护 RAG 工作负载。 如需了解特定于 AI 和机器学习工作负载的安全原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角:安全性。
可靠性
如需为支持 RAG 的应用构建和运行可靠的网络基础设施,请考虑以下建议:
- 冗余混合连接:跨多个边缘可用性网域和区域配置冗余 Cloud Interconnect VLAN 连接或高可用性 VPN 隧道,并搭配冗余 Cloud Router 路由器,以便在外部网络和路由 VPC 网络之间实现动态 BGP 故障切换。
- 多区域负载均衡和存储:为了实现跨区域高可用性,请使用跨区域内部应用负载均衡器在多个区域的前端和提供服务的后端之间分配推理流量,并使用具有复制向量数据存储区的双区域或多区域 Cloud Storage 存储桶。
- 异步注入和配额弹性:通过将 Pub/Sub 与死信主题或 Eventarc 重试政策结合使用,将原始数据上传到 Cloud Storage 存储桶的操作与注入处理流水线解耦,这样就可以在不丢失数据的情况下重试暂时性的嵌入或索引编制失败。为了在大量嵌入生成和推理期间实现可预测的延迟时间和容量,请预留预配吞吐量,并针对 HTTP
429响应实现指数退避算法。
如需了解特定于 AI 和机器学习工作负载的可靠性原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角:可靠性。
费用优化
如需优化构建和运行 RAG 架构的费用,请考虑以下建议:
- 网络出站流量和端点选择:将路由 VPC 网络、Private Service Connect 端点、Cloud Storage 存储桶、RAG 数据存储区和模型端点放置在同一区域,以避免跨 NCC spoke 产生区域间数据传输费用。在路由或宿主 VPC 网络中整合共享的 Private Service Connect 端点,以减少每小时端点和数据处理费用。
- 存储生命周期管理:在原始数据注入存储桶上配置 Cloud Storage 对象生命周期管理或 Autoclass,以便在向量写入 RAG 数据存储区后,将已处理的源文档转换为更冷的存储类别或删除暂存文件。
- 批量嵌入和上下文缓存:对于数据注入子系统中大型、非紧急的 RAG 语料库更新,请使用批量预测嵌入或批量推理,其费用低于在线请求。在服务子系统中,为周期性系统指令和频繁检索的参考文档启用上下文缓存,以降低输入 token 费用。
如需了解特定于 AI 和机器学习工作负载的费用优化原则和建议,请参阅 Well-Architected Framework 中的AI 和机器学习视角:费用优化。
运营效率
为了高效运行和管理网络和 RAG 基础设施,请考虑以下建议:
- 基础设施即代码 (IaC):使用企业基础蓝图和 Infrastructure Manager 中的 Terraform 模块,自动预配路由项目、共享 VPC 宿主和服务项目、NCC hub 和 spoke、Private Service Connect 端点以及 VPC Service Controls 边界。
- 集中式专用 DNS 解析:通过在路由 VPC 网络中使用 Cloud DNS 专用区域和入站或出站转发政策,简化外部网络和 VPC spoke 的 DNS 管理,以便本地客户端和服务项目自动解析 Private Service Connect 端点和内部应用负载均衡器 IP 地址。
- 网络和 AI 可观测性:使用 Network Intelligence Center(包括 Connectivity Tests 和 Flow Analyzer)、Cloud Logging 和 Cloud Monitoring 监控混合连接、NCC spoke 流量和 VPC Service Controls 政策拒绝。使用 Gen AI Evaluation Service 持续评估服务子系统中的检索相关性和依据。
如需了解特定于 AI 和机器学习工作负载的卓越运营原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角:卓越运营。
性能优化
如需优化网络和 RAG 工作负载的性能,请考虑以下建议:
- 混合带宽和区域级共置:调整 Cloud Interconnect VLAN 连接或 Cloud VPN 隧道的大小,以处理来自外部网络的原始数据上传峰值,而不会使与交互式推理请求共享的带宽饱和。将区域级 Private Service Connect 端点、Cloud Storage 存储桶、向量数据存储区(例如 Vector Search 或 AlloyDB for PostgreSQL)和模型端点放置在距离混合互连入网点最近的区域,以最大限度地缩短网络往返延迟时间。
- 计算伸缩和推理路由:如果您的前端或服务子系统在 Cloud Run 上运行,请配置实例数下限并调整并发设置,以消除流量高峰期间的冷启动延迟。如果您在 GKE 上提供开放模型,请使用推理网关在模型服务器之间执行 KV 缓存感知和负载感知路由。
如需了解特定于 AI 和机器学习工作负载的性能优化原则和建议,请参阅 Well-Architected 框架中的 AI 和机器学习视角:性能优化。
部署
本部分介绍了创建应用的步骤:
- 确定工作负载所在的区域。
- 创建 Google Cloud 项目和 VPC 网络。
- 将外部网络连接到路由 VPC 网络。
- 使用 NCC 关联网络。
- 确定 RAG 部署的组件并创建服务账号。
- 配置 VPC Service Controls。
- 构建数据注入子系统。
- 构建服务子系统。
- 构建前端子系统。
- 使您的应用可从互联网访问。
确定工作负载所在的区域
一般来说,您希望将连接、VPC 子网和 Google Cloud工作负载布置在靠近本地网络或其他云客户端的位置。如需详细了解如何为工作负载选择区域,请参阅Google Cloud 区域选择器和 Compute Engine 区域选择最佳实践。
创建 Google Cloud 项目和 VPC 网络
如果您的组织已设置适用于分布式应用的跨云网络,则您的路由项目和路由 VPC 网络应该已经存在。
按以下顺序创建 Google Cloud 项目和 VPC 网络:
- 创建路由项目。
- 创建启用了专用 Google 访问通道的路由 VPC 网络。
- 创建 RAG 项目。
- 将 RAG 项目提升为共享 VPC 宿主项目。
- 创建数据注入服务项目。
- 创建服务提供服务项目。
- 创建前端服务项目。
- 创建启用了专用 Google 访问通道的共享 VPC RAG 网络。
- 向服务项目授予使用 RAG 网络的权限。
将外部网络连接到路由 VPC 网络
如果您已设置适用于分布式应用的跨云网络,则可以跳过此步骤。
设置外部网络与路由网络之间的连接。 如需了解相关技术,请参阅外部和混合连接。 如需了解如何选择连接产品,请参阅选择 Network Connectivity 产品。
使用 NCC 关联网络
- 在路由项目中,创建 NCC hub。
- 将 Cloud Interconnect 连接添加为 VLAN 连接 spoke,或将 Cloud VPN 连接添加为 VPN spoke。
- 将 RAG VPC 网络和路由 VPC 网络作为 VPC spoke 添加到 hub。
确定 RAG 部署的组件并创建服务账号
- 选择 RAG 部署,并列出其所需的组件。
- 确定每个组件所需的访问权限。
- 为每个组件创建一个具有适当权限的服务账号。在某些情况下,这意味着您需要向组件授予对其他服务项目的读取或写入权限。
此设计假设您使用 Cloud Storage 存储桶作为数据输入组件,并在推理前端使用应用负载均衡器。设计的其余部分可以根据需要进行更改。
理想情况下,每个组件都作为自己的服务账号运行。确保每个组件仅具有执行其所需功能所需的最低 IAM 权限。例如,数据注入子系统中的 Cloud Run 作业需要从输入 Cloud Storage 存储桶中读取数据,但不需要写入该存储桶。在此示例中,运行 Cloud Run 作业的服务项目应仅具有从存储桶读取数据的权限,而没有写入权限。
配置 VPC Service Controls
- 围绕您的部署创建 VPC Service Controls 边界。
- 配置访问规则。
构建数据注入子系统
数据注入子系统从数据工程师处获取原始数据,并对其进行处理,以供服务子系统使用。
- 在数据注入服务项目中,创建一个 Cloud Storage 存储桶。
- 在路由 VPC 网络中,创建区域级 Private Service Connect 端点,并将该端点连接到存储桶。
- 在外部网络中,使用上一步中生成的 IP 地址和网址为端点添加 DNS 条目。
- 更新外部网络防火墙规则,以允许访问端点 IP 地址。
- 在数据注入服务项目中,根据您选择的 RAG 架构构建注入流水线的其余部分。
- 授予 IAM 权限,以便注入流水线中的相关资源可以访问生成向量的模型。
- 授予 IAM 权限,以便注入流水线中的相关资源可以写入向量数据存储区。
构建服务子系统
- 在服务提供方服务项目中,构建服务流水线。
- 授予 IAM 权限,以便前端系统中的服务账号可以访问服务子系统的输出。
构建前端子系统
本部分假设您使用的是区域级内部应用负载均衡器,该负载均衡器在 Cloud Run 前面使用无服务器 NEG。不过,您可以使用其他负载均衡器和后端。
- 为前端系统创建代码。
- 在前端服务项目中,部署负载均衡的前端系统,其中包括配置 Cloud Armor 安全政策的可选步骤。
- 在路由 VPC 网络中配置 Cloud Router,以将路由从 RAG VPC 网络转发到本地路由器。此配置允许客户端访问应用负载均衡器。
- 在外部网络中,配置防火墙规则,使负载均衡器前端可从外部网络访问。
- 在外部网络中,更新 DNS 以指向应用负载均衡器转发规则。
使您的应用可通过互联网访问
此部分为可选。
此设计假定您希望只能从外部网络访问您的服务,但您也可以让服务可从互联网访问。
如需使服务可从互联网访问,请完成以下步骤:
- 创建区域级外部应用负载均衡器,使其指向内部应用负载均衡器指向的同一后端。完成可选步骤以配置 Cloud Armor 安全政策。
- 更新 VPC Service Controls,让服务客户能够访问后端服务。
后续步骤
- 了解适用于分布式应用的 Cross-Cloud Network。
- 了解如何在 Cloud Run 上托管 AI 应用和代理。
- 了解 Responsible AI 最佳实践和 Agent Platform 的安全过滤条件。
- 了解大语言模型的提示策略。
- 如需简要了解 Google Cloud中特定于 AI 和机器学习工作负载的架构原则和建议,请参阅 Well-Architected Framework 中的 AI 和机器学习视角。
- 如需查看更多参考架构、图表和最佳实践,请浏览 Cloud 架构中心。
贡献者
作者:
- Deepak Michael | 网络专家客户工程师
- Mark Schlagenhauf | 网络技术文档工程师
其他贡献者:
- Kumar Dhanagopal | 跨产品解决方案开发者
- Victor Morno | Cloud 网络产品经理
- Samantha He | 技术文档工程师
- Ammett Williams | 开发者关系工程师
- Aspen Sherrill | 云安全架构师