Ai4
针对97%企业急于部署GenAI却仅有14%就绪的脱节现状,思科指出必须通过集中化中枢在网关层统管合规拦截、数据权限与成本配额,才能打破烟囱式开发瓶颈并实现成百上千个定制智能体的规模化落地。
AI-assisted summary of Delivering and Governing Trustworthy GenAI Capabilities At Scale with Outshift by Cisco — original source. Check the original for full context.
Source published:
Detailed notes
## Background 该视频由行业会议组织者 Ai4 于 2024 年 9 月 5 日发布在 YouTube 上,演讲嘉宾为思科(Cisco)新兴技术孵化部门 Outshift 的生成式 AI 产品管理高级总监图沙尔·阿格拉瓦尔(Tushar Agrawal)。视频简介指出,尽管高达 97% 的企业迫切希望部署生成式 AI,但仅有 14% 认为自身已准备就绪,本场演讲重点分享了企业如何借助标准化且可扩展的工具和架构,在兼顾安全、合规与 ROI 的前提下规模化交付可信的生成式 AI 能力。
## TL;DR Tushar Agrawal 首先剖析了生成式 AI 正在由定制助手和智能体驱动跨系统工作流变革,但企业在面临从几个原型扩展到成百上千个助手时,往往遭遇数据越权、安全合规及成本失控等落地痛点。为此,他提出了涵盖连接、全面控制、仿真优化与价值度量的企业级统一中枢(GenAI Hub)架构,以赋能 IT、平民开发者与业务层的高效协同。随后,演讲正式发布了思科孵化的 Motific 平台,并通过实操演示展示了多源知识库接入、端到端助手发布、偏离主题与违禁词的毫秒级网关拦截,以及用于量化工时节省和模型效能的智能洞察仪表盘。
## Atmosphere & style 整场演讲呈现出典型的大厂企业级产品发布基调,风格沉稳专业且结构严密,体现了思科在网络安全与基础设施领域一贯的严谨与务实。演讲者虽在开场遭遇轻微的音频调试插曲,但整体节奏把控自如,从宏观趋势调研层层递进到具体的痛点拆解与中枢架构设计。实机演示环节流畅直观,尤其是针对偏离主题和赌博违规查询的实时网关拦截与计数器刷新,极具说服力与现场感,营造出一种技术方案已切实成熟、随时可投入生产运行的踏实感。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=4s) 思科 Outshift 聚焦 AI 与量子计算等颠覆性前沿技术,旨在通过新兴技术的商业化落地推动思科“连接并守护 AI 时代”的战略愿景。 - [04:19](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=259s) 生成式 AI 与过去数十年的确定性自动化不同,通过系统首次具备的推理与动态创造能力,为企业生产力带来了阶跃式变革。 - [04:19](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=259s) 定制化 AI 助手与智能体(Agents)将成为企业打破 CRM、ERP 和邮件等应用孤岛、实现跨系统端到端自动化工作流的核心载体。 - [08:34](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=514s) 随着定制助手在组织内爆发式扩展至成百上千个,分散孤立的烟囱式开发模式不可持续,企业亟需标准化的集中交付与合规治理框架。 - [08:34](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=514s) 企业级 AI 助手落地面临五大核心挑战:多模型连接、多源数据权限隔离、安全合规防范、提示词与模型持续优化、以及投资回报率(ROI)量化。 - [11:15](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=675s) 企业级“生成式 AI 统一中枢”(GenAI Hub)架构通过连接、控制、优化与度量四大支柱,协同打通 IT 管理员、平民开发者、终端员工与 CXO 决策层。 - [17:29](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1049s) 思科推出的 Motific 平台整合了网络安全与全栈可观测性能力,为企业提供防范对抗攻击、幻觉检测、敏感内容过滤及 Token 预算控制等全方位护栏。 - [19:20](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1160s) 集中化的 Hub 架构支持企业根据任务类型在不同 LLM 间灵活评测与无缝切换,在不重构底层业务逻辑的前提下平衡性能、响应延迟与推理成本。 - [21:04](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1264s) 针对 RAG 系统的时效性推理(如识别“近期动态”等敏感语义),Motific 提供了优化的检索流程并结合严格的注入防护与审计跟踪。 - [22:18](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1338s) Motific 支持快速接入企业内部(如 SharePoint)与外部多源数据构建知识库,并能一键同步生成开发者 API 端点及开箱即用的业务端助手界面。 - [24:21](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1461s) 偏离主题检测与违禁词策略能够在网关层实时阻断非合规请求,避免流量触达底层 LLM,在确保合规的同时有效节省 Token 算力成本。 - [25:47](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1547s) Motific 的“智能洞察”(Intelligence)模块通过工时节省仪表盘直观量化业务价值,为管理层核算生成式 AI 投资回报率提供了清晰的数据支撑。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=4s) 演讲者背景与 Outshift by Cisco 的孵化使命
来自思科(Cisco)新兴技术孵化部门 Outshift 的生成式 AI 产品管理高级总监图沙尔·阿格拉瓦尔(Tushar Agrawal)开启了本次演讲。在加入思科之前,Tushar 曾在亚马逊云科技(AWS)带领产品管理团队,并曾负责湾区多家初创企业的产品战略。他明确了本场分享的核心议题:在生成式 AI 助手和各类智能体应用被大规模采纳的背景下,大中型企业应当如何在统一的交付与治理框架下思考生成式 AI 的落地,并将在最后正式介绍思科为此推出的全新产品与实际演示。
Outshift 作为思科内部的创新引擎,拥有探索前沿技术的专属授权,其战略重心主要聚焦于两大颠覆性领域:人工智能(AI)与量子计算(Quantum)。虽然量子网络技术前景广阔,但本次分享完全聚焦于 AI 领域。Outshift 的核心使命是利用新兴技术实现新型软件产品的商业化,带领思科拓展全新业务与市场版图。此外,Outshift 旗下还囊括了思科研究院(Cisco Research),其研究人员在顶级学术与行业会议上发表了大量关于生成式 AI、计算机视觉、自然语言处理(NLP)的前沿论文;同时,团队与思科投资(Cisco Investments)紧密协同,追踪前沿初创动态并挖掘潜在的合作与生态协同机会。
从更高维度来看,思科的整体 AI 战略核心是“连接并守护 AI 时代”(Connecting and protecting the AI era),其主要业务支柱涵盖: - **基础设施与安全**:为客户构建驱动 AI 的底层基础设施,践行“为 AI 提供安全保障”(Security for AI)以及“利用 AI 简化并赋能安全”(AI for Security)。 - **可观测性与遥测数据**:结合近期对 Splunk 的收购,充分释放企业遥测数据的分析价值,赋能智能化业务决策。 - **软件与服务**:打造释放员工生产力的前沿软件平台,辅以全套专业服务将整体架构有机串联。
---
[04:19](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=259s) 生成式 AI 重构工作流的三大核心假设
在探讨技术方案之前,Tushar 首先与现场观众进行了互动调研,了解参会人员中 IT 交付团队(IT、CDAO 团队)与业务部门(如人力资源、销售、财务等业务线)的分布情况,并随即提出了关于生成式 AI 发展趋势的三大核心假设。
第一项假设是:生成式 AI 承诺带来人类创造力与企业生产力的“阶跃式变革”(Step function change)。与过去长达数十年基于确定性规则的自动化和技术抽象不同,生成式 AI 赋予了计算机系统史上首次具备的推理能力、创造能力以及动态发现与交互能力。
第二项假设指出:定制化 AI 助手(Custom Assistants)与智能体(Agents)将成为企业工作自动化的绝对核心载体。当被问及“企业已经拥有海量现有系统,为何还需要定制助手”时,Tushar 指出了核心洞察:现代企业的实际工作绝非局限于单一系统内,而是广泛横跨在 CRM、订单管理、电子邮件等多个割裂的应用与工具之间。例如,营销人员发送一封精准促销邮件往往需要手动串联客户数据、订单记录与邮件平台。定制助手与智能体的核心价值就在于打通应用孤岛,自动化跨系统的端到端工作流。
```mermaid flowchart LR accTitle: Cross-application Task Automation Flow subgraph S1["传统人工工作流"] A1["CRM 客户画像"] --> B1["ERP / 订单账本"] B1 --> C1["邮件营销工具"] C1 --> D1["手动完成任务"] end subgraph S2["生成式 AI 智能体工作流"] A2["统一自然语言指令"] --> B2["定制助手 / Agent"] B2 --> C2["跨系统自动调度与协同"] C2 --> D2["自动执行端到端业务"] end ```
第三项假设则是规模化的必然性:如果定制助手能够赋能不同岗位的员工,那么企业势必将在组织内大规模部署和治理数百乃至数千个定制助手,而不再仅仅局限于全公司统一的一两个通用聊天机器人。企业必须提前思考:当成百上千个 AI 助手在企业内遍地开花时,IT 部门该如何进行标准化、模板化的统一纳管与合规治理?
---
[08:34](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=514s) 构建企业级定制 AI 助手的核心组件与落地痛点
在企业中从零打造一个看似简单的定制生成式 AI 助手,背后涉及复杂的技术连接与治理链条。若缺乏集中化平台,业务团队在逐个构建助手时将反复遭遇严重的效率瓶颈与合规风险:
1. **多模型连接与实验**:业务人员需要便捷接入不同大语言模型(LLM)以对比评估性能与效果。 2. **多源企业数据接入与权限隔离**:助手需要与 CRM、ERP、各类数据库和 SharePoint 等数据源打通。如果每个助手都单独走一遍数据连接与索引流程,不仅极其冗余,还极易引发越权访问风险——必须确保助手严格遵循数据访问控制,绝不向无权限员工泄露敏感数据。 3. **风险防护与合规控制**:助手生成的回答必须符合企业安全合规基线,防止敏感数据外泄(Data Leakage)、有害输出,确保模型只回答限定的业务主题,拒绝对未授权或高风险话题发散。 4. **持续优化与调优**:系统需要具备洞察用户交互意图、评估不同新模型、基于企业数据进行微调以及优化系统提示词(System Prompts)的能力,以达到业务所需的准确率。 5. **投资回报率(ROI)量化**:向业务决策层提供可视化的价值指标,自动化统计工时节省、活跃用户分布以及助手运行效率。
Tushar 强调,目前许多企业仍停留在“逐个助手单独开发与适配”的低效阶段,这种烟囱式的构建模式根本无法支撑全企业范围的规模化落地,亟需一种标准化的集中式交付方式。
---
[11:15](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=675s) 生成式 AI 统一管理中枢(GenAI Hub)架构与多角色协同
为解决规模化交付与治理的难题,Tushar 提出了构建企业级“生成式 AI 统一中枢”(Generative AI Hub)的解决方案架构。该中枢旨在为企业内部四大关键角色提供统一的协作平台与能力支撑:
```mermaid flowchart TD accTitle: Enterprise Generative AI Hub Architecture subgraph Personas["企业协同角色"] P1["IT 管理员"] P2["平民开发者 (业务人员)"] P3["终端员工 / 业务用户"] P4["CXO / 业务决策层"] end subgraph Hub["企业 GenAI 统一中枢 (GenAI Hub)"] C1["统一连接层\n(模型 / 数据源 / 身份认证)"] C2["全生命周期控制策略\n(安全基线 / 内容合规 / 成本限制)"] C3["优化与模拟引擎\n(提示词调优 / 模型对比仿真)"] C4["审计遥测与 ROI 分析\n(工时节省 / 调用审计 / 策略监控)"] end P1 -->|"配置模型沙箱、全局策略与数据源"| C1 P1 -->|"制定全局安全防护"| C2 P2 -->|"选择数据、模型与应用级策略,发布助手"| C1 P2 -->|"在测试环境中验证优化"| C3 P3 -->|"安全合规地消费定制助手"| Hub Hub -->|"聚合审计轨迹与工时价值报告"| P4 ```
该统一中枢涵盖了四大核心能力支柱: - **无缝连接能力**:集中式打通底层模型提供商、企业数据源及统一身份验证体系(SSO/IAM),避免重复索引与权限配置失误。 - **全面控制与防护(Controls)**:在用户与模型、以及智能体与智能体(Model-to-Model)的交互链路上,全方位注入安全审查、合规拦截与成本配额策略。 - **自动化优化洞察**:支持运行假设模拟(What-if Simulation),测试更换模型或调整提示词后的准确度与成本表现。 - **价值度量体系**:提供调用量、工时节省估算与实际收益报表,为管理层持续投入提供数据支撑。
在此协作流中,IT 管理员负责集约化采购并配置可用模型沙箱、维护全局数据源和身份系统,确保全局合规基线;各业务线(市场、销售、法务、HR 等)的“平民开发者”(Citizen Developers)无需具备高深的技术编码能力,即可直接选用经授权的数据集与模型,快速组装、测试并上线部门专属助手;终端用户通过统一入口顺畅使用,而背后的所有调用行为均沉淀为审计轨迹与 ROI 分析数据,直接反馈给 CXO 决策层。
---
[17:29](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1049s) 思科 Motific 平台:规模化可信生成式 AI 交付与治理
基于上述产品理念,思科正式推出了其企业级生成式 AI 枢纽产品——**Motific**(Outshift by Cisco 孵化)。Motific 旨在为企业提供统一标准化的 SaaS/平台系统,连接不同角色并加速可信 AI 应用的规模化落地。
Motific 深度整合了思科在网络安全与全栈可观测性领域的深厚积累,提供了一系列开箱即用的企业级控制与分析能力: - **安全与合规防护网**:提供多维度的防护检测,包括对抗性攻击(Adversarial Attacks)防御、模型幻觉(Hallucination)检测、敏感话题合规过滤、恶意 URL 拦截与精细化访问控制。 - **资源与成本治理**:支持在全局或应用层级对 Token 消耗量、调用并发度与资金预算实施刚性配额控制。 - **全链路审计与洞察**:为 IT 管理员提供完整的操作与交互审计轨迹,清晰呈现哪些安全策略被触发、终端用户的实际意图分布以及各业务场景下的工时节省估算。 - **假设分析与优化模拟**:基于真实用户请求分布,系统可自动进行“What-if”模拟仿真,辅助团队评估更换不同模型或调整提示词结构后的准确率与成本变化,实现助手效能的持续调优。
[19:20](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1160s) 集中化模型评估与企业级 GenAI 用例拓展
在生成式 AI 的落地过程中,集中化管理架构为企业提供了极大的灵活性与决策优势。当评估不同的大语言模型(例如 Model X 与 Model Y)时,企业需要综合权衡特定用例下的准确率、响应延迟以及推理成本。如果监控发现大量用户提出的都是基础或特定类型的问题,完全可以由成本更低廉的模型高效承载;得益于标准化和集中化的 Hub 架构,企业 IT 团队能够迅速完成模型切换,而无需重构底层业务逻辑。
自 Outshift 发布 Motific 平台以来,企业客户展现出了极高的兴趣与采用率。该平台独特之处在于解决了规模化落地的难题,在同一个全栈式平台中完美平衡了 IT 团队、业务职能部门以及管理层之间的多维诉求。目前落地的业务用例十分广泛: - **企业官网智能助手**:可直接嵌入官方网站,基于公开内容准确回答访客咨询,同时内置完备的访问控制、标准化合规审计与实时监控能力。 - **内部职能支持**:涵盖人力资源(HR)政策问答、IT 运维支持与工单排障、销售线索挖掘等多元场景。
```mermaid flowchart TD accTitle: Motific 架构与用例流转图 accDescr: 展示 Motific 平台如何统一接入数据、配置策略并向业务端输出 API 与助手
subgraph DataAndModels["数据与模型层"] M1["大语言模型\n(Mistral AI / OpenAI 等)"] D1["内部/外部知识库\n(SharePoint / 官方博客等)"] end
subgraph MotificCore["Motific 治理与编排核心"] G1["安全护栏与策略引擎\n(偏离检测/违禁词/Token预算)"] R1["RAG 检索与推理引擎\n(时效性感知与语义检索)"] M2["智能监控与审计\n(违规拦截/工时节省/BI看板)"] end
subgraph DeliveryLayer["业务交付与接入端"] A1["开发集成 (API Endpoints)"] A2["开箱即用 AI 助手 (业务端用户)"] end
DataAndModels --> MotificCore MotificCore --> DeliveryLayer ```
---
[21:04](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1264s) 实际客户案例:结合 Mistral AI 与 RAG 系统的时效性与安全护栏
演讲者分享了一个具体的客户落地案例。在该场景中,Motific 协助客户快速连接并集成了 Mistral AI 大模型,同时对 Cisco Press 与 Cisco 官方博客的所有知识资产进行了统一索引。
该案例面临的核心技术挑战之一是检索增强生成(RAG)系统对“时效性”的理解与推理。例如当用户提问“思科近期有哪些收购动作?”("What are some of the recent acquisitions made by Cisco?")时,系统必须敏锐识别出 "recent"(近期)这一时间敏感词,并在检索与生成阶段精准匹配最新动态。通过优化 RAG 流程,团队不仅实现了极高的回答准确率,还针对面向外部利益相关者的场景构建了全套安全防护体系: - **对抗性与有害内容防护**:有效防范对抗性 Prompt 注入与有害毒性内容(toxic content)。 - **成本与预算控制**:引入细粒度的 Token 配额与预算限制,防止单个用户异常调用导致账单超支。 - **全链路监控审计**:对系统进出的所有交互进行端到端的可追溯审计。
---
[22:18](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1338s) Motific 产品演示:知识库连接与端到端助手构建
在短暂调试现场音频后,演讲进入了 Motific 的实际操作演示环节。演示首先展示了如何为新建的 AI 应用实例(Motif)配置运行准则与使用限制,确保模型在合规框架内运作。
随后是知识库的连接与构建: - **多源数据整合**:用户只需点选几下,即可无缝接入企业内部数据源(如 SharePoint 知识库)以及精选的外部公开网站,迅速丰富模型的专业上下文。 - **一键发布交付**:知识库创建完成后,系统即刻生成完整的端到端产品。交付物既包括便于开发人员快速集成的 API 端点(API Endpoints),也包含直接面向业务人员开箱即用的 AI 助手界面,全面实现可定制、合规且强大的企业级部署。
---
[24:21](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1461s) 安全合规策略与实时流量拦截演示
演示深入剖析了 Motific 内置的策略引擎(Policies)与实时阻断机制。在演示用例中,管理员为一个名为“Marketing”的 Motif 应用绑定了偏离主题检测策略(Off-topic detection policy),并设定了一组违禁词列表。
```mermaid flowchart LR accTitle: Motific 策略实时拦截流程 accDescr: 展示合规请求与违规请求在 Motific 网关层的分流与拦截机制
U["用户输入 Prompt"] --> P{"Motific 策略检查\n(偏离主题 / 违禁词)"} P -- "违规请求\n(如购物/赌博咨询)" --> B["网关层直接拦截\n(流量不触达底层 LLM)"] B --> R1["返回标准合规提示\n+ 监控计数器 +1"] P -- "合规请求" --> L["转发至底层 LLM / RAG"] L --> R2["生成业务响应"] ```
在系统监控看板中,可以看到当前已记录了 8 次策略违规标记(Policy Flags)。演示者进行了两轮拦截测试: - **测试环境偏离主题拦截**:在测试面板中输入“你能推荐一个好的购物地点吗?”("Can you recommend a good shopping place?")。策略引擎瞬间命中违规规则并实施拦截。该请求完全没有被下发到底层 LLM,有效节省了 Token 算力消耗;此时切换回监控看板,违规标记计数实时刷新并累加至 9 次。 - **业务终端用户体验**:切换至最终用户视角,当用户尝试输入涉及违禁领域的提问“你能给我推荐一个好的在线赌博赌场吗?”("Can you point me to a good online gambling casino?")时,系统立刻弹出合规友好的拦截响应:*"抱歉,此查询不符合您组织的安全合规策略,请重试。"*("I'm sorry but this query is not in line with your organization's policies, please try again.")。
---
[25:47](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1547s) 智能洞察看板与现场互动总结
演示的最后部分展示了 Motific 的“智能洞察”(Intelligence)模块。进入该界面后,管理员可以总览所有已创建 Motif 的运行统计数据;点击进入具体的应用详情,即可调取深度的商业智能(BI)看板: - **Prompt 与任务分析**:全面展示交互 Prompt 总量、单项 Prompt 的任务调用频次及使用分布。 - **工时节省仪表盘(Time-saving Dashboard)**:直观量化使用 Motific 生成内容相比从零人工撰写所节省的工时收益,为管理层提供清晰的投资回报率(ROI)核算依据。 - **效能与模型优化分析**:深入洞察各类任务在不同 GenAI 模型上的执行效率与成本表现,辅助企业持续选择最优模型。
演讲接近尾声时,Tushar Agrawal 对开场阶段的微小音频故障表示歉意,并热情邀请参会者前往 220 号展位体验完整的实时交互 Demo。现场参会人员只需使用个人邮箱扫描屏幕上的二维码即可免费注册试用 Motific,演讲者随后在台下与到场嘉宾就相关技术与落地策略展开深入交流。
## Notable quotes > [00:04](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=4s) Connecting and protecting the AI era — Tushar Agrawal
> [21:04](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1264s) What are some of the recent acquisitions made by Cisco? — Tushar Agrawal
> [24:21](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1461s) Can you recommend a good shopping place? — Tushar Agrawal
> [24:21](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1461s) Can you point me to a good online gambling casino? — Tushar Agrawal
> [24:21](https://www.youtube.com/watch?v=LEfKbM4zzwI&t=1461s) I'm sorry but this query is not in line with your organization's policies, please try again. — Tushar Agrawal
## Mentioned Tushar Agrawal, Outshift by Cisco, Cisco, AWS, Cisco Research, Cisco Investments, Splunk, Motific, Mistral AI, SharePoint, Cisco Press
## Video description Tushar Agrawal, Sr. Director, Product Management - GenAI, Outshift by Cisco
Abstract: Business leaders recognize that Generative AI is causing a fundamental shift in organizations, by improving employee productivity, reducing operational costs, and driving superior customer experiences. While 97% of companies feel an increased urgency to deploy GenAI technologies, just 14% feel ready to integrate AI successfully into their businesses, per Cisco's latest AI Readiness Index. Transitioning GenAI assistants from concept to production at scale demands a meticulous focus on safety, trust, compliance, security, cost, privacy, and ROI considerations. Further, utilization of organizational data with GenAI models is imperative to extract valuable business insights. This presentation delves into how IT and business function teams can expedite the delivery of trustworthy GenAI capabilities through standardized, scalable tools and architectures within their organizations
[Source](https://www.youtube.com/watch?v=LEfKbM4zzwI)