ओपन-सोर्स AI एजेंट्स के लिए पहले दिन से स्केलेबल आर्किटेक्चर जरूरी: Fireworks AI

Fireworks AI：开源AI智能体从第一天起就需具备可扩展架构 在早期原型中忽视可扩展性会导致生产工作流崩溃，为应对这一问题，采用垂直智能体和模块化协议势在必行。 在本场分享中，Aishwarya Srinivasan 深入分析了开源AI模型（如 DeepSeek-V3 和 GPT-OSS）日益增强的能力以及智能体AI的核心架构组件。她强调了 Andrew Ng 的四支柱框架、推理、记忆、工具集成，以及 MCP 和 A2A 等现代智能体通信协议的重要性。此外，她还探讨了企业场景中垂直智能体的兴起，以及在多模型系统中管理延迟与吞吐量的挑战。最后，她建议开发者从一开始就优先考虑可扩展性，并充分利用 Fireworks AI 等快速推理基础设施。 DeepSeek-V3与OpenAI GPT-OSS等开源模型的崛起打破了传统专有模型的性能壁垒，在实现相当性能的同时，为开发者提供了对微调、蒸馏和自主托管的完全控制权。 (2:48) AI智能体的核心价值不仅在于“思考”更在于“执行”，现代可扩展智能体系统普遍遵循吴恩达提出的四大支柱：反思（Reflection）、工具使用、目标规划和多智能体协同。 (6:22) 超大上下文窗口无法替代RAG机制，上下文窗口仅代表模型的实时工作记忆，而RAG负责挂接动态且规模庞大的外部知识库。 (9:22) 垂直领域智能体凭借更快的投资回报率（ROI）正成为企业落地主流，同时Anthropic MCP与Google A2A等标准化通信协议正在解决多智能体系统的调试与协同难题。 (16:31) 生产级智能体系统必须从第一天起就将可扩展性、延迟与吞吐量纳入架构设计，防止系统在从MVP原型迈向高并发生产环境时发生崩溃。 (24:27)

Fireworks AI की ऐश्वर्या श्रीनिवासन के अनुसार, DeepSeek-V3 जैसे मॉडल्स के आने से ओपन-सोर्स AI ने प्रोप्राइटरी सिस्टम्स की परफॉर्मेंस बराबरी हासिल कर ली है, लेकिन प्रोडक्शन-ग्रेड एजेंटिक सिस्टम्स को सफल बनाने के लिए मॉड्यूलर आर्किटेक्चर और पहले दिन से स्केलेबिलिटी को प्राथमिकता देना अनिवार्य है। ओपन-सोर्स मॉडल्स का इन्फ्लेक्शन पॉइंट और नियंत्रण (2:48) श्रीनिवासन का कहना है कि पारंपरिक रूप से प्रोप्राइटरी मॉडल्स का मुख्य लाभ उनका परफॉर्मेंस और उपयोग में आसानी (ease of use) रहा है, जबकि ओपन-सोर्स केवल लागत और फ्लेक्सिबिलिटी तक सीमित था। हालांकि, DeepSeek-V3 और OpenAI के GPT-OSS (20B और 120B पैरामीटर्स) के आने के बाद ओपन-सोर्स मॉडल्स ने परफॉर्मेंस के अंतर को पाट दिया है। यह बदलाव डेवलपर्स को सुपरवाइज़्ड फाइन-ट्यूनिंग (SFT), रीइन्फोर्समेंट लर्निंग (RL), डिस्टिलेशन और सेल्फ-होस्टिंग के जरिए सिस्टम पर पूर्ण नियंत्रण प्रदान करता है, जिससे वे प्रोप्राइटरी निर्भरता कम कर सकते हैं। एजेंटिक आर्किटेक्चर: 4 पिलर्स और 7 कोर कॉम्पोनेंट्स (6:22) एजेंटिक AI की संरचना को समझाने के लिए एंड्रयू एनजी के चार पिलर्स—रिफ्लेक्शन (एक्टर-क्रिटिक लूप), टूल यूज़ (APIs और फाइल्स), प्लानिंग (टास्क डिकम्पोज़िशन), और मल्टी-एजेंट सिस्टम्स—को आधार बनाया गया है। एक पूर्ण एजेंटिक सिस्टम परसेप्शन, प्लानिंग, रीज़निंग (CoT और ToT), मेमोरी, टूल यूज़, लर्निंग और कम्युनिकेशन जैसे सात मुख्य घटकों पर काम करता है। प्रस्तुति में स्पष्ट किया गया कि बड़ी कॉन्टेक्स्ट विंडो (128k–131k टोकन्स) RAG का विकल्प नहीं है, क्योंकि RAG डायनेमिक नॉलेज बेस के लिए होता है जबकि कॉन्टेक्स्ट विंडो केवल तात्कालिक वर्किंग मेमोरी है। इसके अलावा, मल्टी-एजेंट वर्कफ़्लो में डीबगिंग और डेटा शेयरिंग को मानकीकृत करने के लिए Anthropic के Model Context Protocol (MCP) और Google के Agent-to-Agent (A2A) SDK जैसे मानकों को महत्वपूर्ण बताया गया। वर्टिकल एजेंट्स और मल्टी-मॉडल राउटिंग का महत्व (16:31) वर्तमान उद्योग परिदृश्य में जनरल-पर्पस एजेंट्स के बजाय वर्टिकल (डोमेन-विशिष्ट) एजेंट्स को तेजी से अपनाया जा रहा है क्योंकि ये तेज़ ROI और ह्यूमन-इन-द-लूप नियंत्रण प्रदान करते हैं। प्रोडक्शन सिस्टम्स किसी एक मॉडल एंडपॉइंट पर निर्भर नहीं रह सकते; उन्हें टास्क की जटिलता के अनुसार 5B, 70B या 600B+ पैरामीटर वाले विभिन्न मॉडल्स के बीच वर्कलोड को रूट करना पड़ता है। हालांकि, अलग-अलग टूल्स और मॉडल्स के संयोजन से सिस्टम की जटिलता बढ़ती है, जिसे नियंत्रित करने के लिए मॉड्यूलर सॉफ्टवेयर इंजीनियरिंग सिद्धांतों का पालन करना आवश्यक है। प्रोडक्शन में लेटेंसी, थ्रूपुट और इंफ्रास्ट्रक्चर की चुनौतियाँ (20:46) श्रीनिवासन के अनुसार, लेटेंसी का सीधा संबंध केवल मॉडल से नहीं बल्कि पूरे प्रोडक्ट की गुणवत्ता से होता है, और मॉडल प्रोवाइडर्स का ध्यान गुणवत्ता बनाए रखते हुए लेटेंसी घटाने पर रहता है। एजेंटिक सिस्टम्स के निर्माण को चार चरणों—बिल्ड, कस्टमाइज़, कंपोज़ेबिलिटी और स्केल—में विभाजित किया गया है। वैश्विक स्तर पर स्केलेबल सिस्टम के लिए हाइब्रिड इंफ्रास्ट्रक्चर (ऑन-प्रेमिस, प्राइवेट और पब्लिक क्लाउड) के साथ उच्च थ्रूपुट और कॉन्करेंसी की आवश्यकता होती है, जिसके लिए PyTorch के मूल निर्माताओं और पूर्व Meta/Google इंजीनियरों द्वारा समर्थित Fireworks AI जैसे हाई-स्पीड इनफेरेंस प्लेटफॉर्म की भूमिका अहम हो जाती है। सत्र का मुख्य निष्कर्ष यह है कि डेवलपर्स और स्टार्टअप्स को बुनियादी MVP बनाते समय भी स्केलेबिलिटी को 'बाद का विचार' नहीं मानना चाहिए। शुरुआत से ही लाखों उपयोगकर्ताओं या प्रति मिनट 100,000 टोकन्स के लोड को संभालने योग्य आर्किटेक्चर तैयार न करने पर अचानक ट्रैफिक बढ़ने पर सिस्टम क्रैश होने का गंभीर जोखिम रहता है।

Fireworks AI 的 Aishwarya Srinivasan 指出，开源大模型在性能上已迎来媲美专有模型的拐点，但要构建高可靠的生产级智能体系统，开发者必须采用模块化架构，并在第一天就将延迟、吞吐与可扩展性作为核心考量。 开源模型的拐点与控制权优势 (2:48) Srinivasan 表示，过去专有模型的主要护城河在于性能与开箱即用的易用性，开源模型则偏向成本与灵活性。然而，DeepSeek-V3 的发布以及 OpenAI 推出的 GPT-OSS（包含 20B 与 120B 参数版本）构成了关键拐点，使开源模型在表现上达到或超越了专有模型水准。尽管专有模型在快速构建 MVP 阶段仍具有易用性优势，但开源方案赋予了开发者对底层设施的完整控制权。团队可以自由实施监督微调（SFT）、强化学习（RL）微调、模型蒸馏以及私有化托管，从而自主掌控推理与访问逻辑。 智能体系统架构与核心交互协议 (6:22) 智能体的核心判定标准在于是否兼具思考与真实任务执行能力。引用 Andrew Ng 的四支柱架构，现代复合智能体依赖反思（包含 Actor 与 Critic 的双模型回路）、工具调用、目标拆解规划，以及路由驱动的多智能体协作。一个完整的架构通常涵盖感知、规划、以思维链或思维树展开的推理、区隔短期与长期记忆的存储层，以及由大模型驱动的动态函数调用。Srinivasan 强调，大上下文窗口不能替代针对海量动态知识的 RAG。在多智能体交互与调试层面，行业正转向标准化协议，例如 Anthropic 主导的 Model Context Protocol（MCP）用于对接工具与数据源，Google 等推动的 Agent-to-Agent（A2A）SDK 则规范了跨智能体的通信载荷。 垂直智能体落地与复合模型路由 通用人工智能体虽在未来五年可能成为现实，但当前企业落地最迅速、投资回报率最高的方式是垂直领域的专属智能体。垂直智能体更易集成“人机协同”（Human-in-the-loop）机制与专属微调管道，能有效压制大模型的非确定性与幻觉。实际落地中，复杂的业务流程无法仅绑定单一模型端点，而是必须根据任务属性灵活路由：例如轻量级任务调用 5B 模型，常规推理分配给 70B 模型，极端复杂的特定领域工作流则分发至 600B 以上超大模型。构建这类系统需遵循传统软件工程的模块化准则，将规划、检索与执行解耦，以实现精准的故障定位、错误复现及降级回滚。 从第一天规划生产级扩展性与低延迟 (20:46) 系统从原型迈向生产必须经历构建、定制、组合与扩展四个阶段。Srinivasan 结合其在 Microsoft 指导初创团队从 OpenAI 原型迁移至云端架构的经历指出，延迟并不是模型质量的妥协，而是直接决定了最终产品的品质。若在初期仅依赖基础 API，一旦并发访问激增至每分钟十万级 Token 或数千活跃用户，未做扩展性设计的系统极易崩溃。团队必须在初期就规划支持私有云、公有云与本地混合部署的高吞吐安全基建。Fireworks AI 依托前 Google、Meta 及 PyTorch 核心创作者的工程积累，提供低延迟的开源模型托管服务，确保 DeepSeek-R1、V3 及 GPT-OSS 等模型在发布首日即可接入。 无论是初创公司还是企业内部孵化团队，智能体开发都不应将扩展性视为事后补丁；只有从架构设计首日就针对大规模非确定性工作流与混合模型路由做好准备，系统才能在真实业务中长期稳定运行。

## Background 本视频由 Ai4 于 2025 年 8 月 29 日在 YouTube 平台发布，主讲人为 Fireworks AI 的开发者关系增长负责人 Aishwarya Srinivasan。视频简介指出，本次演讲旨在为初创团队与大型企业提供一份利用开源权重模型构建生产级智能体系统的实操指南，重点探讨了编排协议（如 MCP）、模块化工具调用以及针对速度、成本和输出质量优化的推理基础设施。 ## TL;DR 演讲首先剖析了开源大模型（如 DeepSeek-V3、GPT-OSS）在性能上超越闭源 API 的关键拐点，并重新定义了具备自主行动能力的 AI Agent 系统架构。随后，讲者深入拆解了反思、规划、工具调用、长期/短期记忆以及 MCP 等核心协议在复合 AI 系统中的工程实践，强调了模块化与垂直领域 Agent 的商业价值。最后，讲者结合 Fireworks AI 的高性能推理底座，告诫开发者在面对异构模型组合时必须树立“延迟即质量”的意识，并在立项第一天就将生产级可扩展性融入系统设计中。 ## Atmosphere & style 整场分享节奏明快、信息密度极高，展现出纯粹的技术实战与工程导向氛围。讲者凭借在微软、Google 等科技大厂沉淀的丰富经验，以干练犀利的表达直击架构痛点，既有底层原理拆解也有严肃的技术警示。听众能清晰感受到那种置身于前沿技术峰会的紧迫感与务实感，仿佛正接受一份从 MVP 迈向高并发生产系统的硬核工程避坑指南。 ## Key takeaways - [01:28](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=88s) 开源与闭源模型的角力迎来关键拐点：以 DeepSeek-V3 等为代表的开源大模型在综合性能上已比肩甚至超越闭源商用模型，并赋予开发者在监督微调（SFT）、强化学习（RL）、模型蒸馏、自主部署与数据隐私方面的完全控制权。 - [04:46](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=286s) 从纯语言模型到 AI 智能体的跃迁：衡量智能体的核心标准在于其是否具备端到端执行动作的能力（Do capabilities），并依托吴恩达提出的反思（Reflection）、工具使用（Tool Use）、规划（Planning）与多智能体协同四大设计模式构建闭环。 - [08:08](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=488s) 复合 AI 系统（Compound AI Systems）与路由架构：现代智能体系统不再依赖单一超大模型包打天下，而是通过顶层路由（Router）自动分析意图，动态调度垂直领域子智能体（Sub-agents）协同作业并聚合输出。 - [11:23](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=683s) 大上下文窗口无法替代系统级记忆与 RAG：RAG 负责动态海量外部知识检索，上下文窗口仅为即时工作内存；构建高拟人智能体必须同时结合记录近期上下文的短期记忆与沉淀长期偏好的长期记忆机制。 - [13:39](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=819s) 工具调用从硬编码规则演进为 LLM 原生函数调用：成熟系统由模型自主判断触发时机、动态构造 API 参数并解析返回数据，函数调用（Function Calling）能力已成为评测模型 Agent 潜力的核心指标。 - [15:20](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=920s) 标准化协议（MCP 与 A2A）是多智能体落地的命脉：引入 MCP（Model Context Protocol）与 Agent-to-Agent 规范，能够统一定义跨模型、跨工具的数据负载与通信接口，解决分布式 Agent 系统的调试与可观测性难题。 - [16:31](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=991s) 模块化微服务解耦与垂直领域 Agent 崛起：将规划（Planner）、检索（Retriever）与执行（Executor）模块化拆分以支持降级与回滚；针对垂直场景微调的小模型具有更高的商业 ROI、更低幻觉率且易于引入人机协同（HITL）。 - [19:12](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1152s) 异构模型网络组合与“延迟即产品质量”：在生产架构中混合调度 5B（轻量路由）、70B（性价比通用）与 600B+（复杂推理）模型，推理延迟直接决定端到端软件交互体验与工程韧性。 - [22:04](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1324s) 生产级智能体系统的三大核心演进阶段：从基于私有数据与业务场景的“开发与定制（Customization）”，到跨模态和外部工具链的“可组合性（Composability）”，最终走向高可用、高安全的“规模化扩展（Scaling）”。 - [22:45](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1365s) 底层基础设施的软硬件协同优化优势：Fireworks AI 依托 PyTorch 原班核心作者与系统级工程底座，实现前沿开源模型（如 DeepSeek-R1/V3）Day-1 支持与极致的低延迟、高性价比推理加速。 - [24:30](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1470s) 可扩展性绝不是事后才考虑的问题（Scalability is not an afterthought）：团队在架构设计的“第一天（Day One）”就必须做好应对高并发与高吞吐的准备，避免在 MVP 阶段因依赖简陋 API 调用而在用户爆发增长时遭遇系统崩溃与高昂重构代价。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=4s) 开场与讲者背景：从科技巨头到 Fireworks AI 演讲者 Aishwarya Srinivasan 开场向在场观众致意，表示自己稍微提前了几分钟开始，为了方便切换 PPT 会尽量待在电脑旁。她很高兴看到大家齐聚一堂来探讨“如何在大规模生产环境中扩展 AI 智能体（Scaling AI Agents）”。本次演讲的内容设计兼顾了两类人群：既能让刚接触 AI 智能体的新手轻松听懂基础概念，又为正在实际构建大规模智能体系统的资深工程师提供了高价值的实战参考。 Aishwarya 分享了自己的职业履历：她拥有扎实的机器学习和数据科学背景，曾先后就职于 IBM 和 Google，最近的一段经历是在微软（Microsoft）。在微软期间，她深入钻研了生成式 AI 应用，主要职责是为众多初创企业提供技术咨询，指导它们从直接调用 OpenAI 原生模型无缝迁移到在 Azure OpenAI 上进行可扩展的生产级部署。近期，她加入了生成式 AI 推理服务初创平台 Fireworks AI，专注于提供高性能的模型推理基础设施。考虑到整场演讲干货紧凑、时间宝贵，她建议观众将疑问先记在心里或纸上，待演讲结束后线下交流，以免占满有限的分享时间导致无法进行 Q&A。 ### [01:28](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=88s) 开源与闭源模型的角力及关键拐点 Aishwarya 借助 Hugging Face 上实时更新的开源模型图谱展开分析。在讨论开源大模型时，业界常有一个核心疑问：“开源模型如果变得足够强大，闭源商用模型（Proprietary Models）的市场是否会彻底消失？”对于这个问题，她的回答是“既是也不是（Yes and no）”。 过去基础模型公司的核心护城河主要由两点构成： 1. **模型性能（Model Performance）**：过去闭源模型在能力上大幅领先；如今随着开源生态的爆发式演进，这一护城河正在被快速填平甚至超越。 2. **开箱即用的易用性（Ease of Use）**：对于想要快速搭建 MVP、制作产品原型的团队而言，直接调用闭源商用 API 依然具备启动更快的优势。 在模型演进史中，DeepSeek-V3 的发布成为了开源超越闭源的关键拐点。在追求“极致性能”与“更低成本/更高自由度”的平衡中，过去开源模型往往需要在性能上妥协，而以 DeepSeek-V3 为代表的新一代开源模型，其综合性能指标已直接超越了对应的闭源竞品。随后，OpenAI 也开源了 GPT-OSS 系列（包括 20B 与 120B 参数版本），展现出极强的竞争力。 开源模型相较闭源模型赋予了开发者无可比拟的自主掌控权： - **定制自由度**：支持全权进行监督微调（SFT）或基于强化学习的微调（RL fine-tuning）。 - **部署与蒸馏**：可根据业务需求自由选择托管基础设施，支持将大模型蒸馏为轻量化小模型。 - **调用控制**：完全掌控模型的访问接口与数据隐私链路。 ### [04:46](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=286s) 重新定义 AI 智能体：从单一模型到自主系统 Aishwarya 向现场观众发起互动提问：“你们认为 ChatGPT 到底是一个纯模型，还是一个具备智能体能力的系统？”现场举手投票后，她赞同了后者的观点——ChatGPT 显然已经具备了 Agentic 能力。它不仅具备严格的指令遵循能力（能够理解该做什么与不该做什么），还能根据用户指令生成并导出可下载的 CSV 文件，这背后依赖于它调用各类外部工具来达成目标。 为了更清晰地区分“智能体（Agent）”与“纯语言模型（Brain）”，业界通常根据自主性等级（Levels of Autonomy）来划分： - 普通对话助手主要执行直接指令； - 高自主性系统（例如 ChatGPT Operator、Manus 浏览器、Perplexity 推出的 Comet 浏览器等）拥有更高阶的自主行动权。 - 判别核心标准：“它仅仅是一个提供答案的大脑，还是具备实际执行动作（Do capabilities）的能力？它能否真正为你操作软硬件、理解意图并端到端执行任务？” ```mermaid flowchart TD accTitle: Andrew Ng Agentic Design Patterns accDescr: 展现吴恩达提出的四大智能体核心设计模式 subgraph CorePatterns["智能体核心设计模式 (Andrew Ng 架构)"] direction TB A["反思 (Reflection)<br/>Actor 负责执行 / Critic 负责评估纠错"] B["工具使用 (Tool Use)<br/>对接搜索、Google Drive、CSV 处理等外部能力"] C["任务规划 (Planning)<br/>自主拆解目标为单步或多步骤里程碑"] D["多智能体协同 (Multi-Agent)<br/>路由器分发与子专家协作汇总"] end A --- B --- C --- D ``` 根据吴恩达（Andrew Ng）广为人知的智能体设计架构，单智能体系统依赖三大基石： 1. **反思（Reflection）**：内部常由两个不同的大模型构成循环回路——一个充当“行动者（Actor）”负责执行任务，另一个充当“批评者（Critic）”进行审查和改进，通过闭环迭代不断提升产出质量。 2. **工具使用（Tool Use）**：赋予模型与外部世界交互的能力，例如访问 Google Drive、检索互联网、将表格数据清洗并导出为 CSV 文件等。 3. **规划（Planning）**：面对开放式目标时，用户往往只给出最终期望（如“帮我写一份该内容的摘要”），模型需自主推断中间步骤（摘要的详略程度、关键信息提炼维度等），在各个里程碑节点间自主规划执行路径。 ### [08:08](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=488s) 复合 AI 系统与智能体核心能力拆解 在单智能体之上，更强大的形态是“多智能体系统（Multi-Agent Systems）”与“复合 AI 系统（Compound AI Systems）”。以新一代模型架构（如 GPT-5 背后的设计理念）为例，系统底层通常不再依赖单一模型包打天下，而是采用“路由器（Router）”机制： - 用户下发任务时，无需显式指定“请使用推理模型”或“请调用代码专家模型”。 - 系统路由层会自动分析 Prompt 与任务属性，智能调度各个垂直领域的子智能体（Sub-agents）协同作业，最后将各专家的成果汇总聚合后交付用户。 ```mermaid flowchart LR accTitle: Agent Internal Processing Flow accDescr: 智能体接收输入后的内部认知与执行流程 subgraph PerceptionAndPlanning["认知与规划"] P["感知 (Perception)<br/>接收输入并理解任务"] --> PL["规划 (Planning)<br/>设定执行路径与里程碑"] end subgraph CognitionEngine["认知推理引擎"] PL --> R["推理 (Reasoning)<br/>CoT / ToT 多样化采样"] R --> M["记忆 (Memory)<br/>上下文与外部检索机制"] end ``` Aishwarya 指出，无论是单智能体还是多智能体系统，底层均包含七大核心组件，现场重点剖析了前几个关键维度： - **感知（Perception）与规划（Planning）**：两者相辅相成。感知负责接收并精准理解用户输入及环境状态，规划则负责根据感知结果制定实现目标的步骤方案。 - **推理（Reasoning）**：智能体在处理复杂逻辑时不应一蹴而就给出一阶段答案。常见的推理架构包括链式思考（Chain of Thought, CoT）与思维树（Tree of Thought, ToT）。CoT 采用顺序推演机制，模型在内部生成假设并通过自校验或辅助模型不断纠偏验证，直至得出高置信度结论；ToT 则采用分层分支探索。无论是开源的 DeepSeek-R1 还是 OpenAI 的推理模型，底层均遵循此类思维展开机制。 - **记忆（Memory）**：针对业界“有了超大上下文窗口（Long Context Window）是否就不再需要 RAG 检索增强生成”的争论，Aishwarya 明确指出这是对两个不同概念的混淆，大上下文并不能直接替代系统级的记忆与检索架构。 ### [11:23](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=683s) RAG、上下文窗口与短期/长期记忆机制 检索增强生成（RAG）与大语言模型的上下文窗口（Context Window）有着本质的区别。RAG 主要是为了让模型能够访问海量且动态更新的外部数据库或知识库；而上下文窗口更像是模型的“当下即时记忆”，决定了它在某一具体时刻单次能够容纳和处理的信息量。以实际场景为例，如果用户上传一份单页的发票让 ChatGPT 分析，模型能轻松提取关键信息并给出精确答案；但如果扔给它一份 200 页的庞大文档，即便是具备 128k 到 131k token 上下文窗口的现代模型，在实际处理全部细节时也会捉襟见肘甚至出现遗漏。这正是构建 AI 系统时必须深入思考如何扩展模型记忆与知识库的原因。 ```mermaid flowchart TD accTitle: AI Agent 记忆与知识架构 subgraph Storage["知识与记忆层"] STM["短期记忆 (Short-Term Memory)<br/>当前上下文、近期对话轮次"] LTM["长期记忆 (Long-Term Memory)<br/>历史交互偏好、个性化风格"] ExtDB["外部知识库 (RAG)<br/>海量动态业务文档、向量库"] end subgraph AgentCore["Agent 核心中枢"] LLM["大语言模型核心推理引擎"] end STM --> LLM LTM --> LLM ExtDB --> LLM ``` 为了让智能体像人类大脑一样工作，系统需要同时具备短期记忆与长期记忆： - **短期记忆（Short-term Memory）**：记录昨天、今天或上一轮对话中发生的即时上下文信息。 - **长期记忆（Long-term Memory）**：沉淀跨越数周乃至数月的关键背景与个性化偏好。例如，当要求模型“按照我以往的写作风格润色这篇 LinkedIn 帖子草稿”时，模型能够调出几个月前捕获的语言习惯并准确执行，这就是长期记忆机制在发挥作用。 ### [13:39](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=819s) 工具调用机制：硬编码逻辑与 LLM 自主决策 工具使用（Tool Use）绝不仅限于数据库查询，RAG 并非向模型注入外部信息的唯一手段。如果用户希望模型“根据今天的天气推荐午餐菜单”，模型就需要自主决定调用天气 API 获取实时气温，进而建议在炎热天气制作凉拌沙拉。从 Google Drive、Gmail 到各类第三方业务 API，工具调用赋予了智能体感知外部世界和采取行动的能力。 这里存在一个关键的技术分水岭：**硬编码的工具调用**与**由 LLM 驱动的自主函数调用（Function Calling / Tool Calling）**。在成熟的 Agent 系统中，系统不需要通过复杂的 `if-else` 条件分支去人工规定“当用户问 A 时必须调用 API-B”；相反，大模型会基于意图理解，原生判断应当在何时触发哪个工具、如何构造参数，并执行相应代码去获取信息后回填给模型。目前各大主流评测基准中，函数调用能力已成为衡量大语言模型是否具备生产级 Agent 潜力的核心指标。 ### [15:20](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=920s) 通信协议与标准化：MCP 与 Agent-to-Agent SDK 随着智能体协同流程的复杂度提升，Agent 之间的学习与通信机制成为系统能否落地的命脉。当多智能体工作流在生产环境中发生故障或错误时，如果开发者无法清晰记录模型之间如何传递消息、如何跨 API 与工具分发 Payload 负载，就根本无法进行故障排查与定位调试。 为了解决多工具交互和多 Agent 协同的标准化难题，行业内涌现出了关键的通用协议： - **MCP（Model Context Protocol，模型上下文协议）**：由 Anthropic 等发起的开放标准，统一定义了模型与外部工具及数据源的安全连接规范。 - **A2A（Agent-to-Agent）协议与 SDK**：规范了不同 Agent 之间互相通信、任务移交以及上下文同步的标准接口，为多智能体系统的模块化解耦与可观测性提供了底层支撑。 ### [16:31](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=991s) 多智能体模块化解耦与垂直领域 Agent 的崛起 构建多智能体系统必须回归经典软件工程的底层原则：**模块化（Modularization）**。即便大模型本身带有某种黑盒属性与非确定性特征，系统架构依然需要做到高度可拆解、可复现与可调试。通过将规划智能体（Planner Agent）、检索智能体（Retriever Agent）与执行智能体（Executor Agent）明确拆分为独立的微服务模块，团队才能在出现异常时迅速定位问题，并建立起完善的降级机制（Fallback）和版本回滚方案，确保前端用户的业务连续性。 ```mermaid flowchart LR accTitle: 模块化多 Agent 协同流 UserPrompt["用户任务输入"] --> Planner["规划智能体<br/>(Planner Agent)"] Planner --> Retriever["检索智能体<br/>(Retriever Agent)"] Retriever --> Executor["执行智能体<br/>(Executor Agent)"] Executor --> Fallback{"执行校验 / 监控"} Fallback -- 成功 --> Output["最终交付结果"] Fallback -- 异常 --> Rollback["降级策略 / 状态回滚"] ``` 在落地形态上，当前市场正在被大量的**垂直领域 AI Agent（Vertical AI Agents）**主导，而非宽泛的通用智能体。其背后的核心商业与技术逻辑包括： - **更快的商业投资回报率（ROI）**：针对特定业务闭环采用蒸馏（Distillation）与微调（Fine-Tuning）定制的小型模型，能以更低成本极速解决实际痛点，相比全盘重构整个企业的通用 AI 方案，投资回报周期更短。 - **易于引入人机协同（Human-in-the-loop）**：垂直场景边界清晰，更容易嵌入人工审核与反馈微调管线。 - **规避大模型幻觉与非确定性瓶颈**：在限定领域内结合专业工程约束，能够最大程度压制大模型的幻觉缺陷，实现高可靠交付。 ### [19:12](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1152s) 异构模型组合与生产级扩展性：延迟即产品质量 在实际构建生产级 Agent 架构时，系统几乎不可能只依赖单一的模型端点，而是需要组合不同尺寸与专长的异构模型网络： - 针对基础格式化与轻量路由，采用 **5B（50 亿参数）**级别的极速小型模型； - 针对常规专业任务，调用 **70B（700 亿参数）**级别的通用性价比模型； - 针对复杂推理与架构规划，调度 **600B+（数千亿参数）**的超大旗舰模型。 将如此多不同能力边界的模型集成进庞大的工程代码库后，系统的运维与扩展难度将急剧攀升。因此，无论是初创团队还是企业架构师，必须在“第一天（Day One）”就确立高并发、高吞吐的架构预期——做好随时应对上百万活跃用户、每分钟数十万 Token 吞吐洪峰的准备，否则整个工作流会在非确定性与高负载的双重冲击下迅速崩溃。 针对 Agent 底层推理基础设施的设计，需重点权衡以下维度： - **“延迟即产品质量（Latency is Quality）”**：虽然低延迟本身不直接改变模型单次推理的文本质量，但它直接决定了**端到端软件产品的交互品质与用户体验**。模型提供商追求极致加速的核心诉求，正是在不牺牲性能质量的前提下，让 Agent 响应工具与用户的速度达到实时级别。 - **吞吐量与并发度（Throughput & Concurrency）**：衡量模型实例每秒稳定处理请求规模的工程韧性。 - **定制化混合基础设施（Tailored Infrastructure）**：针对全球多地域部署合规与安全需求，构建跨公有云、私有云以及本地机房（On-Prem）的混合隔离计算架构。 ### [22:04](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1324s) 智能体系统的核心三步：定制、可组合性与可扩展性 在构建 Agentic AI（智能体人工智能）系统时，整个生命周期可以清晰地划分为三个核心阶段。首先是搭建开发环境（Dev Environment），开发者需要根据专有数据或特定行业的垂直用例对模型与系统进行深度定制，使其契合实际业务诉求。其次是解决**可组合性（Composability）**问题——这涉及如何将模型与多模态能力打通，如何无缝连接各类数据库、API 及外部工具，从而将系统的认知与行动边界拓展到模型原始上下文窗口之外。最后一步则是扩展（Scaling），即以高安全性和高可靠性的方式将整个系统向外扩展至生产环境。 ```mermaid flowchart LR accTitle: Agentic AI 生产级系统构建流程 subgraph S1["1. 定制阶段"] A["搭建开发环境"] --> B["基于私有数据/垂直场景定制"] end subgraph S2["2. 可组合性"] C["多模态接入"] --> D["打通数据库 & API 工具链"] end subgraph S3["3. 规模化落地"] E["高可用与安全性保障"] --> F["弹性扩展与生产推理"] end S1 --> S2 S2 --> S3 ``` - **开发与定制（Customization）**：摆脱通用模型的局限，结合企业私有数据沉淀和业务规则进行调优与编排。 - **可组合性（Composability）**：通过标准化协议整合多模态输入与多样化后端数据源/API。 - **规模化保障（Scaling）**：在真实流量下确保系统具备低延迟、高韧性与严密的企业级安全防线。 --- ### [22:45](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1365s) Fireworks AI 的核心优势：极速推理与 PyTorch 基因 由于现场时间所限，讲者迅速切入关于底层基础设施的核心议题。作为专注大语言模型推理加速的基础设施服务商，Fireworks AI 致力于在新开源模型发布的第一天（Day 1）即提供上线支持，涵盖最新的 DeepSeek-R1、DeepSeek-V3 以及各类主流前沿模型。Fireworks AI 在业界以“极致的推理速度与超高效率”著称，这直接得益于其创始团队深厚的技术背景——核心技术领导层来自 Meta，正是深度学习框架 PyTorch 的核心创造者，团队成员还汇聚了来自 Google 等顶级科技公司的系统级工程师。这种深植于底层的编译与系统优化能力，构成了 Fireworks AI 帮助客户实现最低延迟、最高性价比推理的坚固“护城河（Moat）”。 - **Day-1 开源模型支持**：第一时间跟进包括 DeepSeek-R1、DeepSeek-V3 在内的最新开源前沿架构。 - **顶尖系统工程基因**：由 PyTorch 原班核心作者与前 Google / Meta 工程师领衔打造高性能推理引擎。 - **核心竞争力**：软硬件协同优化，让大模型在生产环境中以极低延迟和最高成本效益全速运转。 --- ### [23:30](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1410s) 开发者资源与模型实测：研讨会与算力支持 为了让开发者能够切实评估开源模型与专有商用模型（如闭源商业 API）之间的实际性能差异，讲者向现场参会者开放了实践通道。团队将于当晚举办一场时长 30 分钟的技术研讨会（Webinar），对开源大语言模型进行深度技术拆解。同时，现场参会者只需填写反馈表单即可获得 50 美元的 Fireworks AI 平台算力额度，便于开发者亲自上手进行模型基准测试、工具调用测试以及原型开发。若参会者因现场屏幕闪烁等设备故障错过了此前的架构幻灯片，可通过 LinkedIn 随时与讲者取得联系并获取对应资料。 - **深度技术研讨会**：聚焦开源模型架构演进与落地实践的 30 分钟专场分享。 - **实操算力礼包**：为开发者提供 50 美元信用额度，用于对比测试开源与闭源模型的吞吐、延迟及输出质量。 - **技术答疑与社群互动**：开放个人 LinkedIn 渠道，为遇到系统搭建难题的工程师提供直接支持。 --- ### [24:30](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1470s) 创业者的核心教训：“可扩展性绝不是事后才考虑的问题” 在演讲尾声，讲者给出了全场最关键的技术告诫：“在构建任何 Agentic AI 系统时，可扩展性绝对不能是一个事后才补救的想法（Scalability is not an afterthought）。” 讲者结合此前在微软（Microsoft）等大厂的工作经历分享道，无数初创团队在做最小可行性产品（MVP）阶段往往直接采用最简陋的方式调用商用 API，开发时一切看似顺畅；然而一旦产品迎来市场契机、用户规模从数百人陡增到数千甚至数万人时，系统便会因为调用限流、成本失控和延迟过高而彻底崩溃无法支撑，此时团队才仓促考虑迁移到云原生或自建推理方案，往往付出极高的重构代价。无论是大型企业创新部门、独立开发者（Solopreneur）还是初创企业创始人，都必须在立项的“第一天”就将生产级可扩展性纳入整体架构考量。 ## Notable quotes > [01:28](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=88s) 开源模型如果变得足够强大，闭源商用模型的市场是否会彻底消失？对于这个问题，我的回答是既是也不是（Yes and no）。 — Aishwarya Srinivasan > [04:46](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=286s) 它仅仅是一个提供答案的大脑，还是具备实际执行动作（Do capabilities）的能力？它能否真正为你操作软硬件、理解意图并端到端执行任务？ — Aishwarya Srinivasan > [11:23](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=683s) 检索增强生成（RAG）与大语言模型的上下文窗口有着本质的区别。大上下文并不能直接替代系统级的记忆与检索架构。 — Aishwarya Srinivasan > [13:39](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=819s) 在成熟的 Agent 系统中，系统不需要通过复杂的 if-else 条件分支去人工规定……相反，大模型会基于意图理解，原生判断应当在何时触发哪个工具、如何构造参数。 — Aishwarya Srinivasan > [16:31](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=991s) 构建多智能体系统必须回归经典软件工程的底层原则：模块化（Modularization）。 — Aishwarya Srinivasan > [19:12](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1152s) 延迟即产品质量（Latency is Quality）。虽然低延迟本身不直接改变模型单次推理的文本质量，但它直接决定了端到端软件产品的交互品质与用户体验。 — Aishwarya Srinivasan > [19:12](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1152s) 无论是初创团队还是企业架构师，必须在‘第一天（Day One）’就确立高并发、高吞吐的架构预期——做好随时应对上百万活跃用户、每分钟数十万 Token 吞吐洪峰的准备。 — Aishwarya Srinivasan > [22:45](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1365s) Fireworks AI 在业界以极致的推理速度与超高效率著称，这直接得益于其创始团队深厚的技术背景——核心技术领导层来自 Meta，正是深度学习框架 PyTorch 的核心创造者。 — Aishwarya Srinivasan > [24:30](https://www.youtube.com/watch?v=zUkm0lBEQfc&t=1470s) 在构建任何 Agentic AI 系统时，可扩展性绝对不能是一个事后才补救的想法（Scalability is not an afterthought）。 — Aishwarya Srinivasan ## Mentioned Aishwarya Srinivasan, Fireworks AI, Ai4, IBM, Google, Microsoft, Azure OpenAI, OpenAI, Hugging Face, DeepSeek-V3, DeepSeek-R1, GPT-OSS, ChatGPT, ChatGPT Operator, Manus, Perplexity, Comet, Andrew Ng (吴恩达), GPT-5, MCP (Model Context Protocol), Anthropic, A2A (Agent-to-Agent), Meta, PyTorch, LinkedIn ## Video description Aishwarya Srinivasan, Head of Developer Relations - Growth, Fireworks AI Abstracts Open-source model weights are merely the foundation. In this session, we’ll dive into how both startups and large organizations can transform these models into production-grade agentic systems. Agentic AI is only as useful as its ability to perform in production. This talk offers a tactical guide to building agentic systems with open-weight models- focusing on orchestration protocols (like MCP), modular tool use, and inference infrastructure optimized for speed, cost, and output quality. We’ll move beyond theory and explore how startups and enterprises can architect scalable, reliable agents that connect to real tools and ship to real users, using the open-source stack. [Source](https://www.youtube.com/watch?v=zUkm0lBEQfc)

[1:28] Aishwarya Srinivasan: 开源模型如果变得足够强大，闭源商用模型的市场是否会彻底消失？对于这个问题，我的回答是既是也不是（Yes and no）。 [4:46] Aishwarya Srinivasan: 它仅仅是一个提供答案的大脑，还是具备实际执行动作（Do capabilities）的能力？它能否真正为你操作软硬件、理解意图并端到端执行任务？ [11:23] Aishwarya Srinivasan: 检索增强生成（RAG）与大语言模型的上下文窗口有着本质的区别。大上下文并不能直接替代系统级的记忆与检索架构。 [13:39] Aishwarya Srinivasan: 在成熟的 Agent 系统中，系统不需要通过复杂的 if-else 条件分支去人工规定……相反，大模型会基于意图理解，原生判断应当在何时触发哪个工具、如何构造参数。 [16:31] Aishwarya Srinivasan: 构建多智能体系统必须回归经典软件工程的底层原则：模块化（Modularization）。 [19:12] Aishwarya Srinivasan: 延迟即产品质量（Latency is Quality）。虽然低延迟本身不直接改变模型单次推理的文本质量，但它直接决定了端到端软件产品的交互品质与用户体验。 [19:12] Aishwarya Srinivasan: 无论是初创团队还是企业架构师，必须在‘第一天（Day One）’就确立高并发、高吞吐的架构预期——做好随时应对上百万活跃用户、每分钟数十万 Token 吞吐洪峰的准备。 [22:45] Aishwarya Srinivasan: Fireworks AI 在业界以极致的推理速度与超高效率著称，这直接得益于其创始团队深厚的技术背景——核心技术领导层来自 Meta，正是深度学习框架 PyTorch 的核心创造者。 [24:30] Aishwarya Srinivasan: 在构建任何 Agentic AI 系统时，可扩展性绝对不能是一个事后才补救的想法（Scalability is not an afterthought）。

[0:04] ऐश्वर्या श्रीनिवासन: अगर ओपन-सोर्स इतना अच्छा हो जाएगा, तो क्या प्रोप्राइटरी मॉडल्स का मार्केट खत्म हो जाएगा? [0:04] ऐश्वर्या श्रीनिवासन: Ease of Use [4:46] ऐश्वर्या श्रीनिवासन: कितने लोग मानते हैं कि ChatGPT एक मॉडल है और कितने मानते हैं कि इसमें एजेंटिक क्षमताएं (agentic capabilities) हैं? [4:46] ऐश्वर्या श्रीनिवासन: क्या यह केवल एक दिमाग (brain) है या इसमें कुछ करने की क्षमता (do capabilities) भी है? [6:22] ऐश्वर्या श्रीनिवासन: मुझे इसकी समरी दो [18:36] ऐश्वर्या श्रीनिवासन: ह्यूमन-इन-द-लूप [18:36] ऐश्वर्या श्रीनिवासन: Day 1 [20:46] ऐश्वर्या श्रीनिवासन: latency equates to the quality of the product [24:27] ऐश्वर्या श्रीनिवासन: afterthought

[0:04] हाय एवरीवन। सो आई गेस वी हैव मे बी अ कपल [0:08] ऑफ मिनट्स अर्ली टू स्टार्ट विद। आई विल [0:10] हैव टू स्टे नियर माय लैपटॉप। सो आई कैन [0:12] मूव माय स्लाइड्स। बट आई एम एक्सट्रीमली [0:15] ग्लैड टू सी ऑल ऑफ़ यू हियर। वांटिंग टू [0:18] लर्न मोर अबाउट स्केलिंग एआर एजेंट्स। आय [0:20] हाव ट्राइड टू कीप इट समवेर इन बिटवीन। सो [0:23] पीपल हु आर प्रॉबब्ली न्यू टू लर्निंग [0:25] अबाउट एआई एजेंट्स कैन आल्सो अंडरस्टैंड [0:27] व्हाट आई एम टॉकिंग अबाउट एंड एट द सेम [0:28] टाइम इट्स रेलेवेंट फॉर पीपल हु आर [0:30] एक्चुअली बिल्डिंग एआई एजेंट्स एट स्केल [0:33] सो जस्ट गेटिंग स्टार्टेड आय कम फ्रॉम अ [0:35] मशीन लर्निंग एंड डेटा साइंस बैकग्राउंड [0:37] आई यूज्ड टू वर्क एट आईबीएम देन फॉलोड बाय [0:40] Google एंड अह माई मोस्ट रीसेंट [0:43] एक्सपीरियंस वास विद Microsoft एंड अटैस [0:46] वेर आय थिंक आय गॉट रियली डीप इंटू [0:48] जनरेटरवे एप्लीकेशंस बिकॉज़ अ लॉट ऑफ़ द [0:50] स्टार्टअप्स दैट आई यूज़्ड टू एडवाइस एज़ [0:52] पार्ट ऑफ़ Microsoft सॉफ्ट वाज़ देयर [0:54] माइग्रेशन फ्रॉम यूजिंग ओपन एआई मॉडल्स टू [0:57] रनिंग इट ऑन अ स्केलेबल वे इन Azure ओपन [1:00] एआई। रिसेंटली आई हैव मूव्ड टू द [1:02] स्टार्टअप कॉल्ड फाइवक्स एआई एंड वी आर एन [1:04] इन्फ्लुएंस प्रोवाइडर फॉर जनरेटिव एआई [1:06] एप्लीकेशनेशंस। सो, डॉट्स व्हाट आई डू एंड [1:08] आय एम वेरी एक्साइटेड टू टॉक टू यू मोर [1:10] अबाउट स्केलिंग एआई एजेंट्स। व्हाट आई वुड [1:14] लाइक यू टू डू इज इफ यू हैव एनी ऑफ द [1:16] क्वेश्चनस कीप अ मेंटल नोट और जस्ट नोट इट [1:18] नोट इट ओवर समवेर सो वी कैन हैव अ चैट [1:21] आफ्टरवर्ड्स बिकॉज़ मोस्ट लाइकली आई एम [1:22] गोना एक्सॉस्ट द टाइम दैट वी हैव फॉर द [1:24] सेशन एंड वी मे नॉट हैव टाइम फॉर क्यू [1:26] एनए। [1:28] सो जस्ट स्टार्टिंग विथ, आय वांटेड टू चैट [1:30] अबाउट व्हाट द लैंडस्केप ऑफ ओपन सोर्स [1:34] मॉडल इज़ राइट नाउ, एंड आई अब्सोलुटली लव [1:36] दिस मॉडल एटलीस्ट विज़ुअलाइज़ेशन। अह इट्स [1:39] पब्लिश्ड ऑन हगिंग फेस। सो यू कैन चेट आउट [1:42] एंड इट्स समथिंग दैट अपडेट्स अह ऑल द टाइम [1:45] इन रियल टाइम। सो यू कैन सी व्हाट न्यू [1:47] मॉडल्स आर कमिंग अप। अ लॉट ऑफ़ टाइम्स [1:50] व्हेन आय आई एम टॉकिंग अबाउट ओपन सोर्स [1:53] मॉडल्स, पीपल आस्क मी दिस क्वेश्चन ऑन [1:55] व्हाई इज़ ओपन सोर्स इंपॉर्टेंट? लाइक इफ [1:57] ओपन सोर्स बिकम्स रियली गुड, वुड द [1:59] मार्केट फॉर प्रोपराइटरी मॉडल बी नॉन [2:01] एकज़िस्टेंट? [2:03] यस एंड नो। द मेजोरिटी ऑफ द मोट दैट एनी [2:08] ऑफ द फाउंडेशनल मॉडल कंपनीज यूज्ड टू हैव [2:12] वाज़ देयर परफॉर्मेंस। देयर मॉडल [2:14] परफॉर्मेंस एंड हाउ इजी इट वास् फॉर यू टू [2:17] यूज़ दीज़ मॉडल्स जस्ट आउट ऑफ द बॉक्स। सो द [2:20] फॉर्मर पार्ट इज अ मे बी राइट नाउ बिकॉज़ [2:23] देयर हेस बीन अ लॉट ऑफ एडवांसमेंट्स इन द [2:26] ओपन सोर्स मॉडल स्पेस व्हिच मेक्स मी [2:29] क्वेश्चन व्हाट द फ्यूचर ऑफ प्रोपराइटरी [2:31] मॉडल्स वुड लुक लाइक बट द लैटर मोड व्हिच [2:36] इज़ इज ऑफ़ यूज़ स्टिल एक्सिस्ट टू सम [2:38] एक्सटेंट फ्रॉम प्रोपराइटरी मॉडल [2:40] पर्सपेक्टिव इफ यू वांट टू जस्ट गेट [2:41] स्टार्टेड हैव अ एमवीपी बिल्ट आउट हैव अ [2:43] प्रोडक्ट प्रोटोटाइप इट्स वेरी इज़ीअर टू [2:46] स्टार्ट विथ अ प्रो प्रो प्रो प्रो प्रो [2:46] प्रो प्रो प्रो प्रो प्रोपराइटरी मॉडल। [2:48] नाउ कमिंग बैक टू ओपन सोर्स मॉडल्स राइट [2:51] वन ऑफ द मोस्ट इंपोर्टेंट थिंग्स दैट [2:53] हैपेंड विथ डीप सीक वी3 अगेन दिस [2:56] विजुअलाइज़ेशन इज़ नॉट द मोस्ट रीसेंट एंड [2:59] आई विश आई कुड ऐड ऑल ऑफ़ द अदर मॉडल्स [3:01] व्हिच हैव बीन रिसेंटली लॉन्च्ड एंड कुड [3:03] वुड आल्सो बी फॉलिंग इन दैट टॉप लेफ्ट [3:06] ट्रायंगल बट दिस वाज़ पब्लिशड बाई डीप सीक [3:09] एंड दिस वाज़ व्हेन वी थ्री केम आउट एंड [3:12] दिस वाज़ अ लेट लाइक लेटर हाफ ऑफ लास्ट ईयर [3:16] द मोस्ट इंटरेस्टिंग िंग फैक्ट दैट हैपेंड [3:18] एंड दैट्स व्हेन द इन्फ्लिक्शन पॉइंट ऑफ द [3:21] मोड फॉर एन ओपन सोर्स मॉडल ओवर [3:23] प्रोपराइटरी मॉडल वाज़ रियली सीन। व्हेन यू [3:26] थिंक अबाउट द परफॉर्मेंस एंड द कॉस्ट [3:30] रेश्यो द आइडियल वर्ल्ड वुड बी दैट आई [3:34] वांट द बेस्ट परफॉर्मेंस ऑफ़ द मॉडल। एंड [3:36] एट द सेम टाइम आई व्हाट लोअर कॉस्ट और मोर [3:39] फ्लेक्सिबिलिटी अराउंड द मॉडल। एंड दैट्स [3:42] व्हाट ओपन सोर्स मॉडल इज़ गिव यूज़्ड टू गिव [3:44] यू। एंड [3:46] द परफॉर्मेंस यूज्ड टू बी ए इंडिकेटर [3:48] व्हिच वाज़ लाइक हे इज द ओपन सोर्स मॉडल एज़ [3:50] गुड एज़ द प्रोपराइटरी मॉडल्स ऑर नॉट। विथ [3:53] डीप सीक वी थ्री वी क्रॉस दैट इन्फ्लिकेशन [3:55] पॉइंट वेयर ओपन सोर्स मॉडल्स वर बेटर देन [3:58] अ प्रोपराइटरी मॉडल काउंटर पार्ट। नाउ वी [4:02] हैव अ लॉट मोर मॉडल्स कमिंग इन दैट स्पेस। [4:05] आई नीड टू मेंशन दिस बट जीपीटी ओ ओएसएस [4:08] व्हिच वाज़ लॉन्च्ड बाय ओपन ए आई जस्ट [4:10] लास्ट वीक दे लॉन्च्ड टू डिफरेंट मॉडल्स। [4:12] 20 बी अह 20 बिलियन पैरामीटर एंड 120 [4:15] बिलियन पैरामीटर। एंड बोथ ऑफ़ दोज़ मॉडल्स [4:17] आर कमपीटिंग रियली वेल विथ प्रोपराइटरी [4:20] मॉडल्स। वन ऑफ़ द बेस्ट पार्ट्स अबाउट ओपन [4:24] एआई ओपन सोर्स मॉडल्स आर लाइक द ओपन [4:26] एआईजीपीटी ओएसएस इज़ डैट यू कैन कस्टमाइज [4:29] इट द वे यू वांट इट। यू कैन फाइंड ट्यून [4:31] इट। यू कैन हैव अ सुपरवाइज़्ड फाइन [4:33] ट्यूनिंग। यू कैन अ रिइंफोर्समेंट फाइन [4:34] ट्यूनिंग ऑन ऑन टॉप ऑफ़ द मॉडल्स। यू कैन [4:36] होस्ट इट द वे यू वांट। एंड यू कैन [4:40] डिस्टिल द मॉडल्स। यू हैव फुल कंट्रोल ओवर [4:42] हाउ द मॉडल इज़ बीइंग एक्सेस। [4:46] नाउ व्हेन वी गो फ्रॉम अ मॉडल टू व्हाट इज़ [4:50] एन एआई एजेंट। लेट्स सी लाइक हाउ मेनी ऑफ़ [4:53] यू थिंक दैट चार्जिपिटी इज़ अ मॉडल ऑर एन [4:56] एजेंट। [4:59] लेट्स रेज़ हैंड्स इफ यू थिंक चार्जिपिटी [5:01] इज़ अ मॉडल। [5:03] ओके। एंड रेज़ हैंड्स इफ यू थिंक इट हैज़ [5:06] एजेंटिक कैपेबिलिटीज़। [5:08] ओके। [5:10] आई वुड प्रॉबब्ली गिव द स्कोर टू द वन हु [5:12] थॉट इट्स एजेंटिक कैपेबिलिटीज बिकॉज़ इट [5:14] इनड इज़ एन एजेंटिक कैपेबिलिटी राइट? इटज़ [5:16] इंस्ट्रक्शन फॉलोविंग। यू टेल इट टू डू [5:18] समथिंग नॉट टू डू समथिंग इट अंडरस्टैंड्स [5:21] यू इट डज़ थिंग्स अकॉर्डिंग टू योर [5:23] इंस्ट्रक्शंस। इफ यू टेल इट टू गिव मी अ, [5:27] डाउनलोडेबल सीएसवी, इट गिव्स यू अ [5:30] डाउनलोडेबल सीएसवी। सो, इट हैज़ एक्सेस टू [5:32] अ लॉट ऑफ़ टूल्स, दैट इज़ एबल टू गेट, गेट [5:35] दैट जॉब डन। सो, डेफिनेटली इटज़ एजेंटिक [5:37] कैपेबिलिटीज़। नाउ हाउ डू वी डिफाइन [5:40] एजेंट्स इज़ आल्सो कमिंग इन डिफरेंट लेयर्स [5:42] ऑफ ऑटोनोमी? व्हेन यू थिंक अबाउट समथिंग [5:45] लाइक अ चैट जीपिटी ऑपरेटर ओर यू थिंक [5:48] अबाउट समथिंग लाइक अ मानस ब्राउज़र ओर अ [5:51] कॉमेट ब्राउज़र बाय पॉप्लेक्सिटी। ऑल ऑफ़ [5:54] दिस आर एजेंटिक एज़ वेल बट दे हैव हायर [5:57] लेवल्स ऑफ़ ऑटोनमी। सो, द डिफरेंस बिटवीन [6:01] हाउ यू जज समथिंग इज़ एन एजेंट ओर नॉट। इज [6:04] सिंपली थिंक दैट इज इट अ ब्रेन ओर डस इट [6:08] हैव डू केपेबिलिटीस? कैन इट रियली डू [6:11] समथिंग फॉर यू? कैन इट अंडरस्टैंड योर [6:13] इंस्ट्रक्शंस? कैन इट रन बेस्ड ऑन योर [6:16] इंस्ट्रक्शंस? पार्ट ऑफ इट वुड बी एबल टू [6:18] डू इट पार्ट ऑफ इट वुड नॉट बी एबल टू डू [6:20] इट। सो दैट्स हाउ यू जज एन एजेंटिक [6:22] केपेबिलिटी। नाउ, दिस इज़ अ वैरी फेमस अह [6:25] आर्किटेक्चर दैट एंड्रियो वाइंग हेड शेयर [6:27] एंड इट्स वैरी इज़ी टु अंडरस्टैंड यूजिंग [6:29] दिस आर्किटेक्चर ऑफ़ हाउ एआई एजेंट्स वर्क। [6:31] वी हेवेंट गोटन टू मल्टी एजेंट सिस्टम। [6:33] सो, हैंग इन देयर। वी स्टार्ट विद [6:35] रिफ्लेक्शन। सो, वन ऑफ द इज़ियर वे टू [6:38] अंडरस्टैंड दिस इज़, वी हैव टू डिफरेंट [6:39] एलएलएम्स। वन इज़ एन एक्टर व्हिच डज़ टास्क, [6:43] दी अदर इज़ अ क्रिटिक। सो, इट्स डूइंग अ [6:46] रिफ्लेक्शन इन दैट लूप। वन मॉडल ट्राय टू [6:48] डू समथिंग, एंड दी अदर मॉडल इज़ जजिंग एंड [6:50] इंप्रूविंग इट ओवर टाइम। दैट्स अ कोर [6:53] कॉम्पोनेंट ऑफ़ एन एआई एजेंट। सेकंड पार्ट [6:56] इज़ टूल यूज़। दैट्स व्हाई आई सेड [6:58] चार्जिपीटी इज़ एन एजेंट बिकॉज़ इट इज़ एबल [7:00] टू एक्सेस माय Google ड्राइव। इट इज़ एबल [7:02] टु एक्सेस द इंटरनेट, इट इज़ एबल टू [7:04] कन्वर्ट डिफरेंट अ टेबल्स इंटू सीएसपी [7:07] फाइल्स, इट इज़ एबल टू बिल्ड टेबल्स। सो इट [7:09] हास टूल यूज़ इनकर्पोरेटेड इन इट। द थर्ड [7:12] पार्ट इज़ प्लानिंग। एववरी टाइम यू यूज़ चैट [7:16] जीपीटी ओर एनी अदर अह एआई टूल, एंड यू गिव [7:20] इट अ टास्क, व्हिच कुड बी ओपन एन्डेड। यू [7:23] आर नॉट रियली टेलिंग इट स्टेप बाय स्टेप [7:25] अप्रोच ऑफ़ हाउ टू गेट देयर। यू टेल इट दैट [7:27] हे आई वांट यू टू गिव मी अ समरी ऑफ़ दिस। [7:30] यू आर नॉट रियली टेलिंग इट हाउ इट शुड गेट [7:32] टू दैट समरी। सो इंटरमीडिएट स्टेप्स व्हिच [7:35] इज़ लाइक हाउ लॉन्ग ओर शार्ट द समरी शुड बी [7:38] व्हाट आर द थिंग्स इट शुड बी [7:39] एक्सट्रैक्टिंग फ्रॉम द समरी। ऑल ऑफ़ द [7:41] इंटरमीडिएट स्टेप्स दैट यू गिव टू एन [7:44] एजेंट इज़ समथिंग दैट इट अंडरस्टैंड्स ऑन [7:46] इट्स ओन। यू जस्ट गिव इट अ गोल एंड इट [7:48] ट्राइ टू रीच दैट गोल बेस्ड ऑन द स्टेप्स [7:50] दैट इट इंटरप्रेट्स ऑन इट्स ओन। एंड दैटस [7:53] द प्लानिंग पार्ट। इट कुड बी अ वन स्टेप [7:56] गोल। इट कुड बी अ मल्टीस्टेप गोल व्हिच [7:58] हैज़ मल्टीपल डिफरेंट माइलस्टोनस एंड द [8:00] एजेंट नीड्स टू प्लान बिटवीन ईच एंड एव्री [8:03] माइलस्टोन एज़ वेल। सो, दैट्स समथिंग दैट [8:05] एन एजेंट डज़। नाउ द फाइनल पार्ट इज़ हाउ [8:08] मल्टी एजेंट सिस्टम्स वर्क। वी विल गेट [8:10] इंटू द डिटेल्स ऑफ़ दैट इन अ सेकंड। बट वन [8:13] ऑफ द थिंग्स यू नीड टू अंडरस्टैंड एंड एन [8:15] इजियर वे टू अंडरस्टैंड दैट इज एक्चुअली [8:17] जीपीटी5 वेल पीपल डोंट हेव वैरी गुड [8:20] ओपिनियन अबाउट हाउ इट्स लॉन्च्ड। बट एन [8:23] इंट्रेस्टिंग कॉम्पोनेंट दैट वी शुड टॉक [8:25] अबाउट फ्रॉम जीपीटी फाइव इज़ टू ऑफ़ इट। [8:28] एक्चुअली वन इज़ डेफिनेटली लाइक मल्टी [8:30] एजेंट सिस्टम्स दैट दे आर यूजिंग अंडर द [8:31] हुड। बट दैट इज़ आल्सो एक्सट्रेक्टेड फ्रॉम [8:33] अ कॉन्सेप्ट कॉल्ड कंपाउंड एआई सिस्टम्स। [8:37] व्हेयर यू आर मेकिंग इट अंडरस्टैंड व्हाट [8:39] इज द राइट अप्रोच फॉर द मॉडल टू टेक फॉर अ [8:42] गिवन एक्शन। यू आर नॉट टेलिंग इट दैट यू [8:45] नीड टू बी यूज़िंग अ रीज़निंग मॉडल। यू आर [8:47] नॉट टेलिंग इट दैट इट नीड्स टू बी यूज़िंग [8:50] अ कोडिंग कोडिंग एक्सपर्ट मॉडल। यू आर [8:52] जस्ट गिविंग इट अ गोल। एंड अंडर नीथ, इट्स [8:55] टेकिंग राउटर अप्रोच ऑफ़ फिगरिंग आउट दैट [8:58] फॉर दिस पर्टिकुलर गिवन प्रोम्पट, फॉर दिस [9:01] पर्टिकुलर गिवन टास्क, व्हाट आर द स्टेप्स [9:03] दैट आय शुड बी टेकिंग? शुड आय बी इनवोकिंग [9:06] सब एजेंट्स अंडर मी हु आर एक्सपर्ट एंड [9:09] डूइंग सर्टेन टास्क एंड गेट द टास्कस [9:11] अकम्प्लिश्ड बाय इंडिविजुअली इंडिविजुअल [9:13] ऑफ दोज़ एजेंट्स एंड देन एग्रीगेट द फाइनल [9:16] रिज़ल्ट टू सेंड टू द सेंड टू द यूजर। [9:18] दैट्स हाउ मल्टी एजेंट सिस्टम्स वर्क। [9:22] नाउ इफ यू वांट टू ब्रेक डाउन हाउ अ सिंगल [9:26] एजेंट सिस्टम ओर अ मल्टी एजेंट सिस्टम्स [9:28] वर्क, दैट्स द बेस्ट आय कुड ड्रॉ। सो अह [9:31] दैट्स द बेस्ट आय कुड ड्रा टू लाइक [9:33] एक्सप्लेन हाउ दिस कांसेप्ट वर्क्स। बट [9:35] देयर आर सेवन कोर कॉम्पोनेंट्स ऑफ हाउ अ [9:39] मल्टी एजेंट सिस्टम ओर अ सिंगल एजेंट के [9:41] आई सिस्टम वर्क्स। यू हैव परसेप्शन। [9:44] परसेप्शन इज़ व्हेन द मॉडल इज़ एबल टू टेक [9:47] इन अ यूजर इनपुट। अंडरस्टैंड व्हाट इट [9:50] नीड्स टू डू एंड फिगर आउट व्हाट शुड बी द [9:52] राइट नेक्स्ट स्टेप्स। सो परसेप्शन एंड [9:54] प्लानिंग वर्क हैंड इन हैंड। परसेप्शन इज़ [9:57] अंडरस्टैंडिंग एंड प्लानिंग इज [9:59] अकंप्लिशिंग द टास्क विद अ सेट ऑफ [10:01] प्लान्स। [10:03] रीजनिंग इज एट टाइम्स योर मॉडल शुड नॉट बी [10:06] हैविंग अ सिंगल स्टेप आंसर। सम ऑफ़ द कॉमन [10:10] वेज़ ऑफ़ हाउ रीजनिंग वर्क्स इज़ ट्री ऑफ़ थॉट [10:14] ओर चेन ऑफ़ थॉट। यू इवन हाव लाइक मल्टीपल [10:16] सैंपलिंग मेथड्स दैट हेल्प योर मॉडल फिगर [10:19] आउट व्हाट इज़ द बेस्ट राइट आउटपुट दैट इट [10:22] शुड प्रोवाइड यू। सो चेन ऑफ थॉट इज व्हेन [10:24] अ मॉडल रिस्पॉन्ड्स टू समथिंग इंटरनली देन [10:29] देयर इज़ अ काउंटर मॉडल दैट ओर द सेम मॉडल [10:31] ऑर इट टाइम्स काउंटर मॉडल ट्राइस टू [10:34] काउंटर विथ दट आंसर इट ट्राइस टू रीज़न इफ [10:37] दैट आंसर इज़ राइट ओर नॉट कम बैक कम्स बैक [10:40] विथ द सेकंड आंसर एंड सो ऑन टू अ पॉइंट [10:43] वेयर इट फील दैट दिस इज़ अ कॉन्फिडेंट आंसर [10:45] दैट इट कैन प्रोवाइड टू द यूजर। दैट्स अ [10:47] चेन ऑफ़ थॉट व्हिच इज़ सीक्वेंशियल प्रोसेस। [10:49] यू हैव अह ट्री ऑफ़ थॉट व्हिच इज़ मोर ऑफ़ अ [10:52] हायरार्किकल प्रोसेस ऑफ़ दिस थिंकिंग [10:54] केपेबिलिटी। एनी ऑफ़ द रीज़निंग मॉडल्स, [10:56] वेदर इट बी डीप सीक आर वन ऑर द लेटेस्ट [10:59] फंड्स दैट केम आउट फ्रॉम ओपन एआई बोथ ओपन [11:02] सोर्स एंड प्रोपराइटरी यूज सिमिलर अप्रोच [11:04] अंडर नीड। दैट्स रीजनिंग। नाउ मेमोरी इज़ [11:08] समथिंग व्हिच इज़ वेरी इंटरेस्टिंग। अ लॉट [11:10] ऑफ टाइम्स पीपल हैव दिस कन्फ्लिक्टिंग [11:12] थ्योरी ऑफ वुड वी नॉट नीड अ रैग सिस्टम इफ [11:17] वी हैव लार्जर कॉन्टेक्स्ट विंडो। [11:19] अब्सोलुटली नॉट, इट्स टू डिफरेंट [11:21] कांसेप्ट्स दैट यू आर ट्राइंग टू कंबाइंड [11:23] टुगेदर। रैग इज़ फॉर रियली रियली लार्ज [11:26] कॉर्पसेस ऑफ़ इनफार्मेशन दैट इज़ अपडेटेड [11:29] डायनेमिकली एंड यू वांट टू एक्सेस दैट [11:30] डेटाबेस व्हाई आर योर लार्ज लैंग्वेज मॉडल [11:33] एंड गिव इट एक्सेस टू दैट। कॉन्टेक्स्ट [11:35] विंडो इज़ रादर द प्रेजेंट मेमोरी ऑफ़ दैट [11:39] पर्टिकुलर मॉडल। हाउ मच इट कैन रिमेंबर एट [11:42] दैट वेरी इंस्टेंस। सो अ वेरी सिंपल [11:45] एग्जांपल इज़ व्हेन यू इंटरक्ट विथ चैट [11:47] जीपीटी एंड लेट से दैट आई वांट टू आस्क इट [11:50] अ क्वेश्चन बेस्ड ऑन माय इनवॉइस दैट हैव [11:51] रिसीव्ड। आई अपलोड दैट डॉक्यूमेंट एंड आई [11:54] आस्क क्वेश्चन ऑन टॉप ऑफ़ दैट। लेट्स से [11:56] दैट डॉक्यूमेंट इज़ वन पेज। द मॉडल इज़ एबल [11:59] टू पुल दैट इनफार्मेशन एंड गिव मी अ [12:01] रेस्पोंस व्हिच इज़ करेक्ट। बट ट्राई द सेम [12:03] थिंग विथ मे बी अ 200 पेज डॉक्यूमेंट एंड [12:05] द मॉडल विल नॉट बी एबल टू रेस्पोंड टू यू [12:07] प्रॉपरली बिकॉज़ द करंट चैट जीपीटी मॉडल्स [12:09] हैव अबाउट 128 के टू 1131 के कॉनंटेक्स्ट [12:12] विंडो एंड इट्स नॉट गो बी एबल टू प्रोसेस [12:14] ऑल ऑफ़ द इनफार्मेशन दैट यू प्रोवाइड इन [12:16] दैट डॉक्यूमेंट। दोज़ आर द सिचुएशन व्हेयर [12:19] वी नीड टू अंडरस्टैंड दैट हाउ डू वी [12:20] एक्सपैंड द मेमोरी और हाउ डू वी एक्सपैंड [12:23] द नॉलेज बेस ऑफ़ अ मॉडल? देयर इज़ टू [12:26] कॉम्पोनेंट्स टू इट। वन इज शार्ट टर्म [12:29] मेमोरी एंड द सेकंड इज लॉन्ग टर्म मेमोरी। [12:33] आई विल गिव यू अ चैलेंज इफ यू आर एन आडेंट [12:35] यूजर ऑफ चैट जीपीटी। गो एंड आस्क इट [12:38] समथिंग व्हिच यू वुड हाव प्रॉबब्ली आस्क्ड [12:40] इट मे बी अ फ्यू मंथ्स अगो एंड सी इफ इट्स [12:42] एबल टु रिमेंबर दैट। फॉर एग्जांपल, देर इस [12:45] अ पकुलर स्टाइल ऑफ़ हाउ आई राइट माय Lind [12:47] पोस्ट। एंड इफ आई हाव टू अह आस्क इट टू [12:51] प्रूव रीड सम ऑफ़ माफ़ माफ़ माफ़ माफ़ माफ़ माफ़ [12:51] माफ़ माफ़ माफ़ माय Lind पोस्ट डट्याट आय ऐड [12:53] एज़ अ ड्राफ्ट। आय टेल इट दैट राइट दिस [12:55] सेक्शन इन माय स्टाइल। [12:58] इट अंडरस्टैंड्स माय स्टाइल। एंड दैटस [13:01] पार्ट ऑफ़ द लॉन्ग टर्म मेमोरी बिकॉज़ द [13:03] मॉडल इज़ एबल टू कैप्चर सर्टेन इनफार्मेशन [13:06] व्हिच प्रॉबब्ली यू फेड इन इट अ वाइल एगो [13:09] बट इट इज़ इम्पोर्टेंट इनफ दैट इट डिसाइडेड [13:12] टू मेंटेन दैट इन इट्स मेमोरी। द सेम वे [13:14] ह्यूमन ब्रेन वर्क्स राइट। वी हैव आवर [13:16] शार्ट टर्म मेमोरी व्हिच इज़ थिंग्स दैट वी [13:18] रिमेंबर दैट हैपन। यस्टरडे टुडे अ वीक एगो [13:22] वर्स देयर आर लॉन्ग टर्म मेमोरी दैट यू [13:24] रिमेंबर फ्रॉम योर चाइल्डहुड। सो दैट्स द [13:26] सेम वे यू नीड टू डिजाइन एन एआई एजेंट [13:28] सिस्टम। सो इट्स एबल टू हैव इट्स शार्ट [13:30] टर्म एंड लॉन्ग टर्म मेमोरी एज़ वेल एज़ हैव [13:33] एक्सेस टू अदर टूल्स ओर डेटाबेस दैट इट [13:36] नीड्स टू पुल इनफार्मेशन फ्रॉम। दैट्स द [13:39] पार्ट ऑफ़ टूल यूज़। अगेन टूल यूज़ इज़ नॉट [13:41] जस्ट अबाउट डेटाबेस। रैग इज़ नॉट दी ओनली [13:44] वे ऑफ़ हाउ यू गिव एक्सटर्नल इनफार्मेशन टू [13:47] अ मॉडल। लेट्स से यू वांट टू आस्क चैट [13:50] जीपीटी टू हेल्प यू विद हेल्प मी प्रिपेर [13:53] अह टुडेस मेन्यू डिपेंडिंग ऑन द वेदर। [13:57] यू वांटेड टू बी अ कोल्ड सैलेड बिकॉज़ इट्स [13:59] रियली हॉट आउटसाइड। सो द कॉनंटेक्स्ट ऑफ़ [14:01] वॉट द वेदर इज़ राइट नाउ इट नीड्स टू [14:03] एक्सट्रेक्ट फ्रॉम अ वेदर एपीआई। सो दैट्स [14:05] अ टूल यूज़। यू नीड टू गिव इट एक्सेस टू [14:07] एक्सटर्नल इनफार्मेशन। यू नीड टू गिव इट [14:09] एक्सेस टू एपीआईआईज़ फ्रॉम वेयर इट कैन फेच [14:11] दैट स्पेसिफिक इनफार्मेशन। इट कुड बी अ [14:13] Google ड्राइव। इट कुड बी Gmail। इट कुड [14:15] बी अदर टूल्स दैट यू आर कनेक्टिंग इट टू [14:17] फ्रॉम वेयर इट्स एबल टू फेच दैट पर्टिकुलर [14:19] इनफार्मेशन। दैट्स टूल यूज़। अ फैसनेटिंग [14:23] थिंग व्हिच आय सी अ लॉट ऑफ़ पीपल नॉट [14:26] रियलाइजिंग इज़ [14:28] देयर इज़ अ डिफरेंस बिटवीन हैविंग अ टूल [14:31] यूज़ व्हिच इज़ हार्डकोडेड। वर्सेस अ टूल [14:34] यूज़ व्हिच इज़ एलएलएम पावर्ड। द डिफरेंस इज़ [14:37] दैट एव्री टाइम यू आस्क अ क्वेरी टू अ [14:39] लार्ज लैंग्वेज मॉडल। इट ऑटोमेटिकली [14:42] अंडरस्टैंड्स व्हाट टूल्स इट शुड, इट शुड [14:45] कॉल। एंड डिपेंडिंग ऑन दैट, इट कॉल्स अ [14:47] सर्टेन सेक्शन ऑफ़ योर कोड व्हिच गोज़ टू [14:49] दैट एपीआई फैचेस इनफार्मेशन एंड गिव्स इट [14:51] बैक टू द मॉडल। सो, इफ यू हैव बीन [14:54] फोल्लोविंग लार्ज लैंग्वेज मॉडल [14:56] बेंचमार्क्स, देयर इज़ ऑलवेज अ फैक्टर [14:59] अबाउट फंक्शन कॉलिंग ओर टूल कॉलिंग, व्हिच [15:02] बेसिकली सेस हाउ गुड इज़ द मॉडल टू [15:05] इंटरप्रेट व्हेन इट शुड बी कॉलिंग सर्टेन [15:07] फंक्शंस। सो दैट्स समथिंग व्हिच इज कमिंग [15:10] डायरेक्टली फ्रॉम द लार्ज लैंग्वेज मॉडल। [15:11] यू आर नॉट हार्ड कोडिंग दैट इफ द यूजर [15:13] आस्क समथिंग देन यू शुड कॉल दिस एपीआई। [15:15] इट्स समथिंग दैट इंटूटिवली द मॉडल इज़ एबल [15:18] टू डू। सो दैट्स आल्सो अ कोर कॉम्पोनेंट [15:20] ऑफ एन एजेंटिक एआई सिस्टम। देन वी हैव [15:23] लर्निंग एंड कम्युनिकेशन व्हिच इज़ [15:25] डेफिनेटली हाउ अ एजेंट वुड इंप्रूव ओवर [15:27] टाइम। एंड कम्युनिकेशन इस हाउ एजेंट्स विल [15:30] इंटरक्ट विथ ईच अदर। हाउ दे शेयर दैट [15:32] इनफार्मेशन। सो इन आवर प्रीवियस सेशन [15:34] समबडी वास् आस्किंग दैट हे लाइक इफ देयर [15:37] इज़ अ इफ देयर इज़ एन इशू और इफ देयर इज़ अ [15:39] एरर दैट हैप्पेंस इन योर एजेंटिक एआई वर्क [15:42] फ्लो हाउ डू यू रियली रिसॉल्व दैट? वन ऑफ [15:45] द पार्ट इज़ कम्युनिकेशन बिकॉज़ इफ यू आर [15:48] नॉट एबल टू लॉग हाउ मॉडल्स आर [15:50] कम्यूनिकेटिंग विथ ईच अदर, हाउ मॉडल्स आर [15:53] शेयरिंग रिस्पॉन्सेस, शेयरिंग द पेलोड [15:55] अक्रॉस मल्टीपल एपीआई एंड अक्रॉस मल्टीपल [15:58] टूल्स, यू विल नेवर बी एबल टू डीबग व्हाट [16:00] रियली हपेन और व्हाट वेंट रोंग? एंड दैट्स [16:03] वेयर वन ऑफ द बेस्ट प्रोटोकॉल्स व्हिच हेव [16:05] कम आउट रिसेंटली फ्रॉम एंथ्रोपिक एस वेल [16:06] एस Google व्हिच इज एमसीपी एंड ए टू ए [16:09] हेल्प्स यू देर बिकॉज़ इट डिफाइनस अ [16:11] प्रोटोकॉल ऑन हाउ यू शुड बी एबल टू एक्सेस [16:14] सर्टेन टूल्स। हाउ डैट शुड बी [16:16] स्टैंडर्डाइज्ड एंड एजेंट टू एजेंट एसडीके [16:19] इज़ बेसिकली समथिंग हेल्प्स यू [16:21] स्टैंडर्डाइज़ हाउ योर मॉडल्स शुड [16:23] कम्यूनिकेट विथ ईच अदर एंड योर एजेंट्स [16:24] शुड कम्यूनिकेट विथ ईच अदर। सो दैट्स अनदर [16:27] कोर कॉम्पोनेंट ऑफ अ मल्टी एजेंट सिस्टम। [16:31] नाउ अह वी हाव गॉटन इंटू सम पार्ट्स ऑफ इट [16:34] बट आई वांट टू ले इट आउट ऑन व्हेन यू आर [16:36] डिजाइनिंग अ मल्टी एजेंट सिस्टम व्हाट आर [16:39] द कोर कॉम्पोनेंट्स ड्यात यू शुड हेव इन [16:41] दैट। अगेन आय हाव ट्राइड टू क्रिएट दिस ऑन [16:44] एक्सकली ड्रॉ एज़ मच एज़ आय कुड सो आई होप [16:47] दिस इस विज़िबल ऑर आई एम हैप्पी टू लाइक [16:48] शेयर द प्रेजेंटेशन विद विथ यू फोक्स। सो [16:51] यू आर एबल टू लाइक रीड इट बेटर। सो द [16:54] पार्ट अबाउट मल्टी एजेंट वर्क फ्लोस [16:57] इज समथिंग दैट वी गो बैक टू आवर [16:59] प्रोग्रामिंग बेसिक्स। एनी एप्लीकेशन दैट [17:02] वी आर बिल्डिंग वेदर इट बी एआई एजेंट ओर [17:05] नॉट। इट नीड्स टू बी मोडलराइज्ड। दैट्स [17:08] व्हेन यू कैन रिप्रोडूस दी एरोस। दैट्स [17:10] व्हेन यू कैन ट्रैक द इशूज़। इवन दो द मॉडल [17:12] इटसेल्फ माइट हैव ब्लैक बॉक्स केपेबिलिटीज़ [17:15] और हैव दोज़ अट्रिब्यूट्स। बट यू कैन स्टिल [17:17] डिबग व्हाट्स गोइंग ऑन इन द सिस्टम एंड यू [17:19] कैन बिल्ड फॉलबैक ऑप्शंस फॉर दैट। सो [17:22] दैट्स वेयर इट्स इंपोर्टेंट टू बिल्ड ऑल [17:24] ऑफ दी प्लानर एजेंट्स और रिट्रीवर एजेंट्स [17:27] ओर एक्सजीकटर एजेंट्स इन अ वैरी मॉड्यूलर [17:29] फैशन एंड कीपिंग स्केलेबिलिटी इन माइंड। [17:32] सो यू आर एबल टू फिगर आउट दैट इफ दिस गोज [17:34] रॉन्ग। व्हाट इज योर फॉल बैक ऑप्शन? हाउ [17:37] डू यू रोल बैक टू अ प्रीवियस वर्जन ऑफ़ द [17:39] मॉडल ओर प्रीवियस वर्शन ऑफ़ द एप्लीकेशन [17:41] दैट लेट्स यू स्टिल रन योर एप्लीकेशन फॉर [17:44] युवर कस्टमर्स। [17:48] नाउ वी हैव ऑब्वियसली सीन अ लॉट ऑफ [17:51] वर्टिकल एजेंट्स कमिंग अप इन अ लॉट ऑफ [17:53] डिफरेंट डोमेनस एंड द रीज़न आई विल टेल यू [17:56] व्हाई वर्टिकल एजेंट्स आर समथिंग व्हिच आर [17:59] बीइंग प्रीडमिनेंटली यूज्ड इज़ बिकॉज़ वी आर [18:01] स्टिल नॉट देयर येट फ्रॉम अ जनरल पर्पस [18:04] मॉडल पर्सपेक्टिव। वी आर स्टिल यूज़िंग अ [18:07] लॉट ऑफ़ द मॉडल्स व्हिच आर डिस्टिल्ड, [18:09] व्हिच आर फ़ाइन ट्यून एंड कस्टमाइज्ड फॉर [18:11] स्पेसिफिक यूज़ केसेस। एंड दैटस वेयर द [18:14] आरओआई इज रियलाइज्ड द फास्टेस्ट। एंड [18:17] दैट्स वेयर कंपनीज़ हु आर ट्राइंग टू [18:19] अडोप्ट ए आई एजेंट्स इन देयर वर्क फ्लोस। [18:22] आर सीइंग दैट हे इफ वी आर एंड अप [18:24] सल्लल्विंग वैरी स्मॉल प्रॉब्लम्स ओर [18:26] ऑटोमेट सर्टेन वर्क फ्लोस, देन वी आर एबल [18:29] टू सी अ फास्टर आर ओआई रादर देन ट्राइंग [18:31] टू चेंज द एंटायर आर्गनाइजेशन टू यूज़ एआई। [18:34] एंड दैट्स व्हेयर वी आर सीइंग मोर एंड मोर [18:36] वर्टिकल एआई एजेंट्स कम इन पिक्चर। दिस [18:39] माइट चेंज अगेन लाइक फाइव इयर्स लेटर मे [18:41] बी वी हेव जनरल पर्पस एआई एजेंट्स रनिंग [18:44] फॉर मल्टीपल डिफरेंट टास्क इवन इन लार्जर [18:46] आर्गेनाइजेशन बट सो फार राइट नाउ वी आर [18:48] सीइंग मोर ऑफ़ वर्टिकल एआई एजेंट्स व्हेयर [18:51] इट्स ईजी टू हैव डट ह्यूमन इन द लूप इट्स [18:53] इजी फॉर यू टू बिल्ड ट्यूनिंग अह [18:55] पाइपलाइंस टू हेव अ रियली गुड मॉडल आउटपुट [18:59] ओर लाइक सॉल्व युवर यूज़ केस विथाउट [19:01] हेलुसिनेशन्स ओर विथाउट द स्टैंडर्ड बॉटल [19:04] नेक्स डैट यू गेट व्हेन यू यूजिंग अ लार्ज [19:06] लैंग्वेज मॉडल एंड हैविंग अ नॉन [19:08] डिटरमिनिस्टिक नेचर ऑफ़ द मॉडल। [19:12] नाउ फनी स्टोरी इज़ दैट एज़ सून एज़ वी [19:15] कंबाइंड सो मेनी एजेंट्स, वी हैव दिस [19:17] मल्टी एजेंट सिस्टम, वी ट्राई टू कंबाइन [19:19] सो मेनी डिफरेंट मॉडल्स। एंड इन आइडियल [19:22] सिचुएशन यू विल, वंस यू स्टार्ट बिल्डिंग [19:24] एआई आईजेंटिक सिस्टम्स, यू विल रियलाइज़ [19:26] दैट यू आर नॉट गो बी यूज़िंग जस्ट वन मॉडल [19:28] एंड पॉइंट, यू आर गो बी कंबाइनिंग डिफरेंट [19:30] मॉडल्स, डिपेंडिंग ऑन व्हाट आर द मॉडल [19:32] केपेबिलिटीज़? डू यू नीड़ ए 5 बिलियन [19:36] पैरामीटर मॉडल? यू नीड अ 600 बिलियन [19:38] पैरामीटर मॉडल? कैन यू डू विथ अ 70 बिलियन [19:41] पैरामीटर मॉडल? व्हाट आर द एक्सीलेंस ऑफ़ [19:44] दोज़ मॉडल्स इन स्पेसिफिक बेंचमार्क्स, एंड [19:46] देन यू कंबाइंड सर्टेन सेक्शंस ऑफ़ योर [19:48] वर्क फ्लो बाय यूज़िंग स्पेसिफिक मॉडल्स। [19:50] बट व्हाट हपेंस देयर इज़, इट बिकम्स [19:52] एक्सट्रीमली हार्ड टू स्केल दीज़ सिस्टम्स। [19:56] बिकॉज़ दीज़ आर रियली रियली लॉन्ग कोड [19:59] बेससेस, व्हिच आर सिटींग इदर इन योर डेव [20:01] एनवायरमेंट। ओर इन वन ऑफ़ योर क्लाउड [20:03] डेटाबेस एंड इट्स वेरी हार्ड टू डिबग ऑर [20:05] स्केल दिस। एंड इफ वंस थिंग्स गो रोंग [20:08] स्पेशली बिकॉज़ ऑफ़ द नॉन डिटरमिनिस्टिक [20:10] नेचर ऑफ़ द लार्ज लैंग्वेज मॉडल्स। योर [20:12] वर्क फ्लोस कैन ब्रेक। सो, वन ऑफ़ द मेजर [20:16] थिंग्स दैट आय रेकमेंड एनीबडी बिल्डिंग [20:18] एआई एजेंट्स। वेदर बी इट्स स्टार्टअप [20:20] फाउंडर्स ओर आर्गेनाइजेशन ट्राइंग टू [20:22] बिल्ड प्रोटोटाइप्स एंड गेट मोर बजट फ्रॉम [20:24] देयर लीडरशिप इज़ थिंक अबाउट स्केलेबिलिटी [20:27] फ्रॉम डे वन। यू शुड हैव दैट इन योर माइंड [20:30] दैट हे लेट्स एक्सपेक्ट दैट वी विल हैव अ [20:32] मिलियन पीपल यूजिंग दिस ओर लेट्स [20:34] एक्सपेक्ट दैट इट्स गोइंग टू बी यू नो 100 [20:36] थाउजेंड टोकंस कमिंग इन एव्री सिंगल मिनट। [20:38] दैट शुड बी द एक्सपेक्टेशन दैट यू गो इन [20:40] विथ एंड दैट्स व्हेन यू विल बिल्ड रियली [20:42] रोबस्ट सिस्टम्स एंड रिलायबल सिस्टम्स इन [20:44] प्लेस। [20:46] नाउ आई विल ट्राइ टू लाइक कवर अह दिस रॉयल [20:49] क्विक बिकॉज़ आई वाज़ अज सिग्नल फॉर 2 [20:50] मिनट्स। सो व्हेन वी आर थिंकिंग अबाउट [20:52] आर्किटेक्चर फॉर द सिस्टम्स इटसेल्फ। [20:56] लेटेंसी इज क्वालिटी इज समथिंग दैट पीपल [20:58] रियली गेट कंफ्यूज्ड बाय। आई एम नॉट सेइंग [21:00] दैट लेटेंसी इक्वेट्स टू द क्वालिटी ऑफ द [21:03] रिस्पांस फ्रॉम द मॉडल। बट लेटेंसी [21:06] डेफिनेटली इक्वेट्स द क्वालिटी ऑफ़ द [21:09] प्रोडक्ट दैट यू आर बिल्डिंग। सो एव्री [21:11] टाइम यू सी अ न्यू मॉडल कम आउट बाय वन ऑफ [21:14] दीज़ मॉडल प्रोवाइडर्स। दे ट्राई टू [21:16] ऑप्टिमाइज़ फॉर लेटेंसी। दे वांट द [21:18] रेस्पॉन्स टू बी फास्टेस्ट। विथ नॉट [21:20] कॉम्प्रोमाइजिंग ऑन द परफॉरमेंस ऑफ़ द [21:22] मॉडल। द क्वालिटी ऑफ़ द रेस्पॉन्स शुड बी द [21:24] सेम, बट लेटेंसी इक्वेट्स क्वालिटी ऑफ़ द [21:27] प्रोडक्ट। ऑन हाउ फ़ास्ट द टूल इज़ एबल टू [21:30] रेस्पोंड टू द यूज़र। देन थ्रूपट एंड [21:32] कॉन्करेंसी इज़ अबाउट हाउ रोबस्ट एंड हाउ [21:34] स्केलेबल दोज़ मॉडल्स आर। हाउ मेनी [21:36] रिक्वेस्ट आर दे एबल टू प्रोसेस एव्री [21:38] सिंगल सेकंड। टेलर्ड इंफ्रास्ट्रक्चर इज़ [21:40] ऑबवियसली व्हेन यू आर वर्किंग विद [21:42] कस्टमर्स ऑल अराउंड द ग्लोब। यू वांट इट [21:44] इन अ स्केलेबल इंफ्रास्ट्रक्चर यू वांट इट [21:46] टू बी अ इन डिफरेंट रीजंस। एंड यू वांटेड [21:50] टू बी इन अ मोर सिक्योर एनवायरनमेंट वेयर [21:52] सर्टेन सेक्शंस कुड बी ऑन फ्रेम सर्टेन [21:54] सेक्शंस कुड बी अ प्राइवेट क्लाउड सर्टेन [21:56] सेक्शंस कुड बी अ पब्लिक क्लाउड एट्सेट्रा [21:59] ओके। सो द वे आई लाइक टू ब्रेक डाउन द [22:02] प्रोसेस ऑफ़ बिल्डिंग एनी एजेंटिक एआई [22:04] सिस्टम इज़ स्टार्ट अबाउट थिंकिंग दैट यू [22:06] हैव टू स्टार्ट बिल्डिंग इट। सो दैट्स योर [22:08] डेव एनवायरमेंट। यू नीड टू स्टार्ट [22:09] कस्टमाइजिंग योर मॉडल्स ओर योर सिस्टम फॉर [22:11] योर प्रोपराइटरी डेटा ओर द इंडस्ट्री यूज [22:15] केस दैट यू ट्राइंग टू सोल्व फॉर। [22:17] कंपोजेसिबिलिटी पार्ट इज़ हाउ यू कनेक्ट इट [22:19] विद मल्टीलिटी? हाउ डू यू कनेक्ट इट विथ [22:21] डिफरेंट डेटाबेस, एपीआई, एक्सेट्रा। हाउ [22:23] डू यू एक्सपेंड बियोंडन्ड जस्ट द मॉडल एंड [22:25] द कॉनंटेक्स दैट द मॉडल हैज़ एंड फाइनली [22:28] स्केलिंग इट। स्केलिंग इट आउट एंड [22:30] बिल्डिंग इट इन अ मोर सिक्योर एंड रिलायबल [22:32] मैनर। सो, आई विल ट्राई टू लाइक स्किम [22:35] थ्रू दिस बिकॉज़ आई हैव बीन सिग्नल्ड फॉर [22:37] टाइम। [22:39] एंड आई विल गो टू द फाइनल पार्ट व्हिच आई [22:41] फील इज़ रियली इम्पोर्टेन्ट। [22:45] सो दिस इज समथिंग व्हिच अह वी रिसेंटली अ [22:48] हैव ऑन Fireworks एआई। Fireworks इज़ अ [22:51] लार्ज लैंग्वेज मॉडल प्रोवाइडर। वी आर [22:53] होस्टिंग इन्फेरेंस फॉर मॉडल्स [22:55] इंक्लूडिंग। सो अह वी हैव वी हैव बीन [22:58] होस्टिंग एनी ऑफ़ द ओपन सोर्स मॉडल्स व्हिच [23:00] आर कमिंग आउट ऑन डे वन, इंक्लूडिंग आर वन, [23:02] अह डीप सीक आर वन, इंक्लूडिंग बी थ्री, द [23:05] अह लेटेस्ट ओपन एआई मॉडल्स एज़ वेल। एंड वी [23:08] आर नोन टू बी द फास्टेस्ट प्रोवाइडर एंड द [23:10] मोस्ट एफिशिएंट प्रोवाइडर आउट देयर। एंड [23:13] आर टीम इज कमिंग फ्रॉम एक्स Google एंड [23:16] एक्सM मेटा। आई एम आई वाज पार्ट ऑफ द [23:18] Google टीम। अह द लीडरशिप इज़ कमिंग फ्रॉम [23:20] एक्सMa दे वर द क्रिएटर्स ऑफ़ Pटार्च एंड [23:23] दैट्स बेसिकली आर मोड व्हिच इज़ लाइक हाउ [23:25] डु वी मेक द मॉडल्स रन द फास्टेस्ट एंड द [23:27] मोस्ट एफ्फिस। [23:30] सो, वन लास्ट थिंग आई वुड से इज़ आई ऍम [23:32] गोना बी डूइंग अ वेबिनार दिस इवनिंग। इट [23:35] इज़ गोइंग टू बी अ डीप डाइव इंटू द जीपीटी [23:38] ओएसएस मॉडल फ्रॉम ओपन एआई। सो, इफ यू आर [23:40] अवेलेबल एंड वांट टू जॉइन इट्स गो बी अ 30 [23:43] मिनट्स वेबिनार यू कैन जॉइन दैट। [23:45] एंड इफ यू वांट टू जस्ट टेस्ट आउट सम ऑफ़ द [23:48] मॉडल्स एंड सी लाइक हाउ द मॉडल्स परफॉर्म [23:50] कंपेयर टू ओपन सोर्स मॉडल्स वर्सेस लाइक [23:53] प्रोपराइटरी मॉडल्स एंड जस्ट हाव युवर ओन [23:55] अ हैंड्स ऑन एक्सपीरियंस विथ दिस मॉडल्स। [23:58] यू कैन स्टार्ट बिल्डिंग आउट। दिस विल गिव [24:00] यू अ $50 क्रेडिट। सो फिल आउट द फॉर्म एंड [24:02] आई विल ऐड सम क्रेडिट्स टू योर अकाउंट, सो [24:05] यू कैन गो प्ले विथ इट। एंड वन लास्ट थिंग [24:08] इफ यु मिस्ड एनीथिंग इफ द फ्लिकरिंग [24:11] स्क्रीन वास एन इशू फॉर यू एंड यू वांट टू [24:13] गो बैक टू सम ऑफ दी ओल्ड स्लाइडस आस्क मी [24:15] क्वेश्चन फील फ्री टू कनेक्ट विथ मी ऑन [24:17] Lindin आय एम हैप्पी टू आंसर एनी ऑफ़ युवर [24:19] क्वेश्चन्स इफ यू वांट टू टेस्ट आउट द [24:21] फायर्स से आई प्रोडक्ट इफ यू वांट टू यूज़ [24:23] दी ओपन सोर्स मॉडल्स हिट मी अप आई एम [24:24] हैप्पी टू हैव ऐड क्रेडिट फॉर यू | दैट्स [24:27] प्रीटी मच इट एंड वन लास्ट थिंग इज़ या [24:30] डेफिनेटली कीप स्केलेबिलिटी इन माइंड लाइक [24:32] एव्री टाइम यू आर बिल्डिंग एनी एजेंटिक [24:34] एआई सिस्टम स्केलेबिलिटी इज़ नॉट एन आफ्टर [24:36] थॉट थॉट बिकॉज़ दैट्स व्हाट आई हैव सीन विद [24:39] सो मेनी काउंटलेस स्टार्टअप्स। आय कांट [24:41] टेल यू व्हाइल आई वाज़ एट Microsoft इट वाज़ [24:43] दे वर यूजिंग ओपन एआई एपीआई फ्रॉम अ वेरी [24:47] रूडीमेंट्री वे इन देयर एमवीपीस एंड सडनली [24:50] दे वर लाइक ओह आर प्रोडक्ट इज़ नाउ [24:52] इंटरेस्टिंग। देयर आर अ लॉट ऑफ यूज़र्स। [24:54] नाउ वी आर गोइंग फ्रॉम लाइक हंड्रेड्स ऑफ [24:56] यूज़र्स टू थाउजेंड्स ऑफ यूज़र्स एंड वेर [24:57] अनेबल टू स्केल। दैट्स व्हेन दे यर [24:59] थिंकिंग अबाउट मूविंग टू क्लाउड सलूशंस। [25:01] सो एव्री टाइम यू बिल्डिंग इवन एट अ [25:04] एंटरप्राइज ओर एज अ सोलंर ओर एन [25:07] एंटरप्रेन्योर मेक श्योर डट यू थिंकिंग [25:09] अबाउट स्केलेबिलिटी फ्रॉम डे वन एंड डेट [25:12] विल बी इट। इफ यू हव एनी क्वेश्चन फील [25:14] फ्री टू रीच आउट टू