《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GP 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。

文章/故事/诗歌写作 营销文案 、广告语生成 社交媒体内容（如推文 、帖子） 剧本或对话设计 l 摘要与改写 长文本摘要（论文 、报告） 文本简化（降低复杂度） 多语言翻译与本地化 l 结构化生成 表格 、列表生成（如日程安排 、 菜谱） 代码注释 、文档撰写 文本生成 文本生成 03 02 01 语义分析 • 语义解析 • 情感分析(评论、反馈) • 意图识别(客服对话、用户查 保持灵活应对：即使领导有情绪，坚持“解决问题”而非“对抗”态度，如：“您看这样 处理是否可行？我可以再调整。” 关键提醒： • 避免：“可能”“尽量”等模糊词汇，直接说“我能做到XX”。 • 证明可靠性：提前整理好交接文档（用AI辅助检查遗漏），主动降低领导风险感知。 • 人性化：适当流露脆弱（如“这次确实很难兼顾”），但强调“不愿让团队受影响”。 • 通过DeepSeek的理性分析和话 设定界限，明确尊重的重要性 • 示例：温和但坚定地说，“我理解您的用心，但我 希望我们能互相尊重。” 对话技巧 1.使用“我”语句：如“我感到担心…”，避免指责对方。 2.避免争论：专注于解决问题，而不是证明谁对谁错。 3.寻找共同目标：强调双方都希望孩子快乐和家庭和谐。 4.提前沟通：在情绪平静时，和婆婆提前讨论教育方式和家务 分配。 场景3：维持和领导的良好社交关系 背景：你是一名职场新人，

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由

产力的良好指标。相反， 行业已经开始关注“工程效能”：我们不应该衡量生产力，而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的活动，而应该关注系统中的浪费来源以及可以从经验上证明导致开发人员对“生产力” 感知产生影响的条件。新的工具，比如 DX DevEx 360，通过关注开发者体验而不是一些虚假的产出衡量标准解 决了这个问题。然而，许多领导人仍然以模糊的、定性的方式衡 OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由