生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 LLM 更全面地处理各种 信息，支持更广泛的应用领域。 图源：https://postgresml.org/docs/.gitbook/assets/ml_system.svg 4 / 32 LLM 基础设施 01 03 02 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。通过数据向量化，实现了 在向量数据库中进行高效的相似性计算和查询。 根据向量数据库的的实现方式,可以将向量数据库大致分为两类： 原生的向量数据库专门为存储和检索向量而设计，

能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 和移动端。  多任务支持：支持多种任务， 如文本生成、分类和问答。 Kimi k1.5 5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话

2.3.2 Runway 闭源：一个闭源的创意工具，支持通过 AI 进行视频编辑和生成。 2.3.3 Pika 闭源的图像编辑工具，专注于简化图像处理流程。 2.3.4 腾讯智影 腾讯推出的 AI 视频编辑工具，支持视频内容的智能编辑和增强。 2.3.5 度加创作工具 度加创作工具是百度开发的一站式 AI 内容生成平台，支持视频制作、文案生成 和数字人模型等功能。 2.3.6 Spike Spike Studio 智能长剪短：一个专为商业视频制作设计的工具，可以将长视频智能剪辑为短 视频。 2.3.7 HeyGen 动画视频：用于生成动画视频的 AI 工具，支持多种动画风格。 2.3.8 LTX Studio 真人转油画：能将真人视频转换成油画风格的 AI 工具。 2.3.9 EBSynth 开源：一个开源的视频处理工具，用于将艺术风格应用到视频帧中。 2.4 AI 编程工具 语句的工具，旨在简化数据库操作。 2.4.4 ChatDev 面壁智能开发的 AI 智能体开发平台，支持创建和部署智能对话系统。 2.4.5 solo Mozilla 开源项目，提供零代码网站开发功能，易于使用。 2.4.6 Cursor 开源的 AI 代码编辑器，旨在通过 AI 技术助力快速软件开发。 2.4.7 Tabby 自托管的 AI 编程助手，开源，支持开发人员优化编码过程。

用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 ②与第三方合作（按需付费，灵活性高） 请根据ROI计算模型，对比5年内的总成本并推荐最优 解。" �实战技巧： "以下是某论文结论：'神经网络模型A优于传统方法B'。 请验证： ① 实验数据是否支持该结论； ② 检查对照组设置是否存在偏差； ③ 重新计算p值并判断显著性。" �实战技巧： 分析需求 "分析近三年新能源汽车销量数据（附CSV），说明： ① 增长趋势与政策关联性； ▪ 提供示例：如果可能，给出期望输出的简短示例。 常见陷阱与应对：新手必知的提示语设计误区 假设偏见陷阱：当AI只告诉你想听的 陷阱症状： ▪ 提示语中包含明显立场或倾向 ▪ 获得的信息总是支持特定观点 ▪ 缺乏对立或不同观点的呈现 应对策略： ▪ 自我审视：在设计提示语时，反思自己可能存在的偏见。 ▪ 使用中立语言：避免在提示语中包含偏见或预设立场。 ▪ 要求多角度分析：明确要求AI提供不同的观点或论据。

用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 ②与第三方合作（按需付费，灵活性高） 请根据ROI计算模型，对比5年内的总成本并推荐最优 解。" �实战技巧： "以下是某论文结论：'神经网络模型A优于传统方法B'。 请验证： ① 实验数据是否支持该结论； ② 检查对照组设置是否存在偏差； ③ 重新计算p值并判断显著性。" �实战技巧： 分析需求 "分析近三年新能源汽车销量数据（附CSV），说明： ① 增长趋势与政策关联性； ▪ 提供示例：如果可能，给出期望输出的简短示例。 常见陷阱与应对：新手必知的提示语设计误区 假设偏见陷阱：当AI只告诉你想听的 陷阱症状： ▪ 提示语中包含明显立场或倾向 ▪ 获得的信息总是支持特定观点 ▪ 缺乏对立或不同观点的呈现 应对策略： ▪ 自我审视：在设计提示语时，反思自己可能存在的偏见。 ▪ 使用中立语言：避免在提示语中包含偏见或预设立场。 ▪ 要求多角度分析：明确要求AI提供不同的观点或论据。

智能体应用案例：定义角色、分解流程 社区医生手工填写患者病历 并传真到斯坦福预约中心 传统人工预约流程 AI辅助预约流程 传真识别智能体 接到传真，人工查看病历 利用多模态大模型，识别传真病历， 并自动录入数据库 数字人打电话给患者，预约就诊时间 大模型查询保险知识库，自动生成理赔申请， 提交保险公司 就诊预约智能体 保险报告生成智能体 人工打电话给患者，预约就诊时间 病人到医院就诊 人工填写理赔申请，提交保险公司 会写提示词与大模型进行对话，掌握一定的提示词能力（纳米AI） 基础级 69政企、创业者必读 拥抱DeepSeek 直接使用“纳米AI”个人版  搭载DeepSeek-R1联网满血版模型，且服务非常稳定  支持语音搜、拍照问，直接生成答案，支持文生图、图 生视频，用户体验超过官方版DeepSeek  实现“实时搜索+复杂推理”的完全融合  集成国内16家大模型厂商50多款模型，用户可自由选 择模型，并可多模型协作

y 8 U I q e T 9 M 6 Deepseek的能力图谱 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场 景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 决策支持 文体转换 个性化推荐 翻译与转换 多语言翻译 异常检测 多源信息融合 知识与推理 知识图谱构建 强制格式：要求AI输出带编号小标题、分点、表格的内容，直接粘贴后即显“专业感”。 第三阶段：20分钟——用AI补全软性内容（目标：1000字） 填充“虚但必需”的部分： p 政策背书： “生成5条2023年国家层面支持智能物流园区的政策原文（带发文号），并解读对本案的指导意义。” p 风险评估： “列出智能物流园区常见的3大技术风险（如AGV系统宕机），每项配100字应对方案。” p 效益测算： “用公式 操作：输入：“如果领导说‘项目缺了你不行，能不能缩短假期？’如何回应？” p AI建议回应： • 共情+底线+替代方案： “我完全理解项目的重要性，但家人目前手术风险高，必须陪护到周四。我已培训小刘处理核心问题，并随时在 线支持（附排班表）。回来后我申请周末加班补进度。 场景4：项目中急需请假 如何开口 最终行动建议： • 快速评估优先级：家庭紧急事件（如生命健康）永远高于工作，无需愧疚。 • 用AI生成沟通模板：确保信息清晰、理性、有解决方案。

为何添加 caffe 前端？ 客户需求 评估阶段：客户用于评估芯片的网络，caffe 模型占很大比重。 竞品已支持 caffe 前端 当前各大芯片厂商的部署工具大多数都支持，支持 caffe 前端有利于提高竞争力。 开源社区 存量的开源 caffe 网络模型众多，TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。绝赞招聘中 当前进度 无 caffe 依赖 from_caffe priorbox绝赞招聘中 未来 命令行工具 将 caffe 模型转换的功能，通过一组命令行工具提供，命令行工具支持 windows / linux 平台。 支持更多 caffe op / net 随着客户需求和社区发展，提供更多的 caffe 分支变种的 op / net 支持。绝赞招聘中 THANKS

理人才的培养，支持培养人工智能安全前沿基础领域顶尖人才，壮大无人驾驶、- 12 - 人工智能安全治理框架 智能医疗、类脑智能、脑机接口等领域安全人才队伍。 5.9 建立健全人工智能安全宣传教育、行业自律、社会监督机制。 面向政府、企业、社会公用事业单位加强人工智能安全规范应用的教育培训。 加强人工智能安全风险及防范应对知识的宣传，全面提高全社会人工智能安全 意识。指导支持网络安全、人工 技术研发机构、服务提供者持续提升安全能力水平；面向公众建立人工智能安 全风险隐患投诉举报受理机制，形成有效的人工智能安全社会监督氛围。 5.10 促进人工智能安全治理国际交流合作。积极与各国就人工智能 开展合作交流，支持在联合国框架下成立国际人工智能治理机构，协调人工智 能发展、安全与治理重大问题。推进 APEC、G20、金砖国家等多边机制下的 人工智能安全治理合作，加强与共建“一带一路”国家、“全球南方”国家合作， 14 - 人工智能安全治理框架 （b）服务提供者应在合同或服务协议中，以使用者易于理解的方式，告 知人工智能产品和服务的适用范围、注意事项、使用禁忌，支持使用者知情选 择、审慎使用。 （c）服务提供者应在告知同意、服务协议等文件中，支持使用者行使人 类监督和控制责任。 （d）服务提供者应让使用者了解人工智能产品的精确度，在人工智能决 策有重大影响时，做好解释说明预案。 （e）服务提

https://build.nvidia.com/d eepseek-ai/deepseek-r1 671B（全量模型） 网页版直接使用，支持API调用，注册送1000点数，免费体验。 微软Azure https://ai.azure.com 671B（全量模型） 需注册微软账户并创建订阅，免费部署，支持参数调节。 亚马逊AWS https://aws.amazon.com/c n/blogs/aws/deepseek-r1- 如何使用DeepSeek生成视频？ 一款全流程智能化创作工具，专注于将创意构思快速转化为高品质的视频成片。实时生成多达50个分镜脚本，并智能搭配分镜图、视频及音乐提示词，确保创意风格与 情感统一。软件支持美学意象风格的短片创作，具备角色一致性技术，离线生成样片，同时实现分镜自动成片功能，全面满足从创意策划到视频制作的高效智能化需求 一款基于人机快生理念的AI视频创作系统，从需求提交到成片仅需10分钟，即可输出75分质量的视频。