基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持 向量数据库是专门用于存储和检索向量数据的数据库，它可以为 (图源：https://medium.com/mlearning-ai/what-is-a-fine-tuned-llm-67bf0b5df081) 10 / 32 LLM 基础设施：大模型训练平台与工具 大模型训练平台和工具提供了强大且灵活的基础设施，使得开发和训练复杂的语言模型变得可行且高 效。 这些工具提供了先进的算法、预训练模型和优化技术，极大地简化了模型开发过程，加速了实验周期， 并使得模型

与 生 成 ： 基于 DeepSeek R1的中文数据处理能力，快速分 析法律文本，提取关键信息，自动生成合同草 案、法律意见书等，提高律师工作效率。 • 智能医疗数据分析与诊断：构建智能医疗 平台，分析病历、检查报告和基因数据，帮助 医生提供更准确的诊断与治疗方案。 • 金融风险预测与管理：开发金融风险分析 工具，收集并分析市场数据，预测风险并为金 融机构提供管理建议。 • 智能文学创作辅助：为作家提供创作灵感 受众自动生成创意广告文案和宣传语，提高广 告创作效率。 • 中小企业AI定制化服务：为中小企业提 供定制化的AI解决方案，如智能客服、营销 和办公工具，提升企业竞争力。 • 开源AI教育平台：借助DeepSeek R1 的低成本特性，创建开源AI教育平台，提供 免费课程和实验资源，促进AI教育普及。 • 智能编程教育助手：为编程学生提供实 时编程指导，自动生成代码示例，帮助解决 编程难题。 • 自动化代码审查工具：自动审查代码， 数据报告自动化生成：基于o3mini自动 生成格式化的数据报告，包括图表、表格和文 字说明，帮助管理者快速理解分析结果。 • 数据接口标准化：根据标准格式输出数据， 利用o3mini方便不同系统和平台之间的数据 共享，提升跨机构协作效率。 • 情感分析与数据解读：利用o3mini结合 情感分析，对数据进行深入解读，帮助市场调 研等领域理解消费者情感，优化产品和策略。 • 故事化数据呈现：借助o3mini将数据以

《DeepSeek给我们带来的创业机会》 360集团创始人 周鸿祎 3 政企、创业者必读政企、创业者必读 一张图读懂一堂DeepSeek课政企、创业者必读 AI给了一个比互联网更大的机会  互联网是连接平台，人工智能是生产力  互联网是赋能性技术，生产力属性较弱  人工智能既能单兵作战，也能外部赋能 互联网创造了能写140个字的推特和分享照片的Instagram AI能帮助人解决登陆火星、能源自由的问题 传统软件是辅助人的工具，Agent是能够自主工作的数字员工，是新的生产力政企、创业者必读 22 DeepSeek出现之前的十大预判 之九 开源效果追赶上闭源  技术开放，吸引广大开发人员和用户使用  很多公司参与开源，帮助改进产品，众人拾柴火焰高， 反哺开源产品，形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 之十 中美差距快速缩小  美国预训练堆算力的路线不可持续，有待发现新范式“换道超车” 认知决定行动，这场全民AI科普对推动中国AI发展功不可没政企、创业者必读 开源改变行业格局，建立强大生态  开源战胜闭源，促使全球公司、开发者等转到开源  建立强大生态，成为全球人工智能根技术，无推广情况下各国 政府、企业、云厂商纷纷接入，获得全球最大影响力  改变中美竞争格局：美国是闭源封闭垄断思路，中国领导开源 文化，加速中国领先地位  中国人民使用的AI工具先进性已超过美国，普及率超过美国，

，能够处理复杂的任 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 工具，注意不是穷举， 那些不经常用的工具，不浪费文字和耽误时间。 梳理总结六大类 AI 工具，分别包括：问答，图像，视频，AI 编程，AI 提 示词和 AI 大模型，一共梳理挑选共计 38 个 AI 工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Transformer） IOPaint 开源：一个用于图像处理的开源工具，可以对图像中的特定物体进行擦除。 2.2.2 无损放大 Upscayl 开源：一个开源软件，专门用于图像的无损放大，通过 AI 增强图像质量。 2.2.3 背景消除 remove.bg 开源：一个流行的开源工具，用于自动从图片中去除背景。 2.2.4 SD (Stable Diffusion) 开源：由 StabilityAI 开发的开源 AI 模型，用于生成高质量的图像。

CAFFE 前端 2019·11·16绝赞招聘中 TVM 在平头哥 • 工具链产品 平头哥芯片平台发布的配套软件中， TVM 是工具链产品的重要组成部分： 负责将预训练好的 caffe 或者 tensorflow 的模型，转换到 LLVM IR，最后生成可以在无剑 SoC 平台上 执行的二进制。绝赞招聘中 为何添加 caffe 前端？ 客户需求 评估阶段：客户用于评估芯片的网络，caffe 评估阶段：客户用于评估芯片的网络，caffe 模型占很大比重。 竞品已支持 caffe 前端 当前各大芯片厂商的部署工具大多数都支持，支持 caffe 前端有利于提高竞争力。 开源社区 存量的开源 caffe 网络模型众多，TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。绝赞招聘中 当前进度 无 caffe 依赖 from_caffe 直接导入 caffe 模型文件，不需要预先安装 caffe roipooling / permute / priorbox绝赞招聘中 未来 命令行工具 将 caffe 模型转换的功能，通过一组命令行工具提供，命令行工具支持 windows / linux 平台。 支持更多 caffe op / net 随着客户需求和社区发展，提供更多的 caffe 分支变种的 op / net 支持。绝赞招聘中 THANKS

Deepseek能够做什么？ • 如何使用Deepseek？ DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本 创造融合点：设计概念间的创新性连接点 5. 构建融合提示：创建引导AI进行概念嫁接的提示语 应用示例 任务：尝试将“社交媒体”和“传统图书馆”这两个概念进行嫁接，以设计一 个创新的知识共享平台。 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 性 5. 转移策略设计：制定知识从源域到目标域的转移策略 6. 构建转移提示：创建引导AI进行知识转移的提示语 应用示例 假设如果想要改善在线教育平台的学生参与度，可以尝试从游戏设计领域转移 知识。 （1）问题定义：提高在线教育平台的学生参与度和学习动力 （2）源域：游戏设计 关键知识：游戏化机制、玩家心理学、关卡设计、即时 反馈系统 （3）知识提取与抽象： • 进度可视化 •

Deepseek能够做什么？ • 如何使用Deepseek？ DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本 创造融合点：设计概念间的创新性连接点 5. 构建融合提示：创建引导AI进行概念嫁接的提示语 应用示例 任务：尝试将“社交媒体”和“传统图书馆”这两个概念进行嫁接，以设计一 个创新的知识共享平台。 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 性 5. 转移策略设计：制定知识从源域到目标域的转移策略 6. 构建转移提示：创建引导AI进行知识转移的提示语 应用示例 假设如果想要改善在线教育平台的学生参与度，可以尝试从游戏设计领域转移 知识。 （1）问题定义：提高在线教育平台的学生参与度和学习动力 （2）源域：游戏设计 关键知识：游戏化机制、玩家心理学、关卡设计、即时 反馈系统 （3）知识提取与抽象： • 进度可视化 •

组织的管理要求，人工智能管理体系、分类方法、评级流程等标 准。 5. 可持续标准。规范人工智能影响环境的技术框架、方法 和指标，平衡产业发展与环境保护，包括促进生态可持续的人工 智能软件开源基础框架，人工智能系统能效评价，人工智能与资 7 源利用、碳排放、废弃部件处置等标准。 （二）基础支撑标准 基础支撑标准主要包括基础数据服务、智能芯片、智能传感 器、计算设备、算力中心、系统软件、开发框架、软硬件协同等 算能力评估、技术要求、稳定性要求和业务服务接口等标准。 6. 系统软件标准。规范人工智能系统层的软硬件技术要求， 包括软硬件编译器架构和优化方法、人工智能算子库、芯片软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7. 开发框架标准。规范人工智能开发框架相关的技术要求， 包括开发框架的功能要求，与应用系统之间的接口协议、神经网 络模型表达和压缩等标准。 8. 软硬件协同标准。规范智能芯片、计算设备等硬件与系 人基础能力评估、 多媒体合成渲染、基础数据采集方法、标识和识别方法等标准。 5. 智能服务标准。规范基于大模型、自然语言处理、智能 语音、计算机视觉等人工智能技术提供的服务，包括模型即服务 平台技术要求和评测方法等标准，以及面向特定场景的人工智能 应用服务，如智能软件开发、智能设计、智能防伪等标准。 （五）赋能新型工业化标准 赋能新型工业化标准主要包括研发设计、中试验证、生产制 造

善用DeepSeek的两大关键：提出问题 鉴别答案 DeepSeek是什么? • DeepSeek是一家专注通用人工智能(AGI)的中国科技公司，主攻大模型研发与应用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力 (Pass@1) (Pass@1) 国产 十 免费 十 开源 十 强大 Accuracy/Percent le (%) AI https://chat.deepseek.com Z u N e P 6 7 K w S v 优先级排序（幼儿园事务＞会议准备＞生活采购） 生成最优动线：地图标注幼儿园/干洗店/超市与公司的位置关系 即时服务对接： ✓ 调用社区跑腿API下单手工材料配送 ✓ 接入干洗店智能柜系统预约取件码 ✓ 生鲜平台比价后自动补货牛奶 ③ 会议准备： 自动提取上周销售数据生成可视化图表框架 调取历史报告模板进行语义重组 ④ 风险预警： 灶台计时器同步手机震动提醒 通勤路况实时监控（若堵车超15分钟触发备用方案）

本地大模型依 然可以正常工作，不受外部因素影响。 本教程搭建 DeepSeek 好处 本地搭建 DeepSeek 三个比较实际的好处： • 本教程接入的是 DeepSeek 推理模型 R1，开源免费，性能强劲 • 本教程搭建方法 零成本，不需花一分钱。 • 为了照顾到大部分读者，推荐的搭建方法已将电脑配置要求降 到最低，普通电脑也能飞速运行。 1.2 DeepSeek 本地部署三个步骤 llama，下载这个 软件，然后装上，可以拿着手机扫码下图1直达我的公众号： 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 图 1: 我的公众号：郭震 AI 安装后，打开命令窗口，输入 ollama，然后就能看到它的相关指令，一共 10 到我们自己的电脑，如下图3所示： 图 3: DeepSeek-r1 下载到本地电脑命令 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 至此在我们本地电脑，DeepSeek 大模型就下载到我们本地电脑，接下来第 三步就可以直接使用和它对话了。在 cmd(Windows