- vector-database/） 7 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后，微调是 GPU 或 TPU 等硬件。这类工具可以显著提高训练和推理的速度， 使得处理大规模数据集和复杂模型变得可行。NVIDIA CUDA 和 Google Cloud TPU 均是此类工具。 这类工具通常由开源社区支持和维护，提供了灵活、可扩展的工具和 库来构建和训练大型机器学习模型，如 TensorFlow 和 PyTorch 和 Hugging Face Transformers 等。 TensorFlow 大模型应用现状：知名大模型 在全球范围内，已经发布了多款知名大模型，这些大模 型在各个领域都取得了突破性的进展。 处理文本数据的 GPT-4，能同时处理和理解多种类型数 据的多模态模型 DALL-E 3，以及开源大模型的代表 Lllama 2 都在短时间内获得了大量关注和用户，构成了 大模型领域的「第一梯队」。 讯飞星火 17 / 32 大模型应用现状：首批备案上线的中国大模型 8 月 31 日，百度、字节、商汤、中科院旗下

，能够处理复杂的任 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 工具，注意不是穷举， 那些不经常用的工具，不浪费文字和耽误时间。 梳理总结六大类 AI 工具，分别包括：问答，图像，视频，AI 编程，AI 提 示词和 AI 大模型，一共梳理挑选共计 38 个 AI 工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Transformer） IOPaint 开源：一个用于图像处理的开源工具，可以对图像中的特定物体进行擦除。 2.2.2 无损放大 Upscayl 开源：一个开源软件，专门用于图像的无损放大，通过 AI 增强图像质量。 2.2.3 背景消除 remove.bg 开源：一个流行的开源工具，用于自动从图片中去除背景。 2.2.4 SD (Stable Diffusion) 开源：由 StabilityAI 开发的开源 AI 模型，用于生成高质量的图像。

通过目标拆解，多次调用大模型以及专家模型协同，形成 慢思考能力 传统软件是辅助人的工具，Agent是能够自主工作的数字员工，是新的生产力政企、创业者必读 22 DeepSeek出现之前的十大预判 之九 开源效果追赶上闭源  技术开放，吸引广大开发人员和用户使用  很多公司参与开源，帮助改进产品，众人拾柴火焰高， 反哺开源产品，形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 DeepSeek出现之前的十大预判 之十 中美差距快速缩小  美国预训练堆算力的路线不可持续，有待发现新范式“换道超车”  软件和算法差距并不大，主要差距在工程、硬件等方面 23政企、创业者必读 DeepSeek的出现验证了我们的预判 而DeepSeek的创新更具颠覆性 24政企、创业者必读 DeepSeek是完美的颠覆式创新  技术创新——让过去做不到的事情可以做到  体验创新——让使用起来很难很复杂的东西变得很简单易用 认知决定行动，这场全民AI科普对推动中国AI发展功不可没政企、创业者必读 开源改变行业格局，建立强大生态  开源战胜闭源，促使全球公司、开发者等转到开源  建立强大生态，成为全球人工智能根技术，无推广情况下各国 政府、企业、云厂商纷纷接入，获得全球最大影响力  改变中美竞争格局：美国是闭源封闭垄断思路，中国领导开源 文化，加速中国领先地位  中国人民使用的AI工具先进性已超过美国，普及率超过美国，

受众自动生成创意广告文案和宣传语，提高广 告创作效率。 • 中小企业AI定制化服务：为中小企业提 供定制化的AI解决方案，如智能客服、营销 和办公工具，提升企业竞争力。 • 开源AI教育平台：借助DeepSeek R1 的低成本特性，创建开源AI教育平台，提供 免费课程和实验资源，促进AI教育普及。 • 智能编程教育助手：为编程学生提供实 时编程指导，自动生成代码示例，帮助解决 编程难题。 • 自动化代码审查工具：自动审查代码， DeepSeek+DeepResearch 基本知识介绍 DeepSeek：颠覆出圈，霸榜热议 2 0 2 3 年 7 月 D e e p S e e k 成 立 2 0 2 3 年 1 1 月 2 日 首个开源代码大模型 DeepSeek Coder发布 2 0 2 3 年 1 1 月 2 9 日 推出670亿参数的通用大模型 D e e p S e e k L L M ， 包 括 7 B 和67B的base及chat版本 和67B的base及chat版本 发 布 新 一 代 推 理 模 型 D e e p S e e k - R 1 ， 性 能 与 O p e n A I 的 o 1 正 式 版 持平，并开源 2 0 2 5 年 1 月 2 0 日 2 0 2 4 年 1 2 月 2 6 日 发 布 总 参 数 达 6 7 1 0 亿 的 D e e p S e e k - V 3 ， 采 用 创 新

本地大模型依 然可以正常工作，不受外部因素影响。 本教程搭建 DeepSeek 好处 本地搭建 DeepSeek 三个比较实际的好处： • 本教程接入的是 DeepSeek 推理模型 R1，开源免费，性能强劲 • 本教程搭建方法 零成本，不需花一分钱。 • 为了照顾到大部分读者，推荐的搭建方法已将电脑配置要求降 到最低，普通电脑也能飞速运行。 1.2 DeepSeek 本地部署三个步骤 一键下载后安装就行，安装过程基本都是下一步。 不知道去哪里下载的，可以直接在我的公众号后台回复：ollama，下载这个 软件，然后装上，可以拿着手机扫码下图1直达我的公众号： 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 图 1: 我的公众号：郭震 AI 到我们自己的电脑，如下图3所示： 图 3: DeepSeek-r1 下载到本地电脑命令 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 料用心打磨且开源，是为了帮助更多人了解获取 AI 知识，严禁拿此资料引流、出书、等形式的商业活动 至此在我们本地电脑，DeepSeek 大模型就下载到我们本地电脑，接下来第 三步就可以直接使用和它对话了。在 cmd(Windows

可持续标准。规范人工智能影响环境的技术框架、方法 和指标，平衡产业发展与环境保护，包括促进生态可持续的人工 智能软件开源基础框架，人工智能系统能效评价，人工智能与资 7 源利用、碳排放、废弃部件处置等标准。 （二）基础支撑标准 基础支撑标准主要包括基础数据服务、智能芯片、智能传感 器、计算设备、算力中心、系统软件、开发框架、软硬件协同等 标准。 1. 基础数据服务标准。规范人工智能研发、测试、应用等 、功能集成 方法、性能指标和评价方法等标准。 4. 计算设备标准。规范人工智能加速卡、人工智能加速模 组、人工智能服务器等计算设备，及使能软件的技术要求和测试 方法，包括人工智能计算设备虚拟化方法，人工智能加速模组接 口协议和测试方法，及使能软件的访问协议、功能、性能、能效 的测试方法和运行维护要求等标准。 5. 算力中心标准。规范面向人工智能的大规模计算集群、 新型数据中心、智算中心、基础网络通信、算力网络、数据存储 6. 系统软件标准。规范人工智能系统层的软硬件技术要求， 包括软硬件编译器架构和优化方法、人工智能算子库、芯片软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7. 开发框架标准。规范人工智能开发框架相关的技术要求， 包括开发框架的功能要求，与应用系统之间的接口协议、神经网 络模型表达和压缩等标准。 8. 软硬件协同标准。规范智能芯片、计算设备等硬件与系 统软件、开发框架

绝赞招聘中 TVM CAFFE 前端 2019·11·16绝赞招聘中 TVM 在平头哥 • 工具链产品 平头哥芯片平台发布的配套软件中， TVM 是工具链产品的重要组成部分： 负责将预训练好的 caffe 或者 tensorflow 的模型，转换到 LLVM IR，最后生成可以在无剑 SoC 平台上 执行的二进制。绝赞招聘中 为何添加 caffe 前端？ 客户需求 评估 评估阶段：客户用于评估芯片的网络，caffe 模型占很大比重。 竞品已支持 caffe 前端 当前各大芯片厂商的部署工具大多数都支持，支持 caffe 前端有利于提高竞争力。 开源社区 存量的开源 caffe 网络模型众多，TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。绝赞招聘中 当前进度 无 caffe 依赖 from_caffe 直接导入 caffe 模型文件，不需要预先安装

善用DeepSeek的两大关键：提出问题 鉴别答案 DeepSeek是什么? • DeepSeek是一家专注通用人工智能(AGI)的中国科技公司，主攻大模型研发与应用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力 (Pass@1) (Pass@1) 国产 十 免费 十 开源 十 强大 Accuracy/Percent le (%) AI https://chat.deepseek.com Z u N e P 6 7 K w S v 提问又怕被说“这 么简单还不会”，不提问又担心后面全听不懂…… 场景1：课堂上突然跟不上了，怎么办 1.课堂当下（隐蔽求助） p 适用场景：课堂上随时快速跟进 p 操作技巧： Ø 在笔记软件中快速标注困惑点（如：“疑问：第二 步到第三步如何展开？”） Ø 输入精准问题： “隐函数求导例题：从方程x² + xy + y³ = 0推导 dy/dx，请展示完整的链式法则展开步骤，特别是分母

以及在不同行业领域 应用场景，梳理人工智能技术本身，及其在应用过程中面临的各种安全风险 隐患。 2.2 技术应对措施方面。针对模型算法、训练数据、算力设施、产品服务、 应用场景，提出通过安全软件开发、数据质量提升、安全建设运维、测评监测 加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性- 3 - 人工智能安全治理框架 的措施。 2.3 综合治理措施方面。明确技术研发机构、服务提供者、用户、政府 边界传递等风险。 （c）供应链安全风险。人工智能产业链呈现高度全球化分工协作格局。 但个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒，恶意阻断 全球人工智能供应链，带来突出的芯片、软件、工具断供风险。 3.2 人工智能应用安全风险 3.2.1 网络域安全风险 （a）信息内容安全风险。人工智能生成或合成内容，易引发虚假信息传播、 歧视偏见、隐私泄露、侵权等问题，威胁公民生命财产安全、国家安全、意识 载的人工智能模型或系统。- 9 - 人工智能安全治理框架 （c）加强人工智能算力平台和系统服务的安全建设、管理、运维能力， 确保基础设施和服务运行不中断。 （d）对于人工智能系统采用的芯片、软件、工具、算力和数据资源，应 高度关注供应链安全。跟踪软硬件产品的漏洞、缺陷信息并及时采取修补加固 措施，保证系统安全性。 4.2 针对人工智能应用安全风险 4.2.1 网络域风险应对 （a

Deepseek能够做什么？ • 如何使用Deepseek？ DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本