8x22B Command R Command R+ Grok-1 DBRX Qwen1.5 32B Qwen1.5 72B LLaMA 1 Family LLaMA 2 Family LLaMA 3 Family Mixtral Family Command R Family Qwen1.5 Family (a) 0 50 100 150 200 250 300 DeepSeek-V2 higher data quality. We first pretrain DeepSeek-V2 on the full pre-training corpus. Then, we collect 1.5M conversational sessions, which encompass various domains such as math, code, writing, reasoning, safety representative open-source models, includ- ing DeepSeek 67B (DeepSeek-AI, 2024) (our previous release), Qwen1.5 72B (Bai et al., 2023), LLaMA3 70B (AI@Meta, 2024), and Mixtral 8x22B (Mistral, 2024). We evaluate

高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 和移动端。  多任务支持：支持多种任务， 如文本生成、分类和问答。 Kimi k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 测试结果受到数据样本、测试环境、AI抽卡、提示词模板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 爬虫数据采集  目前DeepSeek R1、Open AI o3mini、Kimi k1.5支持联网查询网址，Claude 3.5 sonnet暂不支持；  四个模型均能根据上传的网页代码，对多个网址链接进行筛选、去重，完全提取出符合指令要求的所有网址链接并形成列表；  在复杂爬虫任务上，DeepSeek o3min生成的代码均能正常执行数据采集任务，o3响应速度更快，R1数据采集结果更加完 整准确；其他2个模型都存在多次调试但代码仍然运行不成功的问题，如代码中罗列URL不全、输出文本中提取数据为空等。 Kimi k1.5 能够提取所有网址，代码运 行后生成本地文件，但提取 数据结果为空。 结论 Claude 3.5 sonnet 可以提取所有网址，调整后可输出正 确代码，运行代码能生成本地文件， 但提取数据结果为空。

Government / Research AI Adoption = Rising Priority Pharma companies that use Cradle are seeing a 1.5x to 12x speedup in pre-clinical research and development by using our GenAI platform to engineer There is no AI without energy – specifically electricity (p. 3). Data centers accounted for around 1.5% of the world’s electricity consumption in 2024 (p. 14). Energy demand growth has been rapid: Globally indicated, ‘We saw 160% revenue growth in 2024 from the previous year, and we secured more than $1.5 billion in new business.’ Source: Scale AI, The Information (4/25) (link) Data abundance is not the

ollama，然后就能看到它的相关指令，一共 10 个左右的命令，如下图2所示，就能帮我们管理好不同大模型： 图 2: Ollama 常用的命令 第二步，命令窗口输入：ollama pull deepseek-r1:1.5b，下载大模型 deepseek- r1 到我们自己的电脑，如下图3所示： 图 3: DeepSeek-r1 下载到本地电脑命令 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 大模型就下载到我们本地电脑，接下来第 三步就可以直接使用和它对话了。在 cmd(Windows 电脑) 或 terminal(苹果 电脑) 执行命令：ollama run deepseek-r1:1.5b，很快就能进入对话界面，如 下图4所示： 图 4: Ollama 软件启动 deepseek-r1 界面 1.3 DeepSeek 本地运行使用演示 基于上面步骤搭建完成后，接下来提问 DeepSeek 据，使其能够掌握复杂的语言模式并应用于不同任务。 接下来，咱们先从较为基础的概念开始。 2.1 LLM 基础概念 模型参数。其中比较重要的比如deepseek-r1:1.5b, qwen:7b, llama:8b，这里的 1.5b, 7b、8b 代表什么？b 是英文的 billion，意思是十亿，7b 就是 70 亿，8b 就 是 80 亿，70 亿、80 亿是指大模型的神经元参数（权重参数

企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。 ⼆、本地部署核⼼配置要求 1. 模型参数与硬件对应表 模型参 数 Windows 配置要求 Mac 配置要求 适⽤场景 1.5B - RAM: 4GB - GPU: 集成显卡/现代CPU - 存储: 5GB - 内存: 8GB （M1/M2/M3） - 存储: 5GB 简单⽂本⽣成、基础代 码补全 7B - 利⽤率提升 30% 等效RTX 3090 海光 DCU 适配V3/R1模型，性能对标NVIDIA A100 等效A100（BF16） 2. 国产硬件推荐配置 模型参数 推荐⽅案 适⽤场景 1.5B 太初T100加速卡 个⼈开发者原型验证 14B 昆仑芯K200集群 企业级复杂任务推理 32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐

四个全球领先 世界的360 • 实战能力第一，实战是检验安全企业能力的唯一标准 • 安全研发投入第一，相当于第2名到第10名的总和 • 服务器和算力投入安全行业第一 • 创新能力第一，专利申请1.5万件，安全行业最多 • 服务和响应能力第一 • 用户数量第一，覆盖225个国家和地区的15亿终端 • 企业客户规模第一的网安公司 • A股网安公司市值第一 安全能力最强，八个中国第一 中国的360 人 云端数据汇聚 • 探针数据上传到云 端 • 20万台服务器 • 210个数据中心 • 4000G出口带宽 • 1000P算力规模 大数据分析 • 总规模2.2EB，每天新 增1.5PB • 测绘数据300亿条 • 90亿+域名信息 • 存活网址库总量50000 亿条，每日新增13亿 人工智能分析 • 独创安全大数据AI智 能分析技术 • 荣获十次国际冠军/提 名人工智能奖项

Speedup 0 1 2 3 SSD_MobileNet1.0 SSD_ResNet50 Yolov3 w/o w/ Acer aiSage Speedup 0 0.5 1 1.5 2 2.5 SSD_MobileNet1.0 SSD_ResNet50 Yolov3 w/o w/ NVIDIA Jetson Nano AWS DeepLens Acer aiSage

int8 * int8 int32 = int16 1 + int16 x int8 Alibaba Al.Labs 阿里巴巴人工智能实验室 CPU : MTK8167S (ARM32 A35 1.5GHz) Model : MobileNetV2_ 1.0_ 224 400 336 350 3丈 300 250

cuDNN Frameworks New operator introduced by operator fusion optimization potential benefit: 1.5x speedup Engineering intensiveMachine Learning based Program Optimizer TVM: Learning-based Learning

FPGA Acceleration Pre-Process (resize)© Copyright 2018 Xilinx FPGA Pipeline report in MLSuite 1.5 (animated gif of ResNet-50, view in slideshow mode) >> 14© Copyright 2018 Xilinx Quantization Tool