versatility and utility in a wider range of scenarios. References AI@Meta. Llama 3 model card, 2024. URL https://github.com/meta-llama/llama3/bl ob/main/MODEL_CARD.md. J. Ainslie, J. Lee-Thorp, M. de Jong, Y checkpoints. arXiv preprint arXiv:2305.13245, 2023. 21 Anthropic. Introducing Claude, 2023. URL https://www.anthropic.com/index/introd ucing-claude. J. Austin, A. Odena, M. Nye, M. Bosma, H. Michalewski USA, February 7-12, 2020, pages 7432–7439. AAAI Press, 2020. doi: 10.1609/aaai.v34i05.6239. URL https://doi.org/10.1609/aaai.v34i05.6239. M. Chen, J. Tworek, H. Jun, Q. Yuan, H. P. de Oliveira Pinto

u·fgÇ[Ÿhn•ž•jklmŽR_ •ž-¯íslcd • fgÇ[Ÿhn•ž•jklm/°Ü;N•Ž>cÞj,[)*+qOb/lm;<=>/±²>Ü_ • j•¯í/cdŸ &uæfgÇ[Ÿhn•ž•jklm/³´https://www.htsc.com.hk/stock_disclosure NaŸ uæA|e •µr-¯íslcd€_ µr Hµr)*+efg(:nµr•jklm_•‘µrsl}÷/••v*ÕU=<-· 52-2169-0770 ÷¬ûüÛresearch@htsc.com http://www.htsc.com.hk fg(:nµr•jklm µrýîþÿ!"g#h10î41õnýî10001• ÷øÛ+212-763-8160/ùúÛ+917-725-9702 ÷¬ûü: Huatai@htsc-us.com http://www.htsc-us.com ©‚ƒ,j2022¹fg(:hijklm

10 通义灵码 阿里巴巴开发的开源编程工具，利用 AI 技术提升代码生成和分析能力。 2.5 AI 指令编写工具 Figure 7: AI 指令辅助工具 2.5.1 FlowGPT 网址：https://flowgpt.com/ Figure 8: FlowGPT 包括各种工具提示词 2.5.2 ChatGPT 指令大全 在作者的公众号（郭震 AI）回复消息：gpt，获取这份 GPT 指令大全。 PromptHero 一个集成了 ChatGPT、MJ、SD 等多个 AI 模型提示词的平台，提供可视化 AI 提示语的工具。 2.5.5 可视化 AI 提示语 Figure 9: 可视化提示词 网址：https://tools.saxifrage.xyz/prompt，一个可视化工具，帮助用户为多 种 AI 模型生成和优化提示语。 2.5.6 Snack Prompt 提供最新 AI 模型提示词的工具，旨在快速获取和使用最新的 停止一个容器：docker stop 4. 删除一个容器：docker rm 20 4.2.2 下载 docker docker 下载地址: https://www.docker.com/products/docker-desktop/ 下载界面如图 21 所示： Figure 21: win、mac 及 linux 下载 docker 软件

for FP32 number (not a downcast) • Quantized tensor is represented with a scale and a zero point http://on-demand.gputechconf.com/gtc/2017/presentation/s7310-8-bit-inference-with-tensorrt.pdf 𝑟𝑒𝑎𝑙_𝑣𝑎𝑙𝑢𝑒 Affiliates. All rights reserved. QNN Conv2D Operator • Calculations are different from FP32 Conv2D https://discuss.tvm.ai/t/tf-lite-quantized-conv2d-operator-conversion/2651/8 𝑟𝑒𝑎𝑙_𝑣𝑎𝑙𝑢𝑒 = 𝒔𝒄𝒂𝒍𝒆

token/秒（混合推理） 3. 部署步骤（Linux示例） 1. 安装依赖⼯具： # 安装llama.cpp（⽤于合并分⽚⽂件） /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install llama.cpp 2. 下载并合并模型分⽚： llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf curl -fsSL https://ollama.com/install.sh | sh FROM /path/to/DeepSeek-R1-UD-IQ1_M.gguf PARAMETER num_gpu 28 # 每块RTX 接⼊细节请阅读详细⽂档硅基流动社 区。 全球企业个⼈渠道附表 1. 秘塔搜索：https://metaso.cn 2. 360纳⽶AI搜索：https://www.n.cn/ 3. 硅基流动：https://cloud.siliconflow.cn/i/OBklluwO 4. 字节跳动⽕⼭引擎：https://console.volcengine.com/ark/region:ark+c

Prompt Engineering February 2025 38 To run this sample you must create a (free) SerpAPI key from https://serpapi.com/manage- api-key and set an environment variable SERPAPI_API_KEY. Next let’s write some Google, 2023, Gemini by Google. Available at: https://gemini.google.com. 2. Google, 2024, Gemini for Google Workspace Prompt Guide. Available at: https://inthecloud.withgoogle.com/gemini-for-google- space-prompt-guide/dl-cd.html. 3. Google Cloud, 2023, Introduction to Prompting. Available at: https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/introduction-prompt-design. 4. Google

的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 LLM 更全面地处理各种 信息，支持更广泛的应用领域。 图源：https://postgresml.org/docs/.gitbook/assets/ml_system.svg 4 / 32 LLM 基础设施 01 03 02 04 向量数据库/数据库向量支持 据西南证券研究发展中心预测，2025 年向量数据库渗透率约 为 30%，则全球向量数据库市场规模约为 99.5 亿美元， 。 2023 年前四个月，向量数据库公司融资额 ，超过了 2022 年的总和 （图源：https://www.cbinsights.com/research/generative-ai-infrastructure- vector-database/） 7 / 32 LLM 基础设施：大模型框架及微调 数网络，这些框架通常设计得易于水平扩展， 支持在多个处理器或多个服务器上并行处理。 ：它们提供工具来有效地加 载、处理和迭代大型数据集，这对于训练大 型模型尤为重要。 国产深度学习框架 OneFlow 架构 （图源：https://www.oneflow.org/a/chanpin/oneflow/） 9 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 想要微调一个模型，一般包含以下关键步骤：

备注 英伟达NIM微服务 https://build.nvidia.com/d eepseek-ai/deepseek-r1 671B（全量模型） 网页版直接使用，支持API调用，注册送1000点数，免费体验。 微软Azure https://ai.azure.com 671B（全量模型） 需注册微软账户并创建订阅，免费部署，支持参数调节。 亚马逊AWS https://aws.amazon models-now-available-on- aws 671B（全量模型） 需注册AWS账户，填写付款方式，免费部署。 Cerebras https://cerebras.ai 70B 邮箱注册，速度快，宣称比GPU方案快57倍。 Groq https://groq.com/groqclou d-makes-deepseek-r1- distill-llama-70b-available 70B

I学术 研究。 用户体验对比：使用步骤 PubScholar平台官网：https://pubscholar.cn/  输入关键词：进入官网后，在搜索框键入关键词进行文献检索。  选取文章：勾选想要分析的20篇文献。  综述生成：点击生成综述，等待2-3分钟即可下载综述报告。 元知AI综述工具官网：https://yuanzhi.zeelin.cn/#/ 选择版本：根据需求选择工 知网研学平台官网：https://aiplus.cnki.net/sumup/sumup  输入关键词：进入官网后，在搜索框键入关键词进行文献检索。  选取文章：勾选想要分析的20篇文献。  综述生成：点击生成综述，等待2-3分钟即可下载综述报告。 PubScholar平台 元知AI综述工具 知网研学平台 斯坦福STORM 斯坦福STORM官网：https://storm.genie 26.6% 这项测试包括3000多个多项选择题和简答题， 涵盖了从语言学到火箭科学、古典文学到生态学的100多个学科。 GAIA测试 准确率是此前 OpenAI o1 模型的近三倍 来源：https://openai.com/index/introducing-deep-research 基准测试：精度提升，行业领先 与GPT-4o对比 相比传统GPT-4o模型，Deep Research在多步推理、数据验证、处理

Optimization Framework Tensor Graph to Xilinx Tensor Graph Frontend Deep Learning Frameworks https://github.com/xilinx© Copyright 2018 Xilinx TVM as Unified ML Front End >> 6 Relay (and NNVM) Xilinx Performance Pipelines ˃ References to our latest results: https://github.com/Xilinx/AI-Model-Zoo (embedded i.e. ZC104/Ultra96) https://github.com/Xilinx/ml-suite/blob/master/examples/caffe/Benchmark_README by slowest one ˃ Performance results based on Xilinx own runtime pipeline available in github (https://github.com/Xilinx/ml-suite/blob/master/examples/deployment_modes/mp_classify.py) Streamlined multi-process