GPT 与数据库的生态整合 王琦智 PingCAP TiDB 开发者生态高级工程师 目 录 自然语言到 SQL 01 自然语言到图表 02 GPTs 调用数据库 API 03 总结 04 自然语言到SQL OSS Insight 自然语言到图表 Thoughts to insights made easy(with AI) GPTs 调用数据库 API Thank You

04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 4 1.词汇表征和文本数据处理 5 1.词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 7 1.词汇表征和文本数据处理 8 2.词嵌入 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 12 2.词嵌入 嵌入矩阵 13 2.词嵌入 嵌入矩阵 14 3.Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词）

杨植麟：短期内关键的⼀点在于⼤家的
tech
vision
不完全相同。很多领域并不是
OpenAI
的核⼼竞争 ⼒，⽐如图⽚⽣成，DALL-E
3
⾄少⽐
Midjourney
落后⼀代。GPT
的
long-context
也并不是
state-of- the-art。我们前段时间做出来的
lossless
long-context
技术在很多具体场景上要⽐
OpenAI
效果更 好 的事情，⼤家通过试图改变
scaling
law
⾥的具体关系来获得更 ⾼的
efficiency，多出来的
efficiency
就是各⾃的优势。
现在很多⼈觉得做出
MoE
就可以实现
GPT-4。我觉得这是⽚⾯的说法，最终更实质的可能还是如何有 ⼀个统⼀的表⽰空间以及可规模化的数据⽣产。


海外独⻆兽：如果算⼒⾜够，会有⼈想做⼀个万亿参数的
dense
model
吗？
杨 但是存在⼀些⽅向可以去探索。
海外独⻆兽：2025
年的瓶颈会是能源？因为到时候单个集群规模很⼤，对能源带来挑战。
杨植麟：这些问题其实是连在⼀起的，最后可能是多模态解决数据问题，合成数据解决能源问题。 到了
GPT-6
这⼀代，掌握合成数据技术的玩家会体现出明显差距。因为数据其实有两种，⼀种是做
pre-training
的数据，另外⼀种是获取成本更⾼的
alignment
数据。如果掌握了数据⽣成技术，

一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 的台阶，为 LLM 的广泛应用奠定了基础。再之后的 11 月份，OpenAI 再发力，GPTs 的到来，“用户自定义 ChatGPT”的能力，更是让世人领略了 ， “Llama 2 一开源，全球范围内进入了百模混战阶段”， 这个说法一点也不为过。 年底的“虚假宣传” Gemini 与“磁力链开源” Mistral 8x7B 两大神作，也凭借不输 GPT-4 的实力，将 LLM 狂 潮卷到天际。 四、 Stable Diffusion 和 Midjourney 这两大图像生成系统 的出现，极大地拓展和加速了 LLM 在计算机视觉领域的应 CLR/JIT 研究 设计：张琪  07 | AIGC  11 | 1024 黄金眼  13 | 项目停更  16 | 生产事故  18 | 开源治理 1 1 OpenAI 正式发布GPT-4 AIGC 回顾 2023 大语言模型 LLM 元年的重磅事件。 开源开发者事件回顾 Anthropic 推出Claude 2023 年 3 月，百度全新一代知识增强大语言模型、文心大模型家族的新成

believing that Eugene is human 6/18: OpenAI releases GPT-1, the first of their large language models 6/20: OpenAI releases GPT- 3, an AI tool for automated conversations; Microsoft Department of Homeland Security unveils its AI Roadmap Strategy 5/24: OpenAI releases GPT-4o, which has full multimodality across audio, visual, & text inputs 7/24: Apple releases which surpasses the performance of other leading models (GPT- 4o, Claude 3.5) on some reasoning tests 3/23: OpenAI releases GPT-4, a multimodal* model capable of processing both text

human because they’re more relevant and personalized. Indeed, the world’s No. 1 job site, uses GPT-4o mini to match job seekers to jobs in new ways. The power of why Making great job recommendations job was recommended to them. Indeed uses the data analysis and natural language capabilities of GPT-4o mini to shape these ‘why’ statements in their emails and messages to jobseekers. Using AI, the makes the job 
 a good fit. The Indeed team tested the previous job matching engine against the GPT-powered version with the new, customized context. 
 The performance uplift was significant: A 20%

issonic； 视频生成：AnimateDiff-lightning、Latte、OpenSora、open-sora-plan、Pyramid Flow、 CogVideoX； TTS：GPT-SoVITS、ChatTTS、CosyVoice、FishAudio、MaskGCT、F5-TTS 。 这一趋势表明，模型的竞争已经从单纯的规模比拼转向应用场景细化。为了更好地展现这一 演进路径，我们在 我的观点是，开源策略是大模型最好的竞争策略。接下来让我们从头捋一捋推导过程。 我们先看大模型赛道的整体状况：  大模型是一项相对较新的技术。尽管 OpenAI 早在 2019 年就发布了第一个重要的 模型 GPT-2，但大模型的广受关注实际始于 2022 年 11 月发布的 ChatGPT。8 个月以后 Meta 就与微软合作发布了开源大模型 LLaMA-2。这个赛道的主要玩家在技术和商业化上有差距， 但没有到翻盘无望的程度。 社区 在两年间迅速拓展到两千家企业用户。 29 / 111 大模型撞上“算力墙”，超级应用的探寻之路 文/傅聪 近日，大模型教父 Sam Altman 在 Reddit 上的评论透露出 GPT-5 难产的隐忧，直言有限 的算力约束让 OpenAI 面临迭代优先级的艰难抉择，在通往 AGI 的道路上一路高歌猛进的领头 羊似乎撞上了“算力墙”。 除此之外，能耗、资金，难以根除的幻觉，有

reasoning and language. Moreover, both DeepSeek-V2 Chat (SFT) and DeepSeek-V2 Chat (RL) outperform GPT-4-0613 and ERNIEBot 4.0, solidifying the position of our models in the top-tier LLMs that support Chinese outperforms all models including GPT-4-Turbo-1106-Preview. On the other hand, the reasoning capability of DeepSeek-V2 Chat (RL) still lags behind giant models, such as Erniebot-4.0 and GPT-4s. 19 Model Overall Chi. Open. Writ. Role. Pro. 模型 总分 推理 总分 数学 计算 逻辑 推理 语言 总分 基本 任务 中文 理解 综合 问答 文本 写作 角色 扮演 专业 能力 GPT-4-1106-Preview 8.01 7.73 7.80 7.66 8.29 7.99 7.33 8.61 8.67 8.47 8.65 DeepSeek-V2 Chat (RL) 7.91 7

pre-training followed by fine-tuning is also used in BERT (Devlin et al.), and other related models like GPT, RoBERTa, T5, etc. At the time of its publishing, BERT beat the state-of-the-art on eleven NLU tasks train. Other pre-trained models can be a couple of orders of magnitude more expensive to pre-train. GPT-3 takes 355 GPU years, which comes out to be 3.1 Million GPU hours, which even with the cheapest GPU Similarly models like GPT-3, T5, etc. have the capability to be few-shot learners. This means that they can be shown a few example inputs and outputs to solve a new task. GPT-3 is a transformer model

. . . . . . . . 12 2.6.1 AgentGPT . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.6.2 GPT-4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.6.3 Gemma . . . . . . . . . . . 大模型通常指的是大规模的人工智能模型，这类模型通过训练大量的数据来获 得广泛的知识和能力。这些模型通常具有庞大的参数数量，能够处理复杂的任 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 示词和 AI 大模型，一共梳理挑选共计 38 个 AI 工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Transformer）架构。这种模型通过分析大量的文本数据来学习语 言结构和信息，使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 6 Figure