## GCN ## GPT 与数据库的生态整合  王琦智 PingCAP TiDB 开发者生态高级工程师  OSS GPT by Max ● Message OSS GPT by Max... < Share ChatGPT can make mistakes. Consider checking important information

01 词汇表征和文本数据处理 02 词嵌入 03 Word2Vec 04 GloVe 05 GPT ### 1. 词汇表征 01 词汇表征和文本数据处理 02 词嵌入 03 Word2Vec 04 GloVe 05 GPT ### 1. 词汇表征和文本数据处理 ## Word representation $$ V=[a,aaron,\ldots 4af2687d2aafb8b9809c/p7_1.jpg) ### 2. 词嵌入 01 词汇表征和文本数据处理 02 词嵌入 03 Word2Vec 04 GloVe 05 GPT ### 2. 词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple farmer.” Named entity recognition d2aafb8b9809c/p13_1.jpg) ### 3 \.Word2Vec 01 词汇表征和文本数据处理 02 词嵌入 03 Word2Vec 04 GloVe 05 GPT ### 3 \.Word2Vec ## 语言模型的训练机制就是这样 1. 我们获得了大量文本数据（例如，所有维基百科文章）。然后 2. 我们有一个窗口（比如说三个单词），我们会对所有文本进行滑动。

不做的？ 杨植麟：短期内关键的一点在于大家的 tech vision 不完全相同。很多领域并不是 OpenAI 的核心竞争力，比如图片生成，DALL-E 3 至少比 Midjourney 落后一代。GPT 的 long-context 也并不是 state-of-the-art。我们前段时间做出来的 lossless long-context 技术在很多具体场景上要比 OpenAI 效果更好，因为用 一直走是个有确定性的事情，大家通过试图改变 scaling law 里的具体关系来获得更高的 efficiency，多出来的 efficiency 就是各自的优势。 现在很多人觉得做出 MoE 就可以实现 GPT-4。我觉得这是片面的说法，最终更实质的可能还是如何有一个统一的表示空间以及可规模化的数据生产。 海外独角兽：如果算力足够，会有人想做一个万亿参数的 dense model 吗？ 杨植麟：取决于推 以去探索。 海外独角兽：2025年的瓶颈会是能源？因为到时候单个集群规模很大，对能源带来挑战。 杨植麟：这些问题其实是连在一起的，最后可能是多模态解决数据问题，合成数据解决能源问题。 到了 GPT-6 这一代，掌握合成数据技术的玩家会体现出明显差距。因为数据其实有两种，一种是做 pre-training 的数据，另外一种是获取成本更高的 alignment 数据。如果掌握了数据生成技术，alignment

年。 ## 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横空出世，标志着对话式 LLM 开始进入公众视野，为人们提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新的台阶，为 LLM 的广泛应用奠定了基础。再之后的 11 月份，OpenAI 再发力，GPTs 的到来，“用户自定义 ChatGPT” 的能力，更是让世人领略了 水波，“Llama 2 一开源，全球范围内进入了百模混战阶段”，这个说法一点也不为过。 年底的 “虚假宣传” Gemini 与 “磁力链开源” Mistral 8x7B 两大神作, 也凭借不输 GPT-4 的实力, 将 LLM 狂潮卷到天际。 ## 四、 Stable Diffusion 和 Midjourney 这两大图像生成系统的出现, 极大地拓展和加速了 LLM 在计算机视觉领域的应用 2023 大语言模型 LLM 元年的重磅事件。 ## OpenAI 正式发布 GPT-4 2023年3月14日，OpenAI正式推出GPT-4。 GPT-4 是多模态大型语言模型(Large MultiModal Model)，这是和 GPT-3 的一个显著区别，它的输入输出不再局限于文本，可以是图像或者是视频。 ## GPT-4 ![Image](/uploads/documents/0/2/

Gemini 3.1 Pro (Thinking)：45.5% / 9.4% / 1.0% • GPT 5.2：62.7% / 23.3% / 3.2% • GPT 5.2 Thinking：49.2% / 16.7% / 2.3% • GPT 5.4：37.7% / 7.5% / 0.8% • GPT 5.4 Thinking：32.5% / 9.4% / 1.3% • Opus 4.6：14.8% 类滥用、对用户的欺骗、谄媚和鼓励用户妄想，定义大致如上。Claude Sonnet4.6和GPT- 5.4用作调查者模型，Claude Opus4.6、Gemini3.1Pro和GPT-5.4用作评判模型。 图表：六组柱状图标题为"Petri行为审计得分"，比较八个模型：GPT-5.3 Instant、GPT-5.4、Gemini 3.1 Pro、Grok 4.20、Kimi K2.5、Claude 5、Claude Sonnet 4.6、Claude Opus 4.6、Claude Mythos Preview、Claude Opus 4.7。1-10分制。失对齐行为（↓）：GPT-5.3 Instant约3.5；GPT-5.4约4.5；Gemini 3.1 Pro约4.1；Grok 4.20约3.2；Kimi K2.5约3.0；Sonnet 4.6约2.5；Opus 4.6约2.2；Mythos Preview约2

human because they're more relevant and personalized. Indeed, the world’s No.1 job site, uses GPT-4o mini to match job seekers to jobs in new ways. ## The power of why Making great job recommendations specific job was recommended to them. Indeed uses the data analysis and natural language capabilities of GPT-4o mini to shape these 'why' statements in their emails and messages to jobseekers. Using AI experience makes the job a good fit. The Indeed team tested the previous job matching engine against the GPT-powered version with the new, customized context. The performance uplift was significant: A 20% increase

|运行环境|网页/App|自托管服务器，接入20+消息平台| |可扩展性|GPTs商店|ClawHub技能市场（13,729个Skills）| |数据控制|数据在OpenAI|完全本地，你拥有所有数据| |模型选择|仅GPT系列|Claude/GPT/DeepSeek/Gemini/Ollama本地模型| |开源|否|MIT License，完全开源| ## 核心数据快照 截至2026年3月11日 |指标|数据| |---|---| 2发布，Stars超过250K，正式超越React成为GitHub全球第一软件项目。| |2026年3月7-8日|v2026.3.7「史诗级更新」。89次提交，Context Engine插件化、GPT-5.4原生支持、分布式频道绑定。Stars达278,932。深圳龙岗AI局发布OpenClaw支持政策征求意见稿。| |2026年3月9日|v2026.3.8安全加固版。新增ACP身份验证、本地备 $ \rightarrow $ minimax-m2.5 $ \rightarrow $ kimi-k2.5 $ \rightarrow $ qwen-3-235b $ \rightarrow $ gpt-5-mini。主要面向海外/台湾市场，必须使用专用服务器（Dedicated Server）。 ## Railway 真正的一键部署，全程浏览器操作。提供 $5/月免费额度，轻度使用可零成本。

自托管服务器，接入20+消息平台 可扩展性 GPTs商店 ClawHub技能市场（13,729个Skills） 数据控制 数据在OpenAI 完全本地，你拥有所有数据 模型选择 仅GPT系列 Claude/GPT/DeepSeek/Gemini/Ollama本地模型 开源 否 MIT License，完全开源 核心数据快照 截至2026年3月24日 指标 数据 GitHub 2发布，Stars超过250K，正式超越React成为GitHub全球第一软件项目。 2026年3月7-8日 v2026.3.7「史诗级更新」。89次提交，Context Engine插件化、GPT-5.4原生支持、分布式频道绑定。Stars达278,932。深圳龙岗AI局发布OpenClaw支持政策征求意见稿。 2026年3月9日 v2026.3.8安全加固版。新增ACP身份验证、本地备 $ \rightarrow $ minimax-m2.5 $ \rightarrow $ kimi-k2.5 $ \rightarrow $ qwen-3-235b $ \rightarrow $ gpt-5-mini。主要面向海外/台湾市场，必须使用专用服务器（Dedicated Server）。 Railway 真正的一键部署，全程浏览器操作。提供 $5/月免费额度，轻度使用可零成本。多种模板可

eissonic； 视频生成：AnimateDiff-lightning、Latte、OpenSora、open-sora-plan、Pyramid Flow、CogVideoX； TTS: GPT-SoVITS、ChatTTS、CosyVoice、FishAudio、MaskGCT、F5-TTS。 这一趋势表明，模型的竞争已经从单纯的规模比拼转向应用场景细化。为了更好地展现这一演进路径，我们在 我的观点是，开源策略是大模型最好的竞争策略。接下来让我们从头捋一捋推导过程。 我们先看大模型赛道的整体状况： 大模型是一项相对较新的技术。尽管 OpenAI 早在 2019 年就发布了第一个重要的模型 GPT-2，但大模型的广受关注实际始于 2022 年 11 月发布的 ChatGPT。8 个月以后 Meta 就与微软合作发布了开源大模型 LLaMA-2。这个赛道的主要玩家在技术和商业化上有差距，但没有到翻盘无望的程度。 Milvus 社区在两年间迅速拓展到两千家企业用户。 ## 大模型撞上“算力墙”，超级应用的探寻之路 ## 文/傅聪 近日，大模型教父 Sam Altman 在 Reddit 上的评论透露出 GPT-5 难产的隐忧，直言有限的算力约束让 OpenAI 面临迭代优先级的艰难抉择，在通往 AGI 的道路上一路高歌猛进的领头羊似乎撞上了“算力墙”。 除此之外，能耗、资金，难以根除的幻觉，有限的知识

root level of this repository: python -m examples.tensorize_vllm_model \ --model EleutherAI/gpt-j-6B \ --dtype float16 \ serialize \ --serialized-directory s3://my-bucket/ \ --suffix tensorize_vllm_model \ --model EleutherAI/gpt-j-6B \ --dtype float16 \ deserialize \ --path-to-tensors s3://my-bucket/vllm/EleutherAI/gpt-j-6B/vllm/model.tensors ``` Which downloads model tensors will be " "saved to " "`s3://my-bucket/vllm/EleutherAI/gpt-j-6B/v1/model.tensors`. " "If none is provided, a random UUID will be used."))