感激。 并不是所有⼈都有机会去做这个我⾮常想做的事情，我会抓住这个机会并把它做好。所以，我觉得从 ⼼态上说，我并不感到过多的压⼒，更多的是珍惜这个机会。 ⼤模型开启「⻓」时代，杨植麟的新公司把对话框容量做到了 世界第⼀ 机器之⼼
2023-10-10
12:28
⼭东
机器之⼼原创 作者：张倩 虽然我们不知道谁是下⼀个
OpenAI，但是似乎找到了另⼀个
Anthropic。
最近， ⼀是
Transformer
模型中⾃注意⼒机制的计算量会随着上下⽂⻓度的增加呈平⽅级增⻓，⽐如上下 ⽂增加
32
倍时，计算量实际会增⻓
1000
倍，这会导致⽤⼾需要等待极⻓的时间才能获得反馈；
• ⼆是⻓下上⽂推理需要的显存容量巨⼤：以
1750
亿参数的
GPT-3
为例（GPT-4、Claude
等模型参 数量未知，故⽆法估算），⽬前最⾼单机配置
(80
GiB
*
8)
最多只能⽀持
64k
上下⽂⻓度的推理， 超⻓⽂本对显存的要求可⻅⼀斑； 量。⼤型语⾔模型可以被看作是进化了的计算实体，所以
Moonshot
AI
认为⼤模型能够达到的最⾼⽔ 平由两个因素决定：单步骤的容量（即模型在每⼀步中可以处理的信息量，对应参数量）和执⾏的步 骤数（即模型能够处理的上下⽂⻓度）。 ⽬前，⼤部分⼤模型研究都集中在增加模型参数量的⼤⼩，即增强「单步骤容量」。但
Moonshot
AI
认为，在保持⼀定参数量的同时放⼤另⼀个维度，即「步骤数」或上下⽂⻓度也同样重要。就像我们

LLaMA，而是通过邀请制的方 式出于研究的目的将源代码提供给社区。但在宣布该消息一周后，LLaMA 模型在 4chan 上被泄露，有匿名用户通过 BT 种子公开了 LLaMA-65B— —有 650 亿个参数的 LLaMA，容量为 220GB。 在此之后的几周里，这场本应是不幸的事件却成了 LLM 领域最有趣的创新 来源之一。自 LLaMA 被泄露后，基于它而构建的 LLM 代理的创新呈现出 爆炸式增长。 开源游戏引擎 1.2 采用 Flutter 重写桌面版 RustDesk 是一款开源远程桌面软件，1.2 版本采用 Flutter 重写桌面版本， 支持 Wayland 被控。 基于 RocksDB 之上的大容量 类 Redis 系统鼻祖 PikiwiDB（原 Pika） 在接下来的半年里，PikiwiDB 陆续发布了 v3.5.1 和 v3.5.2 两个版本，并 计划在不久的将来发布 v3.5.3。在稳定性和性能方面都取得了显著的提升。 倍，达到 121 人（包括 PikiwiDB 和 Pika），同时 PR 和 Issue 的总量也翻番，许多老用户纷纷回归。 展望 2024 年，PikiwiDB 将重点发力于云原生方向，继续在 “极大容量、 极高性能、极致弹性” 方向上进行探索。 在 2023 年 7 月底，PikiwiDB （原名 Pika）发布了自 2021 年加入 OpenAtom 基金会以来 的首个生产可用版本 v3.5.0。

江苏农信⾏业云将 堡垒机以⾃助化、 ⼀体化的⽅式提供 给超过 60 家农商⾏ 使⽤。 60 家分⾏ ⾃助式堡垒机服务 ⼤规模 扩展 JumpServer ⽀持 ⽔平扩展，对接对 象存储后，利⽤其 容量⽔平扩容，满 ⾜扩展性的需要。 灵活部署、⽔平扩展 70 % 凭借 JumpServer 企业版的优势，⽅ 案初始建设成本相 对较低，且未来建 设成本可预期。 成本合理、可控 远程办公

GPU，当前传统的算力优化方案主要是 提升 GPU 的利用率。然而，仅针对 GPU 优化所带来的性能提升空间非常有限。此外，据财通 证券发布的行业深度分析报告统计显示，国产 GPU 产品在单精度/半精度浮点算力、制程及显存 容量上都与英伟达有 2-4 倍的显著差距。因此，单单依靠 GPU 单点优化，短时间内很难赶超英 伟达 GPU 方案。 而且对于推理而言，算力要求相较于训练较低，因为推理仅涉及前向计算，无需复杂的反复

and Bootstrap. 【专家点评】/ [Expert Comment] 段夕华：这个数据有点意思，React 居然屈居 Vue 之后，好像跟国外的统计数据不太一 致。不知道是样本容量问题，还是因为国内开源项目对华人发起的 Vue 情有独钟。 Duan Xihua: This data is somewhat interesting. React ranked second to