Moonshot AI 介绍normalization,是Stable Diffusion等AI模型成功的关键组件;发明了Transformer-XL,是历史上第一个在词级别和字级别都全面超越RNN的注意力语言模型,解决了语言建模上下文长度的关键问题,定义了语言建模的新标准;曾与DeepMind和CMU合作研究,首次实现小样本性能逼近全监督学习的高效对齐方法。 ii. 视觉方面。团队成员发明了MoCo,引爆了基于对比学习的视觉预 目前团队人数超过 80 人,每个月都有在全球某个领域有显著影响力的人加入。 ### 2. 团队聚焦底层技术创新,技术Vision强 a. 引领大模型的“无损长上下文”时代。2023年10月上旬,在产品Kimi智能助手中实现“无损长上下文窗口(Lossless Long Context Window)”,支持20万汉字输入,实现对长文本的无损记忆。OpenAI和Anthropic到11月才在Context 聚焦底层技术创新,不走技术捷径。最早提出 “Lossless Long Context 可以解决 90% 以上的模型定制问题”,坚持对数据的无损压缩,实现模型能力的提升,不走技术捷径(通过滑动窗口、降采样、小模型等技术实现上下文窗口延长,都是 “技术捷径”) c. 通过这篇文章,您可以了解更多技术方面信息:专访月之暗面杨植麟:lossless long context is everything ### 3. Kimi0 码力 | 74 页 | 1.64 MB | 2 年前3
Gemma 4 完全指南 - 从入门到本地部署Guide to Gemma 4: From Understanding to Local Deployment 涵盖型号:E2B·E4B·26B-A4B·31B 架构:Dense+MoE·多模态·256K上下文 许可证:Apache2.0 信息来源:Google官方文档·Hugging Face·本地实测 文档版本:v1.0.0 发布时间:2026-04-03(build #0) 花叔 公众号「花叔」·B站「AI进化论-花生」 Gemma1的定位很清楚:技术验证。它想证明Google也能做出参数效率高的小模型。性能确实不错,在同尺寸模型里排名靠前。但说实话,它更像一个benchmark项目,不是一个你会真正拿来干活的工具。 两个尺寸,纯文本,没有多模态,上下文也不长。社区的反应是:嗯,还行,但我为什么不用Llama? 2024年6月:Gemma2,性能跳了一大步 四个月后,2024年6月27日,Gemma2来了。首发两档:9B和27B,7月31日又追加了2B。 密度」。 但Gemma2依然只支持纯文本。没有图片理解,没有长上下文,没有工具调用。它更强了,但它的能力边界没有扩展。 2025年3月:Gemma3,开始像个产品了 2025年3月10日,Gemma3发布。这一代的变化是质的。 四个尺寸:1B、4B、12B、27B。更重要的是,Gemma3第一次加入了多模态,支持图片和视频帧输入。上下文窗口从8K一步跳到128K。 我觉得Gemma3是一个转折点。0 码力 | 42 页 | 4.85 MB | 1 月前3
OpenClaw橙皮书-从入门到精通-v1.1.0作为24/7运行的daemon,持续监听所有已连接的Channel。它不像CLI Agent那样会话结束就丢失上下文,而是长驻运行,积累记忆。 ## 06 记忆系统 Memory System 记忆是OpenClaw区别于普通Chatbot的核心能力。四层记忆从不可变的身份内核到实时对话,构建完整的上下文连续性。 ## 四层记忆架构  ## 压缩上下文 旧消息被压缩或截断,释放 token 空间。用户看不到这个过程(返回 NO_REPLY) 为什么这很重要?这个机制保证了即使对话极长,关键信息也不会随着上下文窗口的滑动而丢失。Claude Code等工具的会话结束后上下文就消失了,而OpenClaw通过文件系统实现了真正的持久记忆。 ## 向量记忆搜索0 码力 | 103 页 | 7.97 MB | 2 月前3
OpenClaw橙皮书:从入门到精通 - v1.4.0Hub历史第一。 2026年3月16日 智谱发布GLM-5-Turbo。历史上第一个从训练阶段就专为OpenClaw场景优化的基座模型,主打工具调用、长链执行、持久任务,128K输出/200K上下文,支持MCP协议,目前实验性闭源发布。 核心建议 OpenClaw先后超越React和Linux,成为GitHub历史上增速最快的开源项目。React用了超过10年才达到23万 Stars, 作为24/7运行的daemon,持续监听所有已连接的Channel。它不像CLI Agent那样会话结束就丢失上下文,而是长驻运行,积累记忆。 06 记忆系统 Memory System 记忆是OpenClaw区别于普通Chatbot的核心能力。四层记忆从不可变的身份内核到实时对话,构建完整的上下文连续性。 四层记忆架构 层级 存储位置 生命周期 说明 SOUL SOUL.md 永久不可变 Session 内存+sessions.json 会话级 当前对话的实时上下文,Token耗尽时被压缩 Daily Logs 日志系统 每天的交互记录以 append-only方式写入 memory/YYYY-MM-DD.md 文件。Session开始时,Agent会自动读取今天和昨天的日志,为对话提供连续性上下文。 memory/2026-03-08.md 10:23 - 用户询问天气0 码力 | 114 页 | 8.90 MB | 1 月前3
Claude Opus 4.7 System Card 中文版项中等时间跨度的挑战上评估了模型,Dyno自2018年以来在该挑战上也评估了57位来自美国ML-生物劳动力市场前沿的人类参与者。该任务的序列和目标未发表,因此不存在数据污染。该任务衡量模型能否在低上下文的黑盒环境中,通过最少的提示和一定的数据访问来设计RNA序列——在对序列来源或属性知之甚少(仅有少量实验测量数据)的情况下,推理出一般性的序列设计挑战。 具体而言,任务要求人类参与者或模型分析数据, 7。该模型的能力介于Claude Opus4.6和Claude Mythos Preview之间,并未推进我们的能力前沿。我们认为Claude Opus4.7不会改变我们最近一份风险报告中对该威胁模型的描述。 下文提供关于自主性威胁模型2的更多细节。自主性威胁模型1在第2.4节中讨论。 3.2 判定背后推理的高层说明 High-Level Notes on the Reasoning Behind Our 升级信号 以L4水平追踪自身猜测的不确定性。猜测是自我修正的而非累积放大的。在应该查询时不进行猜测(如git SHA、config_path等) 值得指导:给予你会给L4的反馈和宏观上下文后,能充分更新行为使指导值得 以L4水平理解团队和整体组织优先级,在做权衡时(如判断某个任务实际上不值得做) L4品味:能写出简单有效的解决方案、不错的抽象(无需手把手指导)、简洁干净的代码(容易合并)0 码力 | 128 页 | 9.92 MB | 1 月前3
领域驱动设计&中台/领域驱动架构透析与架构解耦RUP 4+1 视图与DDD的关系 |RUP 4+1视图|领域驱动设计的模式与实践| |---|---| |场景视图|领域场景分析、用例图| |逻辑视图|限界上下文、上下文映射、分层架构| |进程视图|限界上下文、六边形架构、上下文映射| |物理视图|六边形架构| |开发视图|分层架构、代码模型| ## 场景视图  系统层面  ## 限界上下文层面  ## THANK YOU0 码力 | 29 页 | 3.02 MB | 2 年前3
领域驱动设计&中台/DDD实践中的那些坑[Image](/uploads/documents/6/a/b/4/6ab4247745e32a8af9b45925f095fdae/p3_1.jpg) ## 内容大纲 • 战略的坑 - 分析的坑 - 限界上下文的坑 • 聚合的坑 • 仓储的坑 ## 战略的坑 ## 无差别地全面采用DDD战术建模 核心域 通用域 支撑域 • DDD战术建模适用于重要或复杂的业务,初期投入成本较高; - 只 jpg) 模型需要迭代演化 ## 限界上下文的坑 ## 可能导致上下文耦合的共享模型  支付 耦合了不同行为的客户 分解客户在不同BC的行为 应用四色原型分解客户行为 上下文中模型概念一致还不够,还要保持内涵(行为和职责)一致 责)一致 ## 藕断丝连的限界上下文边界 存储上的藕断丝连 遗留系统上下文(可被替换) A上下文 通过防腐层隔离 B上下文 上下文A 上下文B 上下文A 上下文B 上下文A 上下文B ↓ BC划分物理边界的意义在于Inter-Operate,而不是Integrate;Inter-Operate是指定义系统边界和接口,并为整个团队提供完整的堆栈,实现完全的自制。如此就能降低系统间的依赖性,减少通信成本;0 码力 | 28 页 | 2.09 MB | 2 年前3
3 使用Python加速文件传输和文件复制 Giampaolo Rodolasyscalls and file descriptors can be mixed together - 系统调用:与内核交互的途径 • 内核:与硬件交互的途径 系统调用将会触发上下文切换 • 上下文切换将会消耗时间 系统调用和文件描述符可以连用 ## Basic socket operations 基础的 socket 操作 来表示,每个标记可以是一个单词、子词或单个字符,具体取决于编码方式。 上下文窗口大小决定了模型在回答问题或生成文本时可以利用的上下文范围。窗口越大,模型就能处理越长的上下文,对理解长文本内容非常重要。 较大的窗口允许模型处理更长的文本0 码力 | 42 页 | 8.39 MB | 1 年前3
共 666 条
- 1
- 2
- 3
- 4
- 5
- 6
- 67
相关搜索词













