1 2023年06月 深度学习-Vision Transformer (ViT) 黄海广 副教授 2 03 模型训练策略 本章目录 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 背景知识 7 为什么需要用transformer CNN（如ResNet）是图像分类的最 佳解决方案。 如果预训练的数据集足够大（至少一 亿张图像），则Vision Transformer （ViT）将击败CNN（小幅度） Vision Transformer（ViT）实际上就 是Transformer的encode网络。 1.背景知识 8 2.模型介绍 03 模型训练策略 类，只需要 ?0。 2.模型介绍 18 1.背景知识 将encoder得到的结果 输入分类层 encoder 会输出多个上 下文向量，对于图像分 类，只需要 ?0。 19 模型框架 最简洁的Vision Transformer模型 ，先将图片分成 16x16的patch块， 送入transformer encoder，第一个 cls token的输出送 入mlp head得到 预测结果。

lstm towards pedestrian trajectory prediction[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 12085-12094. [2] Gupta A, Johnson J, Fei-Fei L, et al. Social gan: trajectories with generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2255-2264. [3] Sadeghian A, Kosaraju V, Sadeghian A, et al. Sophie: compliant to social and physical constraints[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 1349-1358. [4] Liang J, Jiang L, Niebles J C, et al. Peeking into

class relational engine 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 PostgreSQL Base Vision Greenplum in the long run will be based on latest PostgreSQL Upcoming Roadmap – GPDB 5.0 release technologies 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Performance: Query Optimization Vision Our new cost-based optimizer, Orca, will become the default optimizer in GPDB for all workloads Levels 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Performance: Query Execution Vision Dynamic Code Generation is a next gen performance enabling technology Upcoming Roadmap • LLVM

scale 1.10. GitOps and Helm 1.11. Continuous Deployment 1.12. Secrets management 2. A Vision of GitOps 2.0 2.1. Visibility into the whole software lifecycle 2.2. Observability and business 2.5. Built-in handling for rollbacks and secrets 2.6. Running GitOps at scale 2.7. Making the vision for GitOps 2.0 a reality 3. GitOps 2.0 with Codefresh & ArgoCD 3.1. Getting visibility into standards we aim to implement in what we defined as our vision for GitOps2.0. We will explain a set of solutions both in theory (the vision) as well as in practice (our implementation).

�� �������a����� ����“��”���� ���������������������� ��GPU������������ ������ CVPR (Computer Vision and Pattern Recognition� 2015 ��������� ����FaceNet �FaceNet �������������������������� ���� LFW�Labeled embedding for face recognition and clustering. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 815-823). ������ – �� ������ – �� ������ – ������ ������ – �� ������ Wen, Jian Sun. Bayesian face revisited: a joint formulation. 2012, european conference on computer vision. MSRA “Feature Master” �� ��3���� � �21� �0�1 ����e�FD3F����A�L��]�gP[�����o��� �3�h��� ��� 6

⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window）”，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆ 题都是互相关联的，多模态可以缓解数据短缺，合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题：⼀家新创⽴的
AGI
公司如何超越
OpenAI？杨植麟的答案 是
tech
vision，⼀号位要能做出技术判断，同时还能拍板执⾏。⼀个具体的例⼦是，⽉之暗⾯希望⽐
OpenAI
更关⼼⽤⼾，原因是杨植麟判断⽤⼾数据的
scale
up
的效果最终会超越
base
model
⾃⾝。
OpenAI
显然是追求“登⽉”的，不⾜可能是没那么注重⽤⼾和客⼾体验。⽉之暗⾯和
OpenAI
的差 异化路径会在哪⼉？有什么是⽉之暗⾯能做⽽
OpenAI
不做的？
杨植麟：短期内关键的⼀点在于⼤家的
tech
vision
不完全相同。很多领域并不是
OpenAI
的核⼼竞争 ⼒，⽐如图⽚⽣成，DALL-E
3
⾄少⽐
Midjourney
落后⼀代。GPT
的
long-context
也并不是
state-of-

out = Flatten()(x) vision_model = Model(digit_input, out) # 然后，定义区分数字的模型 digit_a = Input(shape=(27, 27, 1)) digit_b = Input(shape=(27, 27, 1)) # 视觉模型将被共享，包括权重和其他所有 out_a = vision_model(digit_a) out_b out_b = vision_model(digit_b) concatenated = keras.layers.concatenate([out_a, out_b]) 快速开始 24 out = Dense(1, activation='sigmoid')(concatenated) classification_model = Model([digit_a, digit_b], out) 这个模型会把一张图像编码为向量。 vision_model = Sequential() vision_model.add(Conv2D(64, (3, 3), activation='relu', padding='same', input_shape=(224, 224, 3))) vision_model.add(Conv2D(64, (3, 3), activation='relu')) vision_model

describe the general principles of Self-Supervised learning which are applicable to both language and vision. We will also demonstrate its efficacy through a colab. Finally, we introduce miscellaneous techniques steps: 1. Pre-training: This step teaches the model about the world it is operating in (language, vision, multimodal) through certain tasks which ensure that the model learns general representations of e-books, Wikipedia and other sources for NLU related models, and web images & videos for computer vision models. We can then construct the final dataset for the pretext task by simply masking the input

解决方案 Azure Machine Learning • Your data • Your model Azure Custom Vision • Your data • Our model Azure Computer Vision • Our data • Our model 解决方案 ToB: AI + IoT https://github.com/jxtxzz Functions • Azure Stream Analytics • Azure Machine Learning • Azure Custom Vision 使用 VS Code 进行开发 1. 使用 Azure Custom Vision 构建 image classifier 2. 把 image classifier 导出为 Docker 项目 3. 创建 IoT Edge solution IoT Edge solution 到边缘设备 https://docs.microsoft.com/en-us/azure/iot-edge/tutorial-deploy- custom-vision 展望未来 Azure Notebook 与 VS Code 各有所长 • Azure Notebook • 便捷性 • 连接到云端环境 • VS Code • 编辑功能 • 版本控制

Metrics 效能改进的愿景 目标 Vision Metrics 改进是系统工程 System improvement 没有度量量的管理理，就是… Content 好的度量是什么 What’s Good Metrics 研发效能度量体系 R&D Efficiency Metrics 效能改进的愿景 目标 Vision Metrics 改进是系统工程 System 要简单 Content 好的度量是什么 What’s Good Metrics 研发效能度量体系 R&D Efficiency Metrics 效能改进的愿景 目标 Vision Metrics 改进是系统工程 System improvement 研发效能的度量量 需求响应周期 持续发布能力 交付吞吐率 交付过程质量 交付质量 交付周期 开发周期 其分布情况和解决时长等。 Content 好的度量是什么 What’s Good Metrics 研发效能度量体系 R&D Efficiency Metrics 效能改进的愿景 目标 Vision Metrics 改进是系统工程 System improvement 早期愿景⽬目标：2-1-3 从想法提出并确认，到上线的时间 从需求设计完成到上线的时间 在集成过程中，对变更的测试验证时长