-
I oT 项目组成
- 云 即云端，它负责真实世界数据的存储、展示、分析，是物联网的最上层，它是中枢和大脑，也是连接人和物的纽带；
- 管 即管道，它是物联网的网络核心，一切数据和指令均靠管道来传输，它是物联网的中间层；
- 端 即终端，它负责真实世界的感知和控制，是物联网的最底层。
云
共享单车、智能家居、智慧农业
接入云
数据云
运算云
 开发 IoT 网关
• 构建Python环境：很多IC厂商的BSP已经对Python有了很好的支持，若没有则自主移植
- 支持多种硬件接口：pyserail等，如果没有通过C语言开发
• 支持多种数据库：sqlite、mysql....
• 支持多种网络库：requests、hbmqtt....
- 性能敏感的模块采用C/C++编写库，供Python应用程序调用
Sensor / Actuator
## 物联网平台的构成
Devices
Message [Image](/uploads/documents/4/f/0/2/4f027127fcefcead42d4dbb8ac6542f7/p8_1.jpg)
8. 将新的上报状态持久化到数据库
2. 将上报状态持久化到数据库
5. 将期望状态持久化到数据库
## 设备影子业务说明
1. 设备上报状态
6. 期望状态和上报状态的差异 (delta) 同步至设备
7. 设备上报新的状态
3. 应用查询上报的状态
0 码力 |
18 页 |
1.81 MB
| 2 年前 3
-
Arrow Flight 的物联网和时序数据传输及转换工具
霍琳贺
涛思数据
## CONTENTS
自我介绍
TDengine
taosX
Rust 使用
## TDengine
TDengine 应用开发组
• Python/Rust/Go 连接器
• 数据可视化
• 数据库运维工具
• 第三方数据源接入
BI 系统接入
https://taosdata Unqlite - 单文件非关系型数据库
• Wisecondor - 生物信息 CNV 分析
• mdsn - A Multi-address DSN(Data Source Name) parser.
https://github.com/zitsen
## CONTENTS
自我介绍
TDengine
taosX
Rust 使用
## TDengine: 时序数据库
TDengine 是一款开源、云原生的时序数据库（Time Series Database），专为物联网、工业互联网、金融、IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。
## 采用关系型数据库模型
需要建库、建表，
为提升写入和查询效率，要求一个数据采集点一张表
➢ 为实现多表聚合，引入超级表概念
0 码力 |
29 页 |
2.26 MB
| 2 年前 3
-
Golang 在接入层长连接服务中的实践
黄欣
基础平台—架构部
- 背景
- 架构
- 心得
## 目录
- 背景
- 架构
- 心得
## 目录
## 背景—why 长连接?
- 业务场景
- 大量实时计算
- 司机乘客撮合
- 实时计价
- 高频度的数据交互
- 坐标数据
- 计价数据
- App和服务端双向可达 Channel使用优化
## 心得—timer优化
## • 为什么需要优化？
- 万级别的连接
- 每个连接上大量的定时任务（心跳检测，注册检测，认证检测）
实际情况：当10w左右连接，什么数据不收发，只有定时器检测心跳超时，cpu 能耗掉一个core
## · 怎么优化？
- 特点:
• 秒级别定时任务
范围最多60s
- 方案：
• 时间轮
## • 实现
- Channel
0 码力 |
31 页 |
1.67 MB
| 2 年前 3
-
## 基于Consul的多Beats接入管控与多ES搜索编排
梁成
腾讯云, barryliang@tencent.com
## 拥抱开源、释放云原生的力量
背景与挑战
多Beats/Logstash接入管控
多ES搜索编排系统
日志AIOps探索
## 背景与挑战
如何降低日志接入门槛
如何保证日志实时上报
如何保障日志采集不影响业务
如何做配置标准化
如何帮助业务快速排障 多Beats/Logstash接入 管控
提供多产品接入管理，多beats标准化、界面化、自动化的日志接入方案
## 案例:1000+业务10000+台 主机如何快速实现日志接入？
业务规模
1000+业务、10000+业务主机、每天百T日志增量
日志需求
收集业务日志文件用于故障分析与告警监控
收集主机性能数据做容量分析
日志热数据保存七天
历史数据冷备一个月
其他诉求 其他诉求
日志上报不能影响核心业务
数据上报延时可感知
传统Beats接入流程
## 系统架构
 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。
## 自建 TiDB 迁移到 TiDB 服务
UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。
## 为 TiDB 服务建立 MySQL 从库
UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。
## 为 TiDB 服务建立 TiDB 从库
UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从
库。
0 码力 |
2 页 |
42.01 KB
| 1 年前 3
-
jpg)
## MicroPython与硬件开发
黄盈樟
## 个人简介
资深嵌入式开发工程师，近几年的工作领域为开源无人机系统应用、物联网全系统应用，擅长语言是C/C++/Python，曾于国内多个重点大学开展无人机应用项目，在国内多所二本院校担任物联网专业的课程讲师。
目录 CONTENTS >> 硬件发展史与开发语言
>> MicroPython发展史
>> MicroPython实例
>> 物联网全栈开发
## 物联网时代
## 利用 InHgServer 生成 Mysql
数据库
确保 mysql
数据库中没有 IM 相关库
调整使用 Mysql 作为
数据库，并点击启动
确认启动后
数据库正确建立
| InsMsgServer Start(2017-12-17 05:59:25) |
| General | Data | Network 0 码力 |
17 页 |
1.40 MB
| 2 年前 3 -
Flink如何实时分析Iceberg数据湖的CDC数据
阿里巴巴 李劲松/胡争
FLINK FORWARD #ASIA 2020
#1
#2
#3
#4
常见的CDC
为何选择 Flink
如何实时写
未来规划
分析方案
+ Iceberg
入读取
FLINK FORWARD #ASIA 2020
## #1 常见的CDC分析方案
## 离线 HBase 集群分析 CDC 数据
↓
## MySQL 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。
4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。
FLINK FORWARD #ASIA 2020
## Apache Kudu 维护 CDC 数据集
## MySQL
## 方案评估
优点
1、支持实时更新数据，时效性佳。
2、列存加速，适合OLAP分析。
## 缺点
1、独立的Kudu集群，比较小众。维护成本高。 等割裂。数据独立，且存储成本不如 S3 / OSS。
3、Kudu的批量扫描不如parquet。
4、不支持增量拉取。
FLINK FORWARD #ASIA 2020
## MySQL → GQOOP → HVE
## 方案评估
优点
1、流程能工作
2、Hive存量数据不受增量数据影响。
## 缺点
1、数据不是实时写入；
2、每次数据导致都要 MERGE 存量数据。T+1 0 码力 |
36 页 |
781.69 KB
| 2 年前 3
|
8 安翔 Python助力物联网项目开发I oT 项目组成 - 云 即云端，它负责真实世界数据的存储、展示、分析，是物联网的最上层，它是中枢和大脑，也是连接人和物的纽带； - 管 即管道，它是物联网的网络核心，一切数据和指令均靠管道来传输，它是物联网的中间层； - 端 即终端，它负责真实世界的感知和控制，是物联网的最底层。 云 共享单车、智能家居、智慧农业 接入云 数据云 运算云  开发 IoT 网关 • 构建Python环境：很多IC厂商的BSP已经对Python有了很好的支持，若没有则自主移植 - 支持多种硬件接口：pyserail等，如果没有通过C语言开发 • 支持多种数据库：sqlite、mysql.... • 支持多种网络库：requests、hbmqtt.... - 性能敏感的模块采用C/C++编写库，供Python应用程序调用 
基于 Rust Arrow Flight 的物联网和时序数据传输及转换工具 霍琳贺Arrow Flight 的物联网和时序数据传输及转换工具 霍琳贺 涛思数据 ## CONTENTS 自我介绍 TDengine taosX Rust 使用 ## TDengine TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 BI 系统接入 https://taosdata Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. https://github.com/zitsen ## CONTENTS 自我介绍 TDengine taosX Rust 使用 ## TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（Time Series Database），专为物联网、工业互联网、金融、IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 ## 采用关系型数据库模型 需要建库、建表， 为提升写入和查询效率，要求一个数据采集点一张表 ➢ 为实现多表聚合，引入超级表概念0 码力 | 29 页 | 2.26 MB | 2 年前3