杂七杂八的物联网学习

一、MQTT

实现一对多通信（发布或订阅型协议）

由中介（broker）、发布者（publisher）与订阅者（subscriber）构成

（1）订阅者连接中介，向中介订阅主题A

（2）发布者连接中介，发布主题A

（3）中介把主题A转发给订阅者

订阅者持续连接中介，发布者1:N订阅者，在物联网中，设备相当于发布者，服务器相当于订阅者

订阅者和发布者只需要知道中介的地址

发布/订阅的主题采用分层结构，例如：
/sensor/temperature/#  等同于  以/sensor/temperature/开头的所有主题

/sensor/+/room1  等同于  以/sensor/ 开头 以/room1结尾的所有主题

 

二、QoS

Quality of Service 服务质量：网络安全机制，解决网络堵塞和网络延迟

在“发布者与中介之间”与“中介与订阅者之间”都存在QoS，在MQTT协议中存在三个等级的QoS

（1）QoS 0 （at most once）最多发一次：遵循TCP/IP “尽力服务”原则（best effort）

         网络发生堵塞时，不管用户或者应用，马上丢包，减少业务量     所以不保证消息到达

（2）QoS 1 （at least once ）至少发一次

发布者将主题A发送给中介，中介收到主题后，给发布者发送PUBACK，然后中介将主题A发送给订阅者

若在一定时间之内发布者没有收到PUBACK，则会再次向中介发送该主题

（3）QoS 2（exactly once）精确发送一次

发布者发送主题给中介，中介返回PUBREC，发送者发送PUBREL给中介，中介返回PUBCOMP，后中介将主题发送给订阅者。

QoS 1+QoS 2 ：避免收到重复的消息

人们通常采用QoS 0 ，减少网络负担

 

三、retrain

订阅者只能接收到订阅之后发布的消息，发布者若发布了带有retrain标志的消息，则中介会将消息传递给订阅该主题的订阅者，并将带有retrain标志最新的消息存储下来，若有新的订阅者出现，则会立即接收到带有retrain标志的最新消息。
 

四、数据格式

文本数据格式：以XML、Json为主，XML易读，但是Json数据量相对较小

图像、音频：二进制——>MessagePack

 

五、批处理与流处理

1、批处理：将需要处理的数据存储起来，定期处理

（1）分布式处理平台 hadoop

拥有 MapReduce机制 与 分布式文件系统 HDFS 

MapReduce机制能够高效地处理数据，由map、shuffle与reduce三部分构成

map将数据进行分类，shuffle将不同节点、种类相同的数据归类，reduce将分类好的数据整合到一起

 

分布式文件系统能够将数据分割存入多个磁盘

 

（2）分布式处理平台Spark

RDD弹性分布数据集 ：能够把数据放在内存上进行处理，RDD使用过的内存不能够写入，所以要在新的内存上展开处理结果

 

2、流处理：不保存数据，实时进行处理

 

六、数据库

关系型数据库RDB 在对于图像与音频等二进制数据的保存，一般将图像存在文件夹，将图像的数据路径存在RDB。

数据库把数据存储在硬盘，所以经常要对磁盘进行访问，所以处理速度较慢。

 

键值存储（NoSQL的一种）

（1）数据保存在内存：高速保存数据，但软件停止运行，数据丢失，因此多作为缓存

（2）数据保存在硬盘：存取速度慢

Redis：通常将数据存储在内存，随时可以讲数据保存到硬盘

 

文档行数据库（NoSQL的一种）

以结构化文档的格式保存数据（如XMl或Json） MongDB——Json格式

 

 

 

本文地址：https://blog.csdn.net/cutebaboon/article/details/108560795