- 本文正在参与“拥抱开源|涛思数据TDengine有奖征稿:投稿地址。
文章目录
- 一、前言
- 二、物联网数据十大特点
-
- 1、时序性
- 2、结构化
- 3、采集唯一性
- 4、低频更新删除
- 5、保留周期
- 6、主写辅读
- 7、流量平稳
- 8、实时计算
- 9、查找指定
- 10、数据量巨大
- 三、TDEngie 的特点
-
- 1、针对性
- 2、轻量级
- 四、TDEngine 的应用场景
-
- 1、监控
- 2、出行工具
- 3、大型机械
- 4、自然环境
- 5、大型建筑
- 6、发电设备
- 7、智慧城市
- 8、各种记录
- 9、日志
一、前言
本文将介绍 TDengine 的特点和应用场景。需要明确的是, TDengine 是一个物联网大数据平台,是解决物联网大数据问题的,不适用于互联网大数据,所以我们首先需要了解物联网数据的特点。
TDEngine为我们总结出了物理网数据的十大特点。那么接下来,我们先来了解下物联网数据的十大特点。
二、物联网数据十大特点
1、时序性
- 物联网数据,所有数据采集的时候都是时序的。即所有数据都是按照时间顺序,源源不断的产生的。
2、结构化
- 物联网的数据,所有数据都是结构化的。
- 什么是结构化呢?
- 对于 MYSQL 的数据,它就是结构化的,我们能够清晰的知道它的每一列数据的类型,这样就能够设计出较好的序列化和反序列化方案。
- 对于互联网数据,一般都是非结构化的,例如,我们爬虫程序爬来的数据,可能是视频,也可能是音频。
- 而对于物联网的数据,比如智能电表,采集到的电压、电流、温度等等都是结构化数据,我们能够清晰的知道它的数据类型,要么整数,要么浮点数。如图所示:
3、采集唯一性
- 物联网的数据,采集点的数据源是唯一的。比如,对于智能电表而言,这个数据一定是一台固定的智能电表生成的。
4、低频更新删除
- 物联网的数据,基本没有更新或者删除操作。就好比是日志数据,采集到以后就一直放在数据库里了。
5、保留周期
- 物联网的数据,一般会有一个保留周期。由于数据量巨大,数据的存储成本还是比较高的,我们有可能保留三个月删除,保留一个月删除,所以删除都是按照时间周期来删的。
- 例如,你自己规划好的一些文件夹,按照时间戳来建立文件夹。如图所示:
- 那么我们在进行数据删除的时候,就可以指定文件夹删除,很方便。
6、主写辅读
- 物联网的数据,主要是以写入为主,读取为辅。不像互联网的数据,我发一个朋友圈人人都会去看一样,物联网的数据,没人什么人会去看它的原始数据,一般只有机器学习的算法才会去分析它扫描它。因此,它是写为主,读为辅的。
7、流量平稳
- 物联网的数据,流量平稳。
- 例如,智能电表,每过10分钟采集一条数据,一天采集的数据也是确定的,打个比方,一天采集 144 条。所以它的流量,是可以比较准确的计算出来的。
- 而不像,互联网的数据,在双十一的这一天,它的流量会比平日以成数百倍的增长。
8、实时计算
- 物联网的数据,都有统计、聚合的实时计算的操作。
- 这一点和互联网的数据有很大不同点,互联网数据采集到以后,运用机器学习算法,对你的数据进行分析加工,可以不马上给出反馈。
- 例如,你刷抖音,刷的很爽,一直刷一直爽,是因为背后的推荐算法,一直在给你推荐你喜欢的内容。然而,这一步操作,不需要实时计算,它可能是收集了大量数据后,在你睡觉的时候偷偷计算的。
- 但是在物联网的场景下,有时候需要运维监测预警,如果不实时,几乎就失去了它的意义。
9、查找指定
- 数据的查找一定是指定时间段或者空间段的。
- 什么意思呢?
- 例如,智能电表采集的数据,进入后台以后,我要查找,一定是按照时间范围来查找,或者按照区域来查找的。我想知道整个杭州西湖区的用电情况。
10、数据量巨大
- 数据量巨大,主要还是因为我们需要根据这些数据做分析,只有大采样的情况,才能更加准确的分析事物的真是特性。
三、TDEngie 的特点
1、针对性
- TDengine 是专门用来做物联网的,所以它充分的利用了物联网的这十大特点。很具有针对性
2、轻量级
- TDEngine 的产品非常轻巧,整个下载包不到 3M的大小。
- 之所以会如此轻量级,是因为它没有调用任何的开源库,所有组件都是基于源码开发。包括但不限于:存储、计算、集群调度、集群管理、SQL解析、数据同步。
- 作为一个专业的物联网大平台,它是专门为物联网大数据设计的。并不是一个通用的大数据平台。因此,它不适合做电商、社区、舆情。
四、TDEngine 的应用场景
- TDEngine 的应用场景包括但不限于以下几类:
1、监控
- IT基础设施、服务器机房、各种应用包括游戏数据的检测和分析。
- 例如我们游戏过程中,玩家可能有各种行为:登录登出,移动,购买,我们可以利用 TDEngine 每隔一段时间采集一些数据,然后再由 granfana 进行可视化图形展示。
2、出行工具
- 自行车、滴滴、高铁、轮船、飞机 等各种出行工具的数据采集以及检测分析。
3、大型机械
- 例如,电梯、机床、挖掘机等等的各种大型设备的实时监测和分析。
4、自然环境
- 空气、天气、湖泊、河流、地址、森林 等等环境的检测。
5、大型建筑
- 油井的开采、运输管线、加油站的实时监测。
6、发电设备
- 智能电表、国家电网、配网以及各种发电设备的实时监测和分析。
7、智慧城市
- 智能电表、智能水表、城市管线、智慧家庭、智慧城市等等。
8、各种记录
- 上网记录、通话记录、金融证券交易记录的检测和分析。
9、日志
- 各种结构化的日志处理。