小白教你用java模仿大数据物联网项目系列——环保vocs监测
- 一、前言
- 二、数据处理
-
- 数采仪（难度：基础）
- 解析hj212数据（难度：基础）
- 数据入库
-
- 重点：实时数据库mongdb
- redis数据库
- mysql数据库
- 三、效果：环保vocs监测系统
-
- 后台
- 前端
- 微信小程序端
一、前言
本物联网系列
一、用netty做一个环保hj212协议即时通讯工具
二、零基础用uniapp快速开发实现MQTT设备中心附后台接口
三、MQTT服务器搭建实现物联网通讯
四、springboot + rabbitmq 做智能家居以及web显示未读消息
小编最近在实战企业版物联网监测项目，模仿的是某大厂的项目，仅参考了数据库和前端业务逻辑…其他都靠猜…基本用时1个半月，一个人做查询部分，一个人做增加部分
思路 =====》 1.数采仪数据解析——2.数据处理（数据清洗）——3.后台业务处理（目前更多的是查询） ——4.页面展示 （目前还未能考虑到性能，
大数据主要涉及了mongdb，数据库分了两种：关系型数据库 mysql, 非关系型数据库redis，mongdb
mongdb:主要是放了数据采集仪接收到的实时数据、和各种报警数据
redis：主要记录在线数据（来处理实现离线数据的显示；）
mysql：主要记录了站点 与企业、设备、用户的一些普通数据
二、数据处理
数采仪（难度：基础）
接受、解析 数采仪发送的数据：
– 1.理解为操作数采仪、和我们的接收的电脑 为同一个端口
数采仪通过ip报文的形式通过这个端口（6666）发送给电脑（6666），电脑要打开这个端口，通过网络助手终端工具能获取到这个端口的数据。
解析hj212数据（难度：基础）
参考环境212标准进行解析
思路：首先我们参考了网上的一些现有的资料，其次根据hj212来，用java语言解析，方法大概是字符串一点点的解析；比如实时数据，分钟数据，小时数据都有不同的编码，其次2005，和2017协议的数据报文形式有点不同；主要我之前在网上找到的yimeiao解析工具，05协议接收不到（我同事解析的时候说是不难的，协议没啥不一样）。
核心代码
package BOOT-INF.classes.com.shbykj.utils.net;
import com.mongodb.client.FindIterable;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoCursor;
import com.mongodb.client.MongoDatabase;
import com.mongodb.client.model.Filters;
import com.shbykj.pojo.RealData;
import com.shbykj.service.DivisorService;
import com.shbykj.service.PointInfoService;
import com.shbykj.utils.DateUtils;
import com.shbykj.utils.config.CollectionMapping;
import com.shbykj.utils.core.T212Parser;
import com.shbykj.utils.db.MongoDBConnection;
import com.shbykj.utils.db.RedisConnection;
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelFutureListener;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.util.CharsetUtil;
import io.netty.util.concurrent.GenericFutureListener;
import java.io.StringReader;
import java.math.BigInteger;
import java.net.SocketAddress;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.CopyOnWriteArrayList;
import org.bson.Document;
import org.bson.conversions.Bson;
import org.springframework.beans.factory.annotation.Autowired;
import redis.clients.jedis.Jedis;
public class TCPHandler extends SimpleChannelInboundHandler {
@Autowired
private DivisorService divisorService;
@Autowired
private PointInfoService pointInfoService;
private static final MongoDatabase DATABASE = MongoDBConnection.getDatabase();
private static final Jedis JEDIS = RedisConnection.getJedis();
public static final List list = new CopyOnWriteArrayList();
protected void channelRead0(ChannelHandlerContext ctx, ByteBuf m) throws Exception {
byte[] data = new byte[m.readableBytes()];
m.readBytes(data);
String msg = new String(data, CharsetUtil.UTF_8);
SocketAddress address = ctx.channel().remoteAddress();
System.out.println(address.toString().substring(1) + "---" + (new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")).format(new Date()));
System.out.println(msg);
RealData realData = parse(msg);
MongoCollection connection = DATABASE.getCollection("point_info");
Bson bson = Filters.eq("mn", realData.getMn());
FindIterable documents = connection.find(bson);
for (MongoCursor mongoCursor1 = documents.iterator(); mongoCursor1.hasNext(); ) {
Document document = mongoCursor1.next();
Integer id = (Integer)document.get("pointId");
realData.setPointId(id);
}
if (realData == null)
return;
if (!msg.contains("CN=2011")) {
Document document = (new Document("dataTime", realData.getQn())).append("mn", realData.getMn()).append("pointId", realData.getPointId()).append("metrics", realData.getData());
if (msg.contains("CN=2051"))
MongoDBConnection.getConnection(CollectionMapping.MINUTE.getcollectName()).insertOne(document);
if (msg.contains("CN=2061"))
MongoDBConnection.getConnection(CollectionMapping.HOUR.getcollectName()).insertOne(document);
if (msg.contains("CN=2031"))
MongoDBConnection.getConnection(CollectionMapping.DAY.getcollectName()).insertOne(document);
} else {
Document document = (new Document("dataTime", realData.getQn())).append("mn", realData.getMn()).append("pointId", realData.getPointId()).append("metrics", realData.getData());
MongoDBConnection.getConnection(CollectionMapping.SECOND.getcollectName()).insertOne(document);
}
Bson bson1 = Filters.eq("mn", realData.getMn());
FindIterable docs = connection.find(bson1);
for (MongoCursor mongoCursor2 = docs.iterator(); mongoCursor2.hasNext(); ) {
Document doc = mongoCursor2.next();
Integer pointId = doc.getInteger("pointId");
JEDIS.hset("onlineLastTime", Integer.toString(pointId.intValue()), (new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")).format(new Date()));
}
}
private RealData parse(String msg) {
RealData realTimeData = new RealData();
String dataTime = "";
try {
StringReader reader = new StringReader(msg);
T212Parser t212Parser = new T212Parser(reader);
char[] header = t212Parser.readHeader();
char[] dataLen = t212Parser.readDataLen();
char[] data = t212Parser.readData(Integer.parseInt(new String(dataLen)));
char[] readCrc = t212Parser.readCrc();
int crc = T212Parser.crc16Checkout(data, data.length);
if (Integer.parseInt((new BigInteger(new String(readCrc), 16)).toString()) == crc) {
String str = new String(data);
String[] strings = str.substring(0, str.length() - 2).split(";");
Map>> map2 = new HashMap();
Map> map1 = new HashMap();
boolean flag = false;
for (int i = 0; i 0 && strings[i - 1].contains("CP")) || flag) {
if (strings[i - 1].contains("CP"))
flag = true;
String[] strings2 = strings[i].split(",");
Map map = new HashMap();
for (int j = 0; j 解析效果：
数据入库
重点：实时数据库mongdb
mongdb有两种业务点
一.实时数据业务显示（按数据类型就是换一个表名）
难点：分页查询、显示成前端所需要的格式：代表着前台显示的数据是在后台在数据库查询的数据组装的
mongdb聚合函数实现大数据量的分页查询参考
1.学会实用mongdb的高级聚合函数，springboot集成spring-data-mongdo，这样既实现了多种查询，和大数据量分页，大数据量优化查询迭代也比较好修改；注意管道查询的顺序与大数据排序需要一个参数来开启，xxxx：true
2.查询时的小技巧：先把mongdb语句写好在mongdb能查询出正确的数据，然后在用java来一点点的“翻译“处理
3.后台处理成前台数据：学会使用org.json.JsonObject,根据key遍历对象，重点先要知道自己前台需要什么样的数据格式，然后后台再一点点的调试，一点点的组装
二.报警数据业务显示（超标数据，异常数据，零值数据，恒指数据）
redis数据库
难点：数据库分库查询，可能涉及到集群，还未深入涉及
springboot集成redis
mysql数据库
前面说过mysql装的是一些普通数据，比如站点信息表，企业信息表，站点与企业中间表，用户信息，设备信息，还有其他等等。
1.这里涉及到一个重要的信息表：站点表，站点表里主键id和mn都是是唯一的，这样就形成了一个站点与数采仪的mn对应关系
2.同时有离线表记录信息
三、效果：环保vocs监测系统
后台
主要模块
1.客户管理
企业管理、站点管理、设备管理、因子管理、企业用户管理
2.系统管理
报文日志、用户管理、权限管理
3.地图监控
4.数据中心
实时监测、恒值预警、零值预警、异常预警、超标预警、数据报表、设备报警技术选型：springboot+mybatis+mongdb+mysql+redis
其他技术：poi报表功能，excel下载
前端
技术选型：layui+echarts+thymeleaf
其他技术：百度地图，
这个监测页面比较重要（我几乎把整个系统完成到最后才来处理这个页面的逻辑）：用了mysql+mongdb+redis
实现是否在线+异常实时的监测
微信小程序端
微信授权：
登录授权成功后:
监测站点页面：
实时数据页面：
