您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

zabbix清理历史数据(zabbix系列（十二) 监控MongoDB业务数据)

数据,脚本,当天zabbix清理历史数据(zabbix系列（十二) 监控MongoDB业务数据)

发布时间：2019-02-08加入收藏来源：互联网点击：

目录

一、简介

二、部署说明

2.1编写python程序进行获取mogno数据

2.2、上传python脚本至服务器，并测试通过

2.3、配置zabbix web页面，获取数据入库

2.4 、配置grafana展现数据,详细配置可参考我之前的grafana文章

---

一、简介

网上有很多的zabbix监控mongodb的性能模版，但很少有调用获取mongo中的表数据的，因为公司需要做业务监控，所有就做了一下，基本思路是通过
1、python获取mongo表数据，python获取到数据后做逻辑计算

2、zabbix调用python获取数据入库，并配置触发器进行监控

3、grafana调用zabbix的api接口进行数据可视化展现

环境介绍：

服务器版本：centos7

python版本：3.6

zabbix版本：3.4.10

grafana版本 ：4.6.3

mongodb版本：3.0 （集群） 被监控的表为

各个服务的搭建本文中就不介绍了，需要了解的同学可以去找我的zabbix系列文章，下面进行说明

二、部署说明2.1编写python程序进行获取mogno数据

先通过工具，查询下mongo数据，推介工具nosqlbooster for mongodb

mac的版本有需要的可以从这里下载：https://pan.baidu.com/s/13ypUT9LWEpisRoRICmNjPg

windows版本从这里下载：https://pan.baidu.com/s/1EU3Q4XudiCX57ZYIoszQtw

​

编写python脚本zabbixmongodb.py，脚本如下：

#!/usr/bin/env python3# -*- coding:utf-8 -*-import jsonimport datetimeimport timeimport loggingimport sysimport osimport subprocessimport pymongo class zabbixmongodb: #写入日志 def console_out(self,message,loglevel): filenames=sys.path[0] '/logs/zabbixmongodb.' str(datetime.datetime.now().strftime("%Y%m%d")) '.log' # 这里进行判断，如果logger.handlers列表为空，则添加，否则，直接去写日志 logging.basicConfig( level=logging.INFO, # 定义输出到文件的log级别，大于此级别的都被输出 format='%(asctime)s %(filename)s : %(levelname)s %(message)s', # 定义输出log的格式 datefmt='%Y-%m-%d %A %H:%M:%S', # 时间 filename=filenames, # log文件名 filemode='a') # 写入模式“w”或“a” # 配置这一段是为了输出至屏幕 #console = logging.StreamHandler() # 定义console handler #console.setLevel(logging.INFO) # 定义该handler级别 #formatter = logging.Formatter('%(asctime)s %(filename)s : %(levelname)s %(message)s') # 定义该handler格式 #console.setFormatter(formatter) #logging.getLogger().addHandler(console) # 实例化添加handler if(loglevel=='info'): logging.info(message) elif(loglevel=='error'): logging.error(message) else: logging.info(message) # 配置这一段是为了输出至屏幕 #输出完需要清理 #logging.getLogger().removeHandler(console) def selmongodata(self): #数据库环境 mongoenv="dev" #客户编号 appCode="" #场景 orderType="" #供应商 channel="" #业务 yewu="" try: mongoenv = sys.argv[1] appCode = sys.argv[2] orderType = sys.argv[3] channel = sys.argv[4] yewu = sys.argv[5] except Exception as err: loginfo='workcode:【' workcode '】,【---输入参数有误error---】【' err '】' this.console_out(loginfo,'error') print('error') #终止任务 sys.exit(0) mongoconf="" if mongoenv=="dev": mongoconf=DEV_MONGO_HOST elif mongoenv=="stg": mongoconf=STG_MONGO_HOST elif mongoenv=="pro": mongoconf=PRO_MONGO_HOST else: mongoconf=DEV_MONGO_HOST myquery = { "appCode": appCode ,"orderType":orderType,"channel":channel} loginfo='workcode:【' workcode '】,【---执行查询命令---】数据库环境:【' mongoenv '】,查询条件:【' str(myquery) '】' this.console_out(loginfo,'info') try: myclient=pymongo.MongoClient(mongoconf) mydb=myclient["boluome"] mycol=mydb["data_statistics"] s_str=mycol.find_one(myquery) #print(type(s_str),type(s_str),s_str) loginfo='workcode:【' workcode '】,【---执行查询命令---】,返回值:【' str(s_str) '】,查询条件:【' str(myquery) '】' #{'_id': ObjectId('5bf64f5be4ba49123aef2cda'), --数据库uuid # 'appCode': 'zjrcu', --客户编号 # 'orderType': 'waimai', --场景 # 'channel': 'eleb', --供应商 # 'updatedAt': 1544429100000, --更新时间戳 # 'orderCountNum': 128, --当天下单总量 # 'orderPayNum': 117, --当天支付订单量 # 'orderCancelNum': 11, --当天取消订单量 # 'orderTobePayNum':0, --当天待支付订单量 # 'date': '2018-12-10 16:05'} --数据更新时间 print(s_str[yewu]) this.console_out(loginfo,'info') myclient.close() except Exception as err: loginfo='workcode:【' workcode '】,【---执行查询命令---】,返回值:【' str(err) '】,查询条件:【' str(myquery) '】' this.console_out(loginfo,'error') #若异常返回 print('error') #生成配置文件 def setmongoconf(self,mongoconf): myclient=pymongo.MongoClient(mongoconf) mydb=myclient["boluome"] mycol=mydb["data_statistics"] s_str=mycol.find() #print(type(s_str),type(s_str),s_str) #{'_id': ObjectId('5bf64f5be4ba49123aef2cda'), --数据库uuid # 'appCode': 'zjrcu', --客户编号 # 'orderType': 'waimai', --场景 # 'channel': 'eleb', --供应商 # 'updatedAt': 1544429100000, --更新时间戳 # 'orderCountNum': 128, --当天下单总量 # 'orderPayNum': 117, --当天支付订单量 # 'orderCancelNum': 11, --当天取消订单量 # 'orderTobePayNum':0, --当天待支付订单量 # 'date': '2018-12-10 16:05'} --数据更新时间 pythons="/etc/zabbix/qingyunsdk/zabbixmongodb.py" huanjing="dev" for x in s_str: strs_orderCountNum="UserParameter=mongodata-" huanjing "-" x["appCode"] "-" x["orderType"] "-" x["channel"] "-orderCountNum," pythons " " huanjing " " x["appCode"] " " x["orderType"] " " x["channel"] " orderCountNum" strs_orderPayNum="UserParameter=mongodata-" huanjing "-" x["appCode"] "-" x["orderType"] "-" x["channel"] "-orderPayNum," pythons " " huanjing " " x["appCode"] " " x["orderType"] " " x["channel"] " orderPayNum" strs_orderCancelNum="UserParameter=mongodata-" huanjing "-" x["appCode"] "-" x["orderType"] "-" x["channel"] "-orderCancelNum," pythons " " huanjing " " x["appCode"] " " x["orderType"] " " x["channel"] " orderCancelNum" strs_orderTobePayNum="UserParameter=mongodata-" huanjing "-" x["appCode"] "-" x["orderType"] "-" x["channel"] "-orderTobePayNum," pythons " " huanjing " " x["appCode"] " " x["orderType"] " " x["channel"] " orderTobePayNum" print(strs_orderCountNum) print(strs_orderPayNum) print(strs_orderCancelNum) print(strs_orderTobePayNum) myclient.close() if __name__ == '__main__': #本次任务的编号 workcode=datetime.datetime.now().strftime("%Y%m%d%H%M%S.%f") this=zabbixmongodb() #数据连接参数说明 #配置说明 # authSource=admin 验证用、 # replicaSet=foba 副本集群模式，副本名称为foba； # readPreference=secondaryPreferred 当主节点不能读取时候会自动切换至从节点读取 ， # serverSelectionTimeoutMS=3 设置超时后重试3次，测试下来基本1秒左右。如果不加这个会一直重试，30秒结束 DEV_MONGO_HOST = 'mongodb://root:密码@192.168.0.7,192.168.0.10/?authSource=admin&replicaSet=foba&readPreference=secondaryPreferred&serverSelectionTimeoutMS=3' STG_MONGO_HOST = 'mongodb://root:密码@192.168.2.3,192.168.2.4/?authSource=admin&replicaSet=foba&readPreference=secondaryPreferred' PRO_MONGO_HOST = 'mongodb://root:密码@mongo-m.localdomain,mongo-s.localdomain,mongo-s2.localdomain/?authSource=admin&replicaSet=foba&readPreference=secondaryPreferred' #生成配置文件，zabbix时候调用,执行python3 /Users/ll/Desktop/work/gogs/qingyunsdk/zabbixmongodb.py > /Users/ll/Desktop/work/gogs/qingyunsdk/dev-mongo.conf #this.setmongoconf(DEV_MONGO_HOST) #执行查询命令 this.selmongodata()

 1/2    1 2 下一页 尾页