shell应用:统计指定格式超过n秒的数据
来源:互联网 发布:step打开软件 编辑:程序博客网 时间:2024/06/12 01:28
该脚本的应用场景是数据分析,一般作线上日志分析的人员需要观察线上数据的变化,如:
1.访问数据库的响应大于1000毫秒的sql
2.apache cookielog响应大于多少毫秒的数据
数据格式:
2010-12-14 00:01:26,427 FATAL FUNCTION_TIME - wmmad.alloffer.get 15511ms2010-12-14 00:01:33,164 FATAL FUNCTION_TIME - wmmad.alloffer.get 14213ms2010-12-14 00:02:31,021 FATAL FUNCTION_TIME - wmmad.alloffer.get 14126ms2010-12-14 00:05:08,160 FATAL FUNCTION_TIME - wmmad.alloffer.get 15295ms2010-12-14 00:24:00,372 ERROR FUNCTION_TIME - wmmad.offer.repost 406ms
脚本:
#/bin/bash# author: madding.lip# date 2010.12.14# 统计超n毫秒的数据量ERROR_USAGE=1if [ $# != 2 ]; then echo "Usage: $0 file times"; exit $ERROR_USAGEfimyfile=$1mytime=$2all=0count=0;data=`cat $myfile | awk '{print $7}' | sed 's/ms//g'`;for i in $data ;do all=$(( $all + 1 )); if test $(( $mytime < $i )) -eq 1 ;then# echo $i; sleep 1; count=$(( $count + 1 )); fidone;echo "response time over ${mytime}ms: "$count" times"echo "all count: "$all" times"
具体根据数据格式作调整即可。
- shell应用:统计指定格式超过n秒的数据
- shell脚本自动清理超过指定大小的文件
- shell脚本定时kill超过1小时的指定命令
- oracle 查询N秒之前的数据
- Shell命令--怎么统计文本中第一列数据满足指定条件的行数
- 指定格式日期转秒
- shell统计指定目录、指定模式的文件行数
- shell脚本删除指定目录下超过指定时间的文件
- shell实现类矩阵格式数据统计及输出(hive环境下数据的过程化处理)
- 关于数据统计的应用
- java读取Excel指定格式的数据
- 解析XML格式的指定数据
- Android获取指定应用,单独应用的流量统计
- json格式的数据应用
- 超过指定时间后数据无效
- 找出所有符合条件的记录的指定字段并分组统计个数,返回指定格式。
- shell中判断文件大小是否超过指定大小
- sqlserver 数据行统计,秒查语句
- ubuntu开启数字键
- 负数的二进制表示
- org.springframework.web.context.ContextLoaderListener
- 二极管名称中英文互译
- 简单工厂模式、抽象工厂模式和工厂方法模式异同
- shell应用:统计指定格式超过n秒的数据
- si
- sqlserver with(NOLOCK) 或 with(READPAST) 使用详解
- 关于Base64工具类并发问题
- 社交影响力指数创业公司 Klout 现在追踪 1 亿用户的分数
- DBUtil教程(五)数据库集群备份
- AMD发运首批“推土机”架构处理器
- 二极管参数中英文对照表
- new IO学习笔记(一)