获取wiki某网页信息shell即获取wiki子目录信息-shell
2017-08-15 21:57
459 查看
#!/bin/bash
##################################################
##################################################
set -e
##需要参数
if [ $# -eq 0 ];then
echo "需要参数,例如下面命令"
echo "sh $0 -h"
exit 1
fi
##shell需要jq命令
#apt-get install -y jq 1>/dev/null 2>&1
##获取 wiki tower记录,下载到本地 towerCount.js ##############################################
wget -O towerCount.js "http://xxurl/wiki/page.json?pageid=xx" 2>/dev/null
##获取id、title、url,并显示在页面
cat towerCount.js |jq . |grep -E "id|title|url"
##获取tower内容,并写入到文件
cat towerCount.js |jq .data.content |sed 's#<p>\|<br />#\n#g'|sed 's# \|</p>\|"\|style=\color##g'|sed '/^$/d' > towerContent.txt
##对tower内容,进行条件输出
while getopts "n:d:ah" arg
do
case $arg in
n)
head -n $OPTARG towerContent.txt
;;
d)
head -n1 towerContent.txt;cat towerContent.txt|grep $OPTARG
;;
a)
cat towerContent.txt
;;
h)
echo "sh $0 -n num(行数), 显示最近n天的记录 sh $0 -n 2"
echo "sh $0 -d date 显示这天的记录 example: sh $0 -d 2017-8-01"
echo "sh $0 -a 显示所有的记录 example: sh $0 -a"
echo "sh $0 -h 显示帮助 example: sh $0 -h"
;;
?)
echo "unkonw argument; sh $0 -n num(行数) or -d 2017-08-12 or -a"
;;
esac
done
##################################################
##################################################
set -e
##需要参数
if [ $# -eq 0 ];then
echo "需要参数,例如下面命令"
echo "sh $0 -h"
exit 1
fi
##shell需要jq命令
#apt-get install -y jq 1>/dev/null 2>&1
##获取 wiki tower记录,下载到本地 towerCount.js ##############################################
wget -O towerCount.js "http://xxurl/wiki/page.json?pageid=xx" 2>/dev/null
##获取id、title、url,并显示在页面
cat towerCount.js |jq . |grep -E "id|title|url"
##获取tower内容,并写入到文件
cat towerCount.js |jq .data.content |sed 's#<p>\|<br />#\n#g'|sed 's# \|</p>\|"\|style=\color##g'|sed '/^$/d' > towerContent.txt
##对tower内容,进行条件输出
while getopts "n:d:ah" arg
do
case $arg in
n)
head -n $OPTARG towerContent.txt
;;
d)
head -n1 towerContent.txt;cat towerContent.txt|grep $OPTARG
;;
a)
cat towerContent.txt
;;
h)
echo "sh $0 -n num(行数), 显示最近n天的记录 sh $0 -n 2"
echo "sh $0 -d date 显示这天的记录 example: sh $0 -d 2017-8-01"
echo "sh $0 -a 显示所有的记录 example: sh $0 -a"
echo "sh $0 -h 显示帮助 example: sh $0 -h"
;;
?)
echo "unkonw argument; sh $0 -n num(行数) or -d 2017-08-12 or -a"
;;
esac
done
相关文章推荐
- shell获取网页信息并保存到数据库中
- 网页获取"活动目录"里信息时的报错:服务器不可操作
- Shell下获取Android设备信息
- 支付宝二(网页授权获取用户信息)
- 微信网页第三方登陆 获取用户信息 代码
- python获取网页amf的信息
- 用以获取网页源码并转码的方式。(新闻标题信息采集)
- 微信开发笔记——微信网页登录授权,获取用户信息
- Java基础之访问文件与目录——获取与文件存储有关的信息(GetFileStores)
- 使用网页抓取技术获取自己World Community Grid任务信息的经历
- adb shell 命令获取设备参数信息
- 微信开发之网页授权获取用户信息
- Shell获取某目录下所有文件夹的名称
- [shell-基础] 获取终端信息
- 微信公共平台接入之:网页授权(微信授权,微信access_token获取,获取微信用户信息),微信开发者工具使用,微信公众平台测试号申请接入
- shell中获取android源码编译输出目录
- stat(),lstat(),fstat() 获取文件/目录的相关信息
- 网页的大量数据中获取需要的信息之邮箱为例
- 使用libcurl库获取网页信息(C++ php)
- Web入侵安全测试与对策学习笔记之(二)——获取目标信息之猜测文件与目录