【亲测好用!】shell批量采集百度下拉框关键词
2015-10-17 11:10
519 查看
【亲测好用!】shell批量采集百度下拉框关键词
SEO工具 方法 11个月前 (11-18) 2153浏览 3条评论 百度已收录一直想写一篇用shell采集百度下拉框关键词的教程,个人感觉用shell来采集的话速度和效率都会更高一点。因为前面写过一篇用火车头采集百度下拉框关键词的教程,操作步骤稍微多了些,很多朋友看完了仍然不知道怎么做,然后QQ问我,教程都写得很清楚明了,只要对照着来做,一定会成功的。
——————————-2015年5月22日补充——————————-
刚看到小五给了一个可以批量采集百度下拉框的百度接口,简单修改下,已经用shell实现了批量采集,代码如下:
采集单个词测试一下:
curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=seo"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g'
效果如下图所示:
指定一批母词,批量采集代码:
cat kws.txt|while read line;do curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done
效果如下图,如果你的母词很多的话,建议在代码后面加一个重定向命令,将结果实时写入到文件中,这样比较好复制一些。给出完整代码吧:
cat kws.txt|while read line;do curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done >ok.txt
结果会实时写入ok.txt文件中。
shell批量采集百度下拉框关键词另一个可用的百度API:
cat kws.txt|while read line;do curl -s http://suggestion.baidu.com/su?wd=$line=$line|iconv -f gbk -t utf-8|grep -oP '(?<=").*?(?=")'|egrep -v "baidu|,";done
效果如下图:
采集效率如下图,217个母词,不到一分钟采集到了416个下拉词,效率如何?
转载请注明:方法SEO顾问 » 【亲测好用!】shell批量采集百度下拉框关键词
相关文章推荐
- 第 三 十 三 天:shell编程之一键安装LAMP/LNMP
- 编写更好 Bash 脚本的 8 个建议
- shell学习的点点滴滴―启动脚本
- 学习的点点滴滴shell+sql
- 编写更好 Bash 脚本的 8 个建议
- 解决Window系统adb shell后中文显示乱码
- powershell 调用winform dll
- shell取余数
- shell脚本批量监控Linux server配置文件的更改
- Shell 脚本编程陷阱
- Linux学习 -- Shell基础 -- Bash基本功能
- 自动登录多个IDC机房(expect+shell)
- Linux学习 -- Shell基础 -- 概述
- 【转载】HBase基本概念和hbase shell常用命令用法
- shell三剑客之awk(一)
- 小议:利用PowerShell配置SharePoint Report Service出错的解决方案
- java通过thrift调用python远程执行shell
- win7 cmd终端连接android手机运行adb shell脚本命令
- shell脚本编程:bash shell中的条件判断
- shell bash使用,包括判断文件或文件夹是否存在举例