大数据开发2016年11-21到2016-12-29积累

2016\\11\\22

1.java如何获得linux下web路径：

java获取根路径有两种方式：

1),在servlet可以用一下方法取得：

request.getRealPath(“/”) 例如：filepach
= request.getRealPath(“/”) ”//upload//”;

2),不从jsp,或servlet中获取,只从普通java类中获取：

String path =

getClass().getProtectionDomain().getCodeSource().getLocation().getPath();

SAXReader() saxReader = new SAXReader();

if(path.indexOf(“WEB-INF”)>0){

path = path.substring(0,path.indexOf(“/WEB-INF/classes”) 16);

// ‘/WEB-INF/classes’为16位

document = saxReader.read(path filename);

}else{

document = saxReader.read(getClass().getResourceAsStream(filename));

}

weblogic tomcat 下都有效

String path =

getClass().getProtectionDomain().getCodeSource().getLocation().getPath();

<!--EndFragment-->

2.crawler爬虫

https://en.wikipedia.org/wiki/Web_crawler

3.HTML DOM <go>方法：

http://www.w3school.com.cn/jsref/met_his_go.asp

HTML DOM <a>方法：
http://www.w3school.com.cn/html5/html5_a.asp
4.logger的四种方法

http://www.cnblogs.com/hym-pcitc/p/5674381.html

5. DML、DDL、DCL区别

http://wenku.baidu.com/link?url=bBEYYtlGgPWeviEq1jPi89zhXuTkgmTz259MkQ9VpRsWHRrl2C_FozS1EvSGp1Zkia9Ludy2aoA7bq-E9uNOWY4-bUwmw9eq5Vovn6MV8TS

2016\\11\\23

1、 java爬取网页内容

 

http://blog.csdn.net/donglynn/article/details/47778009

2、 网页内容爬取：如何提取正文内容
http://www.tuicool.com/articles/e6j6Jf
3、 导入包出现错误是的处理方法：

将下载到的包在指定位置（依赖库）上删除之后更新maven项目即可

4、 新建maven项目是常见的错误：

每一个项目都有自己的artifactId，名字与项目名相同。如果引用了相同的artifactId会发生命名冲突。

2016\\11\\24

1、HTML中的元素：

http://www.w3school.com.cn/html/html_elements.asp

2、问题：

智联里有一个content，它不是我们定义的关于行业和工作的常量吗，我看51job给单独写了，数据的内容和格式我懂了，但是还是有几个不懂的问题：

1） 什么情况下需要单独写呢，还是针对每个招聘网站都需要写它的类呢？

根据业务需要，不同情况写不同的。

2） 这些数据是如何获取的呢？

是对网页进行分析的时候用到的，可以形成笛卡儿积，通过枚举确定出筛选的条件，用于网页的过滤。

3）这个文件是用于保存数据时分类所用呢，还是有其他的目的？

网页筛选。

 

2016\\12\\06

1、如何maven依赖的jar包：

百度：maven repository

进入官网即可

 

2016\\12\\07

1、mysql 赋给用户权限 grant all privileges on
http://blog.csdn.net/wengyupeng/article/details/3290415

2016\\12\\09

1、java.net.SocketException 的五种异常

http://developer.51cto.com/art/201003/189724.htm

 

2、http和HTTPS的区别

http://jingyan.baidu.com/article/95c9d20d92a74eec4f75614f.html

2016\\12\\12

1、java如何爬取网页

http://jingyan.baidu.com/article/3c343ff7e823850d377963bc.html?qq-pf-to=pcqq.group

2、 Sqoop将SQLServer数据导入HBase
http://blog.csdn.net/nma_123456/article/details/50524619
3、java写入文件的三种方法
http://blog.csdn.net/wgw335363240/article/details/5678965
4、HTTPS百度百科

http://baike.baidu.com/link?url=yAuwT9DKmXly4bEvtn0jznb5wImDJgKhU95F66NSXKU4ZbnA8w-GzDGWt8RcdxhmSrVo6x_PqjOOGssMuRqB8a

5、SSL/TLS协议运行机制的概述

http://www.ruanyifeng.com/blog/2014/02/ssl_tls.html

 

6、HttpClient请求Https协议：

http://www.blogjava.net/sxyx2008/archive/2011/07/08/353940.html

7、Java反射异常处理之InvocationTargetException

http://blog.csdn.net/zhangzeyuaaa/article/details/39611467

8、 java动态替换代理IP

http://justdo2008.iteye.com/blog/796290

9、 copy /b命令无缝合并多个文件

http://www.360doc.com/content/14/0212/22/9849466_352039289.shtml

 

 

2016\\12\\29

1、查看标准值及其编号

http://10.129.20.101:9200/_plugin/head/

2、Eclipse下安装Scala2.10.4插件
http://www.bubuko.com/infodetail-900521.html