android中获取网页cookie的工具方法

1.应用场景

我自己的应用场景是，做一个股票分时图控件demo，需要抓取同花顺网站上的分时图数据，但是这个分时图数据的链接做了cookie校验，直接用httpurlconnection访问，返回403。这个分时图数据的链接在浏览器上也是不能直接打开的，先要在浏览器上访问同花顺股票的其他网页链接，网页里面会加载一段js代码，js代码会设置cookie。这个工具类就是模仿浏览器，先加载普通网页，得到网页里js代码设置的cookie。

2.实现原理

由于我对http协议没那么熟悉，js代码更是完全不了解，所以想到了用android系统提供的WebView方式，先用WebView加载同花顺普通网页，在WebView设置的WebClient的回调中，通过系统API获取到cookie数据。

3.工具类源码

package com.rzc.util;

import android.app.Activity;
import android.text.TextUtils;
import android.webkit.CookieManager;
import android.webkit.WebView;
import android.webkit.WebViewClient;

/**
* Created by rzc on 17/11/7.
*/

public class CookieUtil {
public static void getCookie(Activity activity, final String url,
final OnCookieLoadedListener cookieLoadedListener) {
final WebView webView = new WebView(activity);
webView.setWebViewClient(new WebViewClient() {
public void onPageFinished(WebView view, String url) {
super.onPageFinished(view, url);
if (cookieLoadedListener != null) {
CookieManager cookieManager = CookieManager.getInstance();
String cookie = cookieManager.getCookie(url);
if (!TextUtils.isEmpty(cookie)) {
webView.setWebViewClient(null);
cookieLoadedListener.onCookieLoaded(cookie);
}
}
}
});
webView.getSettings().setJavaScriptEnabled(true);
webView.loadUrl(url);
}

public interface OnCookieLoadedListener {
void onCookieLoaded(String cookie);
}
}

4.下面再贴出上面提到的获取同花顺股票分时图数据的代码

//这里code是股票代码，比如工商银行的601398；cookie通过上面的工具方法得到，工具方法的url参数为"http://stockpage.10jqka.com.cn/" + code
private static void doDownload(String code, String cookie) {
String url = "http://d.10jqka.com.cn/v2/time/hs_" + code + "/last.js";
HttpURLConnection connection = null;
try {
connection = (HttpURLConnection) new URL(url).openConnection();
connection.setRequestMethod("GET");
connection.setConnectTimeout(10 * 1000);
connection.setReadTimeout(10 * 1000);
//同花顺网站做了cookie跟referer的校验，referer是固定的，cookie会隔断时间就更新
connection.setRequestProperty("cookie", cookie);
connection.setRequestProperty("referer", "http://stockpage.10jqka.com.cn/HQ_v3.html");

int responseCode = connection.getResponseCode();

BufferedReader br = null;

StringBuilder sb = new StringBuilder();

if (responseCode == HttpURLConnection.HTTP_OK) {
br = new BufferedReader(new InputStreamReader(connection.getInputStream()));
String line = null;
while ((line = br.readLine()) != null) {
sb.append(line).append("\n");
}

br.close();
System.out.println(br.toString());//这里就是获取到分时图数据
} else {
if (responseCode == HttpURLConnection.HTTP_FORBIDDEN) {
//同花顺服务器做了cookie校验，调用这个方法如果捕捉到Error，则用获取cookie的工具方法刷新得到最新的cookie再调用此方法重试
throw new Error("403");
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if (connection != null) {
try {
connection.disconnect();
} catch (Exception e) {
e.printStackTrace();
}

}
}
}