[C#][ASP.net] 透过WebBrowser 取得AJAX 后的网页
2014-07-02 14:36
295 查看
原文[C#][ASP.net] 透过WebBrowser 取得AJAX 后的网页
今天 Shih-Min 问我说,假设网页一开始是AJAX 会载入一些资料,但是透过WebClient 去抓
抓到都是JavaScript 跟 AJAX 的原始码,有办法可以抓到AJAX 取完值之后的资料吗?!
这需求,如果写爬虫可能也会有这需求..我的作法是这样..
我是ASP.net 专案..
建立一个Class 记得要加入 System.Windows.Forms
这时候我建立一隻 Class 叫做 WebBrowserCrawler
今天 Shih-Min 问我说,假设网页一开始是AJAX 会载入一些资料,但是透过WebClient 去抓
抓到都是JavaScript 跟 AJAX 的原始码,有办法可以抓到AJAX 取完值之后的资料吗?!
这需求,如果写爬虫可能也会有这需求..我的作法是这样..
我是ASP.net 专案..
建立一个Class 记得要加入 System.Windows.Forms
这时候我建立一隻 Class 叫做 WebBrowserCrawler
[code] [code]using System.Threading2
using System.Windows.Forms2
namespace GetAfterAJAXPage
{
public class WebBrowserCrawler
{
// WebBrowser
private WebBrowser _WebBrowder2
//最后结果
private string _Result { get2 set2 }
//网址
private string _Path { get2 set2 }
/// <2summary>2
/// 对外公开的Method
/// <2/summary>2
/// <2param name="url">2URL Path<2/param>2
/// <2returns>2<2/returns>2
public string GetReult(string url)
{
_Path = url2
var mThread = new Thread(FatchDataToResult)2
//Apartment 是处理序当中让物件共享相同执行绪存取需求的逻辑容器。 同一 Apartment 内的所有物件都能收到 Apartment 内任何执行绪所发出的呼叫。
//.NET Framework 并不使用 Apartment;Managed 物件必须自行以安全执行绪 (Thread-Safe) 的方式运用一切共享资源。
//因為 COM 类别使用 Apartment,所以 Common Language Runtime 在 COM Interop 的状况下呼叫出 COM 物件时必须建立 Apartment 并且加以初始化。
//Managed 执行绪可以建立并且输入只容许一个执行绪的单一执行绪 Apartment (STA),或者含有一个以上执行绪的多执行绪 Apartment (MTA)。
//只要把执行绪的 ApartmentState 属性设定為其中一个 ApartmentState 列举型别 (Enumeration),即可控制所建立的 Apartment 属於哪种型别。
//因為特定执行绪一次只能初始化一个 COM Apartment,所以第一次呼叫 Unmanaged 程式码之后就无法再变更 Apartment 型别。
//From : http://msdn.microsoft.com/zh-tw/library/system.threading.apartmentstate.aspx[/code]mThread.SetApartmentState(ApartmentState.STA)2mThread.Start()2mThread.Join()2return _Result2}/// <2summary>2/// Call _WebBrowder 抓取资料/// For thread Call/// <2/summary>2private void FatchDataToResult(){_WebBrowder = new WebBrowser()2_WebBrowder.DocumentCompleted += _WebBrowder_DocumentCompleted2_WebBrowder.Navigate(_Path)2//处理目前在讯息佇列中的所有 Windows 讯息。//如果在程式码中呼叫 DoEvents,您的应用程式就可以处理其他事件。例如,如果您的表单将资料加入 ListBox 并将 DoEvents 加入程式码中,则当另一个视窗拖到您的表单上时,该表单将重新绘製。//如果您从程式码移除 DoEvents,您的表单将不会重新绘製,直到按钮按一下的事件处理常式执行完毕。while (_WebBrowder.ReadyState != WebBrowserReadyState.Complete){Application.DoEvents()2}_WebBrowder.Dispose()2}//结束后回填void _WebBrowder_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e){_Result = (sender as WebBrowser).Document.Body.InnerHtml2}}}
[/code]
[/code]
為什要这样写 透过Thread 来叫用不然会遇到
之后我呼叫端:[code] [code]WebBrowserCrawler webBrowserCrawler=new WebBrowserCrawler()2File.WriteAllText(Server.MapPath("sample.txt"),webBrowserCrawler.GetReult(http://www.in2.cc/sample/waterfalllab.htm))2
[/code]
[/code]
其中我是将取得后的资料写入到sample.txt 中&hellip2
其中测试网页為http://www.in2.cc/sample/waterfalllab.htm
请注意 测试网页為辅导级 请12岁以下儿童,请找父母陪同观看
如果透过 WebClient 去取 只会看到 单纯 Javascript call Ajax 程式码,但是透过 此方法 取到资料
会是 他呼叫完 AJAX 后的资料,不过当然,是指说网页开始就会呼叫的AJAX &hellip2
不过这并非百分之百,这会跟AJAX 的写法有关&hellip2
---
相关文章推荐
- ASP.net通过WebBrowser取得AJAX后的网页
- ASP.net(c#)取得CheckBoxList(复选框)的值
- 利用xmlHTTP获取网页源码[ASP.NET C#]
- asp.net(c#)中取得文件物理路径
- 基于微软ASP.NET AJAX框架开发幻灯片播放网页
- ASP.NET,c#制作在网页游动的层
- 一个简单的AJAX实现,基于C#的ASP.Net,包括服务器端的程序代码
- ASP.NET(c#)中取得当前计算机CPU 内存使用率等相关信息
- ASP.NET+AJAX解决网页打开等待问题
- ASP.NETAJAX解决网页打开等待问题
- AJAX+ASP.NET解决网页打开等待问题
- 使用ASP.NET AJAX 1.0框架PreviewGlitz进行网页动画编程
- ASP.NET+AJAX解决网页打开等待问题
- 基于微软ASP.NET AJAX框架开发幻灯片播放网页
- ASP.NET+AJAX解决网页打开等待问题
- ASP.NET(c#)中取得当前计算机CPU 内存使用率等相关信息
- asp.net(c#) MS AJAX的安装
- asp.net C#进行网页间多值传递的方法
- 随机验证图片的产生,asp.net 2.0 c# ---在网页的特定或莫个位置显示图片
- 本Blog.Net教程系列目录索引(SilverLight/Asp.net/Asp.net Ajax/C#等)