转帖不会乱码的,powershell网络蜘蛛
2016-01-01 12:51
761 查看
抓取(爬取)网上信息的脚本程序,俗称网络蜘蛛。
powershell中自带了这样的两个命令,【Invoke-WebRequest】和【Invoke-RestMethod】,但这两个命令有时候会乱码。
现在转帖分享, 某个【歪果仁】写的脚本。来源于 墙外出处: https://gist.github.com/angel-vladov/9482676
具体效果请大家共同测试。
powershell中自带了这样的两个命令,【Invoke-WebRequest】和【Invoke-RestMethod】,但这两个命令有时候会乱码。
现在转帖分享, 某个【歪果仁】写的脚本。来源于 墙外出处: https://gist.github.com/angel-vladov/9482676
function Read-HtmlPage { param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri) # Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way. [Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri) [Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse() $Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream()) $Response = $Reader.ReadToEnd() $Reader.Close() # Create the document class [mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE" $Doc.IHTMLDocument2_write($Response) # Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml $Doc #powershell 传教士 转帖并修改的文章 2016-01-01, 允许再次转载,但必须保留名字和出处,否则追究法律责任 }
具体效果请大家共同测试。
相关文章推荐
- Http状态码(apache解析php的403错误)
- CentOS下拨号上网(网络转载)
- 用开源软件建垂直搜索引擎 转载 http://news.cnblogs.com/n/60041/
- 深入理解TCP(二)
- okhttp使用入门
- Web端为什么不会发送http请求给服务器的原因
- QT5下获取本机IP地址、计算机名、网络连接名、MAC地址、子网掩码、广播地址
- Linux虚拟机桥接网络
- 网络安全书籍推荐列表
- Linux内核导论——网络:TCP效率模型和安全问题
- 黑马程序员——网络编程之TCP协议
- 黑马程序员——网络编程之UDP协议
- okhttp去访问自签名的网站
- Android OkHttp完全解析 是时候来了解OkHttp了
- 无权查看网页 IIS 解决问题:HTTP 错误 401.1 - 未授权登录失败
- 深入浅出HTTP请求(转自http://www.cnblogs.com/yin-jingyu/archive/2011/08/01/2123548.html)
- HTTPS来了
- HTTP 错误 500.19 - Internal Server Error问题的解决
- Xcode7中 http请求报错App Transport Security has blocked a cleartext HTTP
- 8.zabbix学习笔记:zabbix实现网络发现