[5]Selenium学习系列----Sikuli图形识别框架和Selenium结合

我们在使用Selenium做Web测试的过程中，有的时候会遇到Window的原生的弹出框，比如消息弹出框，文件上传弹出窗口已经文件下载窗口；这个时候，使用普通的Selenium的XPath或者CSS选择器都没有作用的时候，我们可以借助于Sikuli框架和Selenium集合。Sikuli的官方的Github的地址是：https://github.com/sikuli/sikuli
下面是从百度百科上搜索的关于Sikuli的介绍：

MIT的研究人员设计了一种新颖的图形脚本语言Sikuli，计算机用户只须有最基本的编程技能（比如会写print"hello world"），他不需要去写出一行行代码，而是用屏幕截图的方式，用截出来的图形元素组合出神奇的程序。根据MIT研究人员的论文(PDF)描述，使用者只要对Python语言有基本的了解，Sikuli可以利用图形用户界面的截图元素自动的完成大多数编程任务。用研究人员的举的例子来说，就好像巴士正在转过街角，脚本能通知乘客，好让他及时赶上。在上世纪80年代以前，要使用电脑软件需要记住大量的命令才完成相应的任务。但随后出现了GUI(图形用户界面)，使用者只需要借助直观的按钮或其他视觉元素即可操作软件。但GUI的出现并没有给程序员带来便利，他们仍然需要借助代码来实现相应的功能。如果要让不同的软件相互配合，也同样要进行代码调用。而麻省理工学院开发的Sikuli项目则可以使得这一过程变得更加简单，只需要略懂一点编程语言即可完成简单的编程和程序间的调用。利用 Sikuli，用户要使用其他的界面元素，或调用其他程序，不必输入代码，只需要插入相应的按钮或图标截图即可。例如，当编程人员想要编写一个脚本，实现如下功能：当上班时所乘坐的公交车到达某一站时，自动向手机发送一条提示信息。如果是在以前，需要对相应的坐标进行确定，并通过文本的方式将其编写成代码。而如果在当地公交网站上有一个通过谷歌地图绘制的公交路线图，而且上面有活动的路标，那么编程人员便可将路标移动到需要发送短信的位置，并进行截图。这样一来，只需要将该截图插入到If之后，即可设定好条件语句，从而触发特定的信息。当然，这同样需要具备一些基本的编程基础。当用户需要调用其他程序时也可以使用这一功能，例如，需要调用其他程序上的某个功能，则只需要将该功能所对应的按钮截图插入到代码中对应 的位置即可。除了方便编程外，该技术还可以用于进行大规模的程序测试。例如，测试某一按钮是否正常工作。这时，通过Sikuli来调用待测试的按钮便可节约 大量时间。此外，Sikuli还可用于可视化搜索。例如，对生活中的某一事物拍摄照片，即可搜索相关的信息；或是在某一地区迷路，只要将周围环境的照片上 传到搜索引擎，便可得到相应的地理位置。谷歌此前推出的Goggles也具备了类似的功能。据麻省理工学院的研究人员介绍，Sikuli的工作模式与人眼一样，直接识别图像，而不是底层代码，因此不会产生不兼容的问题。 Sikuli在墨西哥维乔印第安人(Huichol Indians)的语言里是上帝之眼的意思。

下面直接上代码：
@Maven文件
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion>
<groupId>com.sikuli.selenium</groupId>
<artifactId>sikuli-selenium</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>sikuli-selenium</name>
<description>sikuli-selenium</description>
<dependencies>
<!-- <dependency> <groupId>net.sourceforge.tess4j</groupId> <artifactId>tess4j</artifactId>
<version>3.4.0</version> </dependency> -->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>com.sikulix</groupId>
<artifactId>sikulixapi</artifactId>
<version>1.1.1-SNAPSHOT</version>
</dependency>
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>2.53.1</version>
</dependency>
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-server</artifactId>
<version>2.53.1</version>
</dependency>
</dependencies>
<repositories>
<repository>
<id>sonatype-ossrh</id>
<url>https://oss.sonatype.org/content/repositories/snapshots/</url>
</repository>
<repository>
<id>sikuli</id>
<name>sikuli-api Repository</name>
<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-api</url>
</repository>
<repository>
<id>sikuli</id>
<name>sikuli-webdriver Repository</name>
<url>https://mvnrepository.com/artifact/org.sikuli/sikuli-webdriver</url>
</repository>
</repositories>
</project>
测试代码：
public interface IImageElement
{
public String getPath();

public float getSimilarity();

public String toString();
}

public class ImageElement implements IImageElement {

private String path;
private float similarity;

public ImageElement(final String path, final float similarity) {
this.path = path;
this.similarity = similarity;
}

public String getPath() {

return path;
}

public float getSimilarity() {
return similarity;
}
}

import info.testing.automated.sikuli.entities.IImageElement;
import org.sikuli.script.*;
import java.awt.*;

public class Desktop {

private enum SikuliAction {
CLICK,
TYPE
}

private Region desktop;
private boolean endStateReached;

public Desktop() {
desktop = new Region(new Rectangle(Toolkit.getDefaultToolkit().getScreenSize()));
}

public boolean clickAll(final IImageElement[] elements, final Integer timeout) {
for (int i = 0; i < elements.length; i++) {
onAppear(createImage(elements[i]), SikuliAction.CLICK,
(i == elements.length - 1));
}

boolean observeResult = observe(timeout);

return endStateReached || observeResult;
}

public boolean type(final IImageElement element, final String text, final Integer timeout) {
return onAppear(createImage(element), SikuliAction.TYPE, text).observe(timeout);
}

private Pattern createImage(final IImageElement element) {
return new Pattern(element.getPath()).similar(element.getSimilarity());
}

private boolean observe(final Integer timeout) {
return desktop.observe(timeout);
}

private Desktop onAppear(final Pattern image, final SikuliAction action, final String text) {
return onAppear(image, action, text, true);
}

private Desktop onAppear(final Pattern image, final SikuliAction action, boolean stopObserver) {
return onAppear(image, action, "", stopObserver);
}

private Desktop onAppear(final Pattern image, final SikuliAction action, final String text, final boolean stopObserver) {
desktop.onAppear(image, new ObserverCallBack() {
@Override
public void appeared(ObserveEvent e) {
switch (action) {
case CLICK:
e.getMatch().click();
break;
case TYPE:
e.getMatch().click();
e.getMatch().type(text);
break;
}

if (stopObserver) {
endStateReached = true;
desktop.stopObserver();
}
}
});

return this;
}
}

import org.junit.Test;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.sikuli.script.Key;

public class CommonSikuliActionsTests {

@Test
public void sikuliClickAndType() {

WebDriver driver = null;
Desktop desktop = new Desktop();

try {
IImageElement inputSearch = new ImageElement(ClassLoader.getSystemResource("inputSearch.png").getPath(), 0.75f);
IImageElement linkSite = new ImageElement(ClassLoader.getSystemResource("linkSite.png").getPath(), 0.75f);
IImageElement linkAllCategories = new ImageElement(ClassLoader.getSystemResource("linkAllCategories.png").getPath(), 0.75f);
String path="c:\\drivers\\";
System.setProperty("webdriver.gecko.driver", path + "geckodriver.exe");
System.setProperty("webdriver.chrome.driver", path + "chromedriver.exe");
driver = new ChromeDriver();
driver.get("https://www.google.com/");

desktop.type(inputSearch, "automated-testing.into" + Key.ENTER, 2);
desktop.clickAll(new IImageElement[] { linkSite, linkAllCategories}, 20);

Thread.sleep(3000);
} catch (Exception e) {
e.printStackTrace();
} finally {
if (driver != null) {
driver.quit();
}
}
}
}


三种图片都是从网上截图的，分别如下：
@inputSearch.png



@linkSite.png



@linkAllCategories.png