您的位置:首页 > 其它

关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题

2016-11-25 09:56 429 查看
最近出现了一个问题,就是spark读取elasticsearch中的数据的时候,明明elasticsearch中有数据,但是spark读取数据,然后进行过滤的时候会把相关的数据都给过滤掉了,

找来找去是因为写index的时候出现的问题

当我使用这种方式读取es中的数据的时候,会出现的问题是

sc.esRDD("logstash-2016.11.24").values

这样读取的数据我使用filter过滤的时候没有任何的效果,都会过滤掉,但是
sc.esRDD("logstash-2016.11.24/syslog").values

写上Type的时候,情况发生了改变,它过滤出来了我想要的数据,
这是为毛呢?因为我从开始用的时候就是以index来过滤的,没有写type,也可以,但是现在不行了

我又进行了测试,数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤,这是为毛,不知道了

又要重新修改程序,麻烦啊
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark elasticsearch