关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题
2016-11-25 09:56
429 查看
最近出现了一个问题,就是spark读取elasticsearch中的数据的时候,明明elasticsearch中有数据,但是spark读取数据,然后进行过滤的时候会把相关的数据都给过滤掉了,
找来找去是因为写index的时候出现的问题
当我使用这种方式读取es中的数据的时候,会出现的问题是
sc.esRDD("logstash-2016.11.24").values
这样读取的数据我使用filter过滤的时候没有任何的效果,都会过滤掉,但是
sc.esRDD("logstash-2016.11.24/syslog").values
写上Type的时候,情况发生了改变,它过滤出来了我想要的数据,
这是为毛呢?因为我从开始用的时候就是以index来过滤的,没有写type,也可以,但是现在不行了
我又进行了测试,数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤,这是为毛,不知道了
又要重新修改程序,麻烦啊
找来找去是因为写index的时候出现的问题
当我使用这种方式读取es中的数据的时候,会出现的问题是
sc.esRDD("logstash-2016.11.24").values
这样读取的数据我使用filter过滤的时候没有任何的效果,都会过滤掉,但是
sc.esRDD("logstash-2016.11.24/syslog").values
写上Type的时候,情况发生了改变,它过滤出来了我想要的数据,
这是为毛呢?因为我从开始用的时候就是以index来过滤的,没有写type,也可以,但是现在不行了
我又进行了测试,数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤,这是为毛,不知道了
又要重新修改程序,麻烦啊
相关文章推荐
- spark 读取elasticsearch中数据不完整问题
- 关于mysql已经载入服务,但是无法启动的问题
- 关于TreeView的问题(数据过滤后取不到数据)
- 关于从GridView表中导出数据到Excel表中,身份证或者长度过长的数据在Excel中无法正常显示的问题
- 关于“在vmware vsphere 4下,无法浏览NFS数据存储中的数据"问题
- 关于linux下面挂载Windows硬盘,但是无法在Windows下看到数据
- 无法从COM口读取数据问题的解决方法
- 关于"无法验证数据"的问题
- 关于 Silverlight 项目文件 无法读取的问题
- 解决WinForm中ComboBox控件的“设置"DataSourse”属性后无法修改项集合”以及两个不相关联的ComboxBox控件实现数据列表显示不可实现的问题
- 读取excel文件显示在gridview中数据.字符.数字混合时无法全部读取的问题!
- 使用消息队列 异步插入数据,能发送消息,但是无法读取消息
- 关于linux下面挂载Windows硬盘,但是无法在Windows下看到数据
- 关于脏字典过滤问题-用正则表达式来过滤脏数据
- 关于通过驱动程序读取usb接口数据的问题?
- 关于从GridView表中导出数据到Excel表中,身份证或者长度过长的数据在Excel中无法正常显示的问题
- 关于jquery实现动态创建表格和动态显示数据的问题?
- 关于读取Oracle数据时间丢失问题
- 转:关于脏字典过滤问题-用正则表达式来过滤脏数据