AWS EMR 上跑 Hadoop 运用过程中遇到的问题总结
2017-04-13 15:20
1381 查看
遇到问题
EMR_DefaultRole is invalid
运行的时候看任务有些没有看到
AWS的命令行
AWS的安装
AWS的账号注册
AWS EMR的配置
AWS的instance讲解
Unsupported majorminor version 520
查询【1】中的log可以发现是”EMR_DefaultRole is invalid.”,这个东西没有创建,那么可以使用【2】【3】中的办法解决,如果还不能解决,那就把IAM账户添加Administer的权限。
之后就可以使用:
aws emr create-default-roles
创建默认角色。
对于EMR的了解:【4】【5】【6】【9】
你可以把java程序改成java7的版本,但是依然会有问题,所以可以改成:
1) cd $PROJ3_ROOT
2) ant clean
3) ant
4) Reload 18645-proj3-0.1-latest.jar to aws bucket, if you already uploaded the jar file compiled with java 1.8 before.
5) run the NgramCount program on EMR cluster
参考链接:
【1】aws 看结果:https://console.aws.amazon.com/elasticmapreduce/
aws bucket:https://console.aws.amazon.com/s3/
【2】role设置:https://aws.amazon.com/cn/premiumsupport/knowledge-center/emr-default-role-invalid/
【3】default role:http://docs.amazonaws.cn/en_us/cli/latest/reference/emr/create-default-roles.html
http://stackoverflow.com/questions/27953582/emr-service-role-is-invalid-when-creating-emr-cluster
【4】role的理解:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles-creatingroles.html
【5】MER的理解:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles-launch-jobflow.html
【6】IAM和MER的理解:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles-defaultroles.html
【7】AWS的命令行操作:http://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html
【8】AWS的使用说明:https://aws.amazon.com/cn/cli/
【9】AWS MER的主页:https://aws.amazon.com/cn/emr/
【10】AWS的服务:http://docs.aws.amazon.com/cli/latest/reference/
【11】AWS的注册:http://docs.aws.amazon.com/IAM/latest/UserGuide/getting-started_how-users-sign-in.html
【12】AWS的CLI配置:http://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html#cli-quickconfiguration
【13】AWS EMR的英文链接:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html
【14】AWS的instance:https://aws.amazon.com/cn/ec2/instance-types/
EMR_DefaultRole is invalid
运行的时候看任务有些没有看到
AWS的命令行
AWS的安装
AWS的账号注册
AWS EMR的配置
AWS的instance讲解
Unsupported majorminor version 520
遇到问题
“EMR_DefaultRole is invalid.”
在AWS EMR上运行Hadoop的ngram的时候,出现下面错误:查询【1】中的log可以发现是”EMR_DefaultRole is invalid.”,这个东西没有创建,那么可以使用【2】【3】中的办法解决,如果还不能解决,那就把IAM账户添加Administer的权限。
之后就可以使用:
aws emr create-default-roles
创建默认角色。
对于EMR的了解:【4】【5】【6】【9】
运行的时候看任务有些没有看到
注意time zone,显示的任务只显示你之前设定的时区。AWS的命令行
看【7】【8】可以了解一些AWS的CLI的用法。AWS的安装
看【10】,在Ubuntu或者是OS上安装AWS的CLI。AWS的账号注册
看【11】了解AWS的注册。AWS EMR的配置
需要使用AWS的CLI进行操作,就需要进行配置。看【12】了解更多。AWS的instance讲解
【14】Unsupported major.minor version 52.0
遇到这种问题,就是你生成的java运行程序的版本和AWS上的版本不一致。比如你用java8生成的程序不能跑在AWS EMR默认的java7的平台上。你可以把java程序改成java7的版本,但是依然会有问题,所以可以改成:
1) cd $PROJ3_ROOT
2) ant clean
3) ant
4) Reload 18645-proj3-0.1-latest.jar to aws bucket, if you already uploaded the jar file compiled with java 1.8 before.
5) run the NgramCount program on EMR cluster
参考链接:
【1】aws 看结果:https://console.aws.amazon.com/elasticmapreduce/
aws bucket:https://console.aws.amazon.com/s3/
【2】role设置:https://aws.amazon.com/cn/premiumsupport/knowledge-center/emr-default-role-invalid/
【3】default role:http://docs.amazonaws.cn/en_us/cli/latest/reference/emr/create-default-roles.html
http://stackoverflow.com/questions/27953582/emr-service-role-is-invalid-when-creating-emr-cluster
【4】role的理解:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles-creatingroles.html
【5】MER的理解:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles-launch-jobflow.html
【6】IAM和MER的理解:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-roles-defaultroles.html
【7】AWS的命令行操作:http://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html
【8】AWS的使用说明:https://aws.amazon.com/cn/cli/
【9】AWS MER的主页:https://aws.amazon.com/cn/emr/
【10】AWS的服务:http://docs.aws.amazon.com/cli/latest/reference/
【11】AWS的注册:http://docs.aws.amazon.com/IAM/latest/UserGuide/getting-started_how-users-sign-in.html
【12】AWS的CLI配置:http://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html#cli-quickconfiguration
【13】AWS EMR的英文链接:http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html
【14】AWS的instance:https://aws.amazon.com/cn/ec2/instance-types/
相关文章推荐
- hadoop完全分布式过程中遇到的一些问题和总结
- hadoop 1.x集群搭建及搭建过程遇到的问题总结
- Hadoop学习过程中遇到的问题总结
- Hadoop学习过程遇到的问题总结
- Hadoop学习过程遇到的问题总结
- [项目过程中所遇到的各种问题记录]学习篇——对工作以来的学习过的开源项目进行总结—动软代码生成工具
- 使用jdic过程中遇到的问题总结
- ubifs文件系统的制作过程&&遇到的问题及解决方案总结---之三“UBIFS镜像的制作&&烧写”
- 开发过程中遇到的问题总结
- hadoop,hbase安装过程中遇到问题及解决过程!
- WTL学习过程中遇到的一些问题总结
- ubifs文件系统的制作过程&&遇到的问题及解决方案总结---之二“Linux内核中添加对UBIFS文件系统的支持”
- 开发过程中遇到的问题总结
- 开发过程中遇到的问题总结
- sqlplus编程初学-CURSOR运用中遇到的问题总结
- ubifs文件系统的制作过程&&遇到的问题及解决方案总结---之一“uboot中添加对UBIFS文件系统的支持”
- 开发过程中遇到的问题总结
- 开发过程中遇到的问题总结
- 在使用Struts的过程中也遇到了一些问题,现在总结一下
- moss开发实施过程中遇到的问题总结:项目层面