用分布式缓存文件存储数据到本地 DistributedCache
2014-10-20 19:58
295 查看
main函数里:
Configuration conf = new Configuration();
Job job = new Job(conf, "kmeans job");
URI centersFile = new URI(
"hdfs://Master1Hadoop/user/image/centers/centersfile#cf"); // 设定要读入文件的信息
//centersfile为要分布式缓存的数据,#cf是为它起个别名
job.addCacheFile(centersFile); // 加入Cache,新API
Class xxx extends Mapper里:
public void setup(Context context) throws IOException, InterruptedException {
URI[] caches = context.getCacheFiles();
if (caches == null || caches.length <= 0) {
System.out.println("centers file does not exist");
System.exit(1);
}
BufferedReader br = new BufferedReader(new FileReader("./cf")); // 读取文件,这里的cf正是main里起得别名
String line;
while ((line = br.readLine()) != null) { // 每次读一行
System.out.println(line);
}
br.close;
}
Configuration conf = new Configuration();
Job job = new Job(conf, "kmeans job");
URI centersFile = new URI(
"hdfs://Master1Hadoop/user/image/centers/centersfile#cf"); // 设定要读入文件的信息
//centersfile为要分布式缓存的数据,#cf是为它起个别名
job.addCacheFile(centersFile); // 加入Cache,新API
Class xxx extends Mapper里:
public void setup(Context context) throws IOException, InterruptedException {
URI[] caches = context.getCacheFiles();
if (caches == null || caches.length <= 0) {
System.out.println("centers file does not exist");
System.exit(1);
}
BufferedReader br = new BufferedReader(new FileReader("./cf")); // 读取文件,这里的cf正是main里起得别名
String line;
while ((line = br.readLine()) != null) { // 每次读一行
System.out.println(line);
}
br.close;
}
相关文章推荐
- 2、安卓数据存储——本地文件
- Android本地数据存储之.txt文件存储读写
- iOS应用程序安全(20)-本地数据存储及其安全性(NSUserDefaults, CoreData, Sqlite, Plist 文件)(转)
- UI本地存储数据结构文件
- rtmpdump 捕获 rtmp视频数据 本地存储为 flv文件
- RAC环境下误操作将数据文件添加到本地存储
- iOS应用程序安全(20)-本地数据存储及其安全性(NSUserDefaults, CoreData, Sqlite, Plist 文件)
- 安卓中数据库存本地储路径和Shareprefence本地存储路径以及将文件转换成String字符串的工具类
- 在本地存储localStorage/sessionStorage中保存图片和文件(真的不适合保存文件图片大数据)
- 《第一行代码》第二版 学习总结12 数据持久化之本地文件存储
- 客户端读取本地文件的数据,发送到服务器,服务器接收并存储到文件中
- Android存储数据到本地文件
- 迁移本地数据文件、控制文件、日志文件到新的存储(挂载点目录与本地目录相同)
- Android本地数据的存储和读取(文件格式)
- Android上常用的几种本地数据存储方式:2、文件存储数据
- 数据存储(3):将数据以txt文件存储在本地,多个apk都可进行读写
- Unity 中存储数据到JSON本地文件
- rac环境将误建立在本地目录的数据文件转移到ASM存储中。
- iOS应用程序安全(20)-本地数据存储及其安全性(NSUserDefaults, Keychain,CoreData, Sqlite, Plist 文件)
- iOS应用程序安全(20)-本地数据存储及其安全性(NSUserDefaults, CoreData, Sqlite, Plist 文件)