Hadoop中Mapper类的setup()函数在什么地方调用
2014-02-11 23:01
495 查看
Hadoop中Mapper类的setup()函数在什么地方调用
分类: hadoop装载自:http://blog.csdn.net/witsmakemen/article/details/8445133
经过跟踪hadoop源码发现,Mapper类的setup()函数在Mapper类的run()函数中被调用。
向hadoop提交job后,hadoop会在MapTask的runNewMapper()或者runOldMapper()函数中使用反馈机制实例化具体的Mapper子类,然后调用这个对象的run()函数,其中setup()函数就在这个函数的开始被调用,因为hadoop会向setup()函数中传递Configuration等一些变量,所以我们可以通过重载setup()函数来获得系统变量实现自己的功能。
[java] view
plaincopy
/**
* Expert users can override this method for more complete control over the
* execution of the Mapper.
* @param context
* @throws IOException
*/
public void run(Context context) throws IOException, InterruptedException {
setup(context);//只运行一次,可以重载实现自己的功能,比如获得Configuration中的参数
while (context.nextKeyValue()) {
map(context.getCurrentKey(), context.getCurrentValue(), context);
}
cleanup(context);
}
相关文章推荐
- Hadoop中Mapper类的setup()函数在什么地方调用
- Hadoop中Mapper类的setup()函数在什么地方调用
- Hadoop中Mapper类的setup()函数在什么地方调用
- Hadoop中Mapper类的setup()函数在什么地方调用
- 什么时间调用 UpdateData() --MFC函数
- 函数调用方式--__thiscall调用方式和__cdecl,__stdcall有什么区别
- Python引用多个模块,调用模块中的函数时,要注意的地方
- 在vim中使用cscope查找调用、定义函数和变量的地方
- hadoop任务执行过程中函数的调用层次
- [翻译] Effective C++, 3rd Edition, Item 5: 了解 C++ 为你偷偷地加上和调用了什么函数
- c#中委托和直接函数调用用什么区别,好处和目的在哪?
- 构造函数和析构函数中调用虚函数有什么问题?
- 函数调用方式--__thiscall调用方式和__cdecl,__stdcall有什么区别
- URL输入框不是Edit Text,是Searchable。如何输入字符?调用Robotium的什么函数?
- 两个线程同时调用一个函数会出现什么情况?
- Python 引用多个模块,调用模块中的函数时...要注意的地方
- eclipse 查看变量或方法在什么地方被调用的快捷键
- C# java中调用参数到底有什么实用的地方
- 在vim中使用cscope查找调用、定义函数和变量的地方
- Eclipse 查看变量或方法在什么地方被调用的快捷键