ETL开发面试问题加吐槽加职业发展建议
2017-04-30 19:48
232 查看
写在前面:
作为甲方,对于乙方派来的开发人员,我是会自己面一下。总体来说遇到的水平不一,于是经过这三年多的面(cui)试(can),总结了一套自己的面试套路,中间也遇到过很多想吐槽的东西,于是大概记录了下来。在后面, 也写了些关于这方面的职业发展和我个人的建议。
问题很基础,DBA路过误笑,同行高手欢迎过来喷一喷,一起进步。
先说下面试的顺序,首先我们现有的开发人员问基本的SQL语句问题和SSIS组件问题,然后我继续问以下问题。
问题1:假如有一个job突然失败了,那么你第一时间应该先去看哪里。
我的答案:
首先去看job history,看具体的错误信息,根据这个信息决定如何去解决问题。
如果在ETL中有自定义的日志输出,那么再去看自定义日志的内容。
![](https://images2015.cnblogs.com/blog/8622/201704/8622-20170430194724928-521016615.png)
吐槽:
居然很大一部分人不看job history,而是看自定义的日至。还有看哪里都不知道的,开发ETL不管后期的维护和错误排查,就算再简单的ETL,也不可能一直不出问题,好比写个代码不知道如何排错一样,所以到底做没做过ETL开发 ,这个问题直接能看出来。
另,往往大型项目会有自定义日至输出,但是能说出这一点的先别给高分,因为很有可能只是知道而已,具体了解多少还要参考下面几个问题。
问题2:假如一个job本来应该在凌晨两点跑完的,但是早上上班的时候发现还没有跑完,接下来会怎么做。
我的答案:
这么久的延迟最有可能是阻塞,比如下游报表或者客户端仍在数据仓库里查数。
排除这个问题,先用系统自带的报表查看目前是否有阻塞,或者用sp_who3网上大家扩展的一个方法来进行查询。如果发现ETL进程被阻塞,kill掉阻塞的进程,确保ETL能正常进行下去。
避免类似阻塞的情况发生,可以在ETL进行之前终止报表服务或查询账号,ETL成功之后再启动他们。
![](https://images2015.cnblogs.com/blog/8622/201704/8622-20170430194725444-166514348.png)
吐槽:
很多人都归结到数据量的巨增导致,这对一个正常的业务来说可能性比较低一些,但如果能说出这个原因也会多少加一点分。能知道用sp_who3来看目前有哪些语句在转的会加很大一部分分数,这个意识很关键。
问题3:接到用户抱怨说一个报表运行的很慢,如何处理。
我的答案:
先跑一下这个报表,重现一下运行缓慢的现象。然后在sql server端sp_who3一下看看到底是卡在了哪条查询,把查询单独拿出来进行进一步分析和优化。
点评:
偶尔问题也会问成ETL运行很慢,像上一个问题一样,主要还是考察是否有查看当前哪些语句在跑的意识。
吐槽:
会有人回答说把报表源代码拿过来一行一行去分析,这样虽然有可能找到问题,但是很慢。所以我会对做这个超过三年经验的人产生质疑。
问题4:如何进一步优化
我的答案:
看执行计划,查看几个关键点,比如索引缺失,SQL语句需要优化等问题。
点评:
能第一时间想到索引问题的加分,能想到SQL语句写法不地道的也加分。
这个需要追问,进一步考察执行计划,详见下一个问题。
吐槽:
有不少说一行一行去看的,所以会继续追问执行计划的问题。
问题5:如何快速的知道是由于索引缺失导致的
我的答案:
看执行计划,通常执行计划会直接提示具体缺失哪个索引,并且提供相应语句创建索引。
另外这个时候在执行计划里,看是否有表扫描,如果有说明索引缺失,如果看到索引查找说明是命中索引的。
如果系统无法给出的,可以先看执行计划里哪部分消耗的资源(百分比)最高,然后看里面所消耗的io数值是否很高,如果是的话说明索引也是有缺失,需要根据具体的情况添加索引。
![](https://images2015.cnblogs.com/blog/8622/201704/8622-20170430194725819-1535008594.jpg)
点评:
如果提到WHERE顺序的加分。
没提执行计划,但是提到看join条件,再看有没有索引的,我只能少加点分,毕竟这样查问题效率不高。
吐槽:
居然很少人提到系统自动的索引缺失提示。。。
半数人说看执行计划里每个步骤的时间 。。。
也有半数人知道看执行计划,但是说不出表扫描和索引扫描。
能看io消耗的真的很少很少。
问题6:索引的进一步问题。
比如:
聚集索引和非聚集索引的区别。(看对叶级结点的区别)
为什么聚集索引只能有一个。
一个表是否有聚集索引,对这个表的数据存储方式区别是什么。(这个回答不上来通常不减分)
吐槽:
具体答案就不写了,主要看回答是否能回答到点上,比如叶级结点的区别,数据排序,堆表等。
面试的所有人当中,能把部分问题说明白的很少,部分人也只是背书。
写在后面:
这些问题,估计做DBA的或者BI的同行应该是在边看边笑吧,但我吐槽的大家也看到了,能答到点子上的,在北京,很少,也许你说我们的vendor不给力,我可没这么说。
另外汇总了下我个人认为的,ETL开发对于不同工作年限的最低要求。
工作一年的要求:
熟悉各种SQL语句的写法,熟悉SSIS包里常用的模块。
三年:
知道索引,知道优化SQL语句,熟悉建模。能够处理日常ETL以及数据库级别的常见问题。
五年:
知道如何规划整个ETL,对设计数据仓库非常熟悉。
七年:
可以带领团队实施大规模的项目。
最后的最后:
说实在的,这行能一直干下来的很少很少,大多都是半路转过来,或者干不下去转别的了。
另外纯ETL开发从技能角度来说,如果只偏向这个方向确实以后的路越走越窄,同时配合些辅助的技能会路子宽很多,比如报表开发,DBA,架构,大数据等。
还有,甭管做什么,对业务的理解也很重要,而做BI这方面,是最适合对整个公司的系统架构有比较宽泛和略微深入的理解的,很多招聘要求里,都需要对某领域的业务有一定的了解,所以可以看出来这个的重要性,以及从乙方跳到甲方的重要资本。
作为甲方,对于乙方派来的开发人员,我是会自己面一下。总体来说遇到的水平不一,于是经过这三年多的面(cui)试(can),总结了一套自己的面试套路,中间也遇到过很多想吐槽的东西,于是大概记录了下来。在后面, 也写了些关于这方面的职业发展和我个人的建议。
问题很基础,DBA路过误笑,同行高手欢迎过来喷一喷,一起进步。
先说下面试的顺序,首先我们现有的开发人员问基本的SQL语句问题和SSIS组件问题,然后我继续问以下问题。
问题1:假如有一个job突然失败了,那么你第一时间应该先去看哪里。
我的答案:
首先去看job history,看具体的错误信息,根据这个信息决定如何去解决问题。
如果在ETL中有自定义的日志输出,那么再去看自定义日志的内容。
![](https://images2015.cnblogs.com/blog/8622/201704/8622-20170430194724928-521016615.png)
吐槽:
居然很大一部分人不看job history,而是看自定义的日至。还有看哪里都不知道的,开发ETL不管后期的维护和错误排查,就算再简单的ETL,也不可能一直不出问题,好比写个代码不知道如何排错一样,所以到底做没做过ETL开发 ,这个问题直接能看出来。
另,往往大型项目会有自定义日至输出,但是能说出这一点的先别给高分,因为很有可能只是知道而已,具体了解多少还要参考下面几个问题。
问题2:假如一个job本来应该在凌晨两点跑完的,但是早上上班的时候发现还没有跑完,接下来会怎么做。
我的答案:
这么久的延迟最有可能是阻塞,比如下游报表或者客户端仍在数据仓库里查数。
排除这个问题,先用系统自带的报表查看目前是否有阻塞,或者用sp_who3网上大家扩展的一个方法来进行查询。如果发现ETL进程被阻塞,kill掉阻塞的进程,确保ETL能正常进行下去。
避免类似阻塞的情况发生,可以在ETL进行之前终止报表服务或查询账号,ETL成功之后再启动他们。
![](https://images2015.cnblogs.com/blog/8622/201704/8622-20170430194725444-166514348.png)
吐槽:
很多人都归结到数据量的巨增导致,这对一个正常的业务来说可能性比较低一些,但如果能说出这个原因也会多少加一点分。能知道用sp_who3来看目前有哪些语句在转的会加很大一部分分数,这个意识很关键。
问题3:接到用户抱怨说一个报表运行的很慢,如何处理。
我的答案:
先跑一下这个报表,重现一下运行缓慢的现象。然后在sql server端sp_who3一下看看到底是卡在了哪条查询,把查询单独拿出来进行进一步分析和优化。
点评:
偶尔问题也会问成ETL运行很慢,像上一个问题一样,主要还是考察是否有查看当前哪些语句在跑的意识。
吐槽:
会有人回答说把报表源代码拿过来一行一行去分析,这样虽然有可能找到问题,但是很慢。所以我会对做这个超过三年经验的人产生质疑。
问题4:如何进一步优化
我的答案:
看执行计划,查看几个关键点,比如索引缺失,SQL语句需要优化等问题。
点评:
能第一时间想到索引问题的加分,能想到SQL语句写法不地道的也加分。
这个需要追问,进一步考察执行计划,详见下一个问题。
吐槽:
有不少说一行一行去看的,所以会继续追问执行计划的问题。
问题5:如何快速的知道是由于索引缺失导致的
我的答案:
看执行计划,通常执行计划会直接提示具体缺失哪个索引,并且提供相应语句创建索引。
另外这个时候在执行计划里,看是否有表扫描,如果有说明索引缺失,如果看到索引查找说明是命中索引的。
如果系统无法给出的,可以先看执行计划里哪部分消耗的资源(百分比)最高,然后看里面所消耗的io数值是否很高,如果是的话说明索引也是有缺失,需要根据具体的情况添加索引。
![](https://images2015.cnblogs.com/blog/8622/201704/8622-20170430194725819-1535008594.jpg)
点评:
如果提到WHERE顺序的加分。
没提执行计划,但是提到看join条件,再看有没有索引的,我只能少加点分,毕竟这样查问题效率不高。
吐槽:
居然很少人提到系统自动的索引缺失提示。。。
半数人说看执行计划里每个步骤的时间 。。。
也有半数人知道看执行计划,但是说不出表扫描和索引扫描。
能看io消耗的真的很少很少。
问题6:索引的进一步问题。
比如:
聚集索引和非聚集索引的区别。(看对叶级结点的区别)
为什么聚集索引只能有一个。
一个表是否有聚集索引,对这个表的数据存储方式区别是什么。(这个回答不上来通常不减分)
吐槽:
具体答案就不写了,主要看回答是否能回答到点上,比如叶级结点的区别,数据排序,堆表等。
面试的所有人当中,能把部分问题说明白的很少,部分人也只是背书。
写在后面:
这些问题,估计做DBA的或者BI的同行应该是在边看边笑吧,但我吐槽的大家也看到了,能答到点子上的,在北京,很少,也许你说我们的vendor不给力,我可没这么说。
另外汇总了下我个人认为的,ETL开发对于不同工作年限的最低要求。
工作一年的要求:
熟悉各种SQL语句的写法,熟悉SSIS包里常用的模块。
三年:
知道索引,知道优化SQL语句,熟悉建模。能够处理日常ETL以及数据库级别的常见问题。
五年:
知道如何规划整个ETL,对设计数据仓库非常熟悉。
七年:
可以带领团队实施大规模的项目。
最后的最后:
说实在的,这行能一直干下来的很少很少,大多都是半路转过来,或者干不下去转别的了。
另外纯ETL开发从技能角度来说,如果只偏向这个方向确实以后的路越走越窄,同时配合些辅助的技能会路子宽很多,比如报表开发,DBA,架构,大数据等。
还有,甭管做什么,对业务的理解也很重要,而做BI这方面,是最适合对整个公司的系统架构有比较宽泛和略微深入的理解的,很多招聘要求里,都需要对某领域的业务有一定的了解,所以可以看出来这个的重要性,以及从乙方跳到甲方的重要资本。
相关文章推荐
- ETL开发面试问题加吐槽加职业发展建议
- 欢迎提问有关信息系统,软件产品开发,测试,支持和相关职业发展的问题。
- 记录 android 开发的一个 "面试" 问题
- 各大互联网公司java开发面试常问问题
- 面试问题汇总 精选 分析 解答 职业规划 part 3
- 老程序员不得不正视的问题:个人职业发展
- 讨论开发人员的职业发展走向
- 面试官自述:面向高级开发人员的iOS面试问题
- 使用JSP开发应用程序时的编码(中文等乱码)问题的建议解决方案(包括接受request和数据库操作)
- 如何回答两个常见的开发求职面试问题
- 吐槽一个3年程序员的开发水平,忍不住去反思一个问题
- 面试随笔——记录一些面试中碰到的问题(初级/中级Java开发)
- 答CsdnBlogger问-关于职业发展和团队管理问题
- 阿里JAVA开发面试常问问题总结
- 牛客网Java刷题知识点之什么是单例模式?解决了什么问题?饿汉式单例(开发时常用)、懒汉式单例(面试时常用)、单例设计模式的内存图解
- java高级开发工程师面试问题
- 魅族 安卓开发面试 问题整理(2017.12.13)
- Linux后台开发面试问题汇总
- C#方向高级开发人员面试时应该事先考虑的问题
- 答读者问(13):有关应届生求职面试资料和职业规划等问题