大数据工程师是做什么的？
介绍大数据工程师需要的几项关键技能:
1.大数据架构的工具和组件数据工程师更注重分析基础设施，因此所需技能大多以架构为中心。
2.深入了解SQL等数据库解决方案数据工程师需要熟悉数据库管理系统，深入了解SQL非常重要。类似地，其他数据库解决方案，如Cassandra或BigTable，应该是熟悉的，因为不是每个数据库都是按照可识别的标准构建的。
3.数据仓库和ETL工具数据仓库和ETL经验对于数据工程师来说非常重要。Redshift或Panoply等数据仓库解决方案以及StitchData或Segment等ETL工具非常有用。另外，数据存储和数据检索的体验同样重要，因为处理的数据量是天文数字。
4.基于Hadoop的分析(Hbase、Hive、MapReduce等。)对基于ApacheHadoop的分析有深入的了解是这个领域非常必要的要求。总的来说，Hbase，Hive，MapReduce的知识存储是必要的。
5.编码说到解决方案，编码和开发能力是一个重要的优势(这也是很多岗位所要求的)。你要熟悉Python，C/C，Java，Perl，Golang或者其他语言，这将是非常有价值的。
6.机器学习机器学习已经成为一门标准的数据科学，这一领域的知识可以帮助我们为类似的产品构建解决方案。这种知识的另一个好处是，它使你在这个领域非常有价值，因为能够"戴两顶帽子"在这种情况下会让你成为一个更强大的工具。
7.多种操作系统最后，我们需要对Unix、Linux和Solaris系统有深入的了解。很多数学工具都是基于这些操作系统的，因为它们有Windows和Mac系统没有的访问权限和特殊的硬件要求。
10G左右的csv文件用什么打开比较好？
Its一些数据，然后需要分析。
这个估算要用专业的
etl工具亮点？
Etl用于描述从源到目的地提取、转换和加载数据的过程。
etl一词常用于数据仓库，但其对象并不限于数据仓库。
etl所描述的过程一般包括etl或ELT，它们是混合的。
通常数据量越大，转换逻辑越复杂，目的地计算能力强的数据库越倾向于使用。ELT，以便使用目标数据库的并行处理能力。
etl的过程可以用任何编程语言来开发。由于etl是一个极其复杂的过程，并且手写程序难以管理，越来越多的企业使用工具来辅助etl的开发，并使用其内置的元数据功能来存储源和目的的对应关系以及转换规则。