大数据包括什么?
大数据技术庞大而复杂,基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同技术层次。
大数据主要技术组件:Hadoop、Hbase、kafka、Hive、MongoDB、Redis、Spark、Storm、Flink等。
大数据技术包括数据采集、数据管理、数据分析、数据可视化、数据安全等。数据收集包括传感器收集、系统日志收集和网络爬虫。数据管理包括传统数据库技术、nosql技术,以及针对大规模数据的大数据平台,如hadoop、spark、storm等。数据分析的核心是机器学习,当然包括深度学习和强化学习,还有自然语言处理、图形和网络分析。