文章目录

大数据应用场景和大数据职业发展需要掌握的技术技能构成1、大数据的发展方向和应用场景2、大数据人才的学习和发展路线规划

大数据应用场景和大数据职业发展需要掌握的技术技能构成

1、大数据的发展方向和应用场景

主要的应用场景1、推荐系统电商 + 跨平台广告推荐抖音等视频系统的内容推荐2、行业大数据政务：新型冠状病毒传播监测教育：学生综合分析物流：智慧物流保险：风险预测金融：用户画像获取优质客户房产：精准投策营销3、网络安全态势感知4、科技5G、物联网、人工智能 （决策支持、路径规划等）

2、大数据人才的学习和发展路线规划

大数据主要解决海量数据的采集、存储、计算

1、Java1、数据库技术，MySql2、Maven3、Linux4、Shell 编程5、分布式6、HDFS7、Zookeeper2、Hadoop 生态，高效计算1、Hive2、Flume3、Kafka4、Hbase5、Sqoop6、Kylin7、Azkaban8、DataX3、Spark 生态，数据挖掘和机器学习1、Scale2、Spark3、SparkStream4、Github / Git5、Elasticsearch6、Kibana7、Logstash8、Redis4、Flink 生态，实时计算1、Flink2、Event Time 与 Window3、有状态计算4、Hudi5、ClickHouse6、Apache Doris