1. 研究目的与意义（文献综述包含参考文献）

文 献 综 述 1. 前言近年来，随着电商的高速发展，网购已经成为人们日常生活中重要的一部分。

电商网站每天都会产生大量的日志文件。

尤其是在2019年天猫双十一，总成交额达到2684亿元人民币，京东2044亿元人民币，当天产生的用数据也瞬间达到pb级别。

2. 研究的基本内容、问题解决措施及方案

1. 拟研究或解决的问题搭建并配置nginx集群生成日志，使用flume对nginx产生的日志进行收集，将收集日志导入hdfs中存储。

搭建hadoop，hbase，hive分布式高可用集群。

编写mapreduce程序对用户行为日志进行etl，将etl后的半结构化的数据存入hbase。