1. 研究目的与意义

随着互联网行业的迅速发展，信息量不断的剧增，web可以说是目前最大的信息系统。

人们通过网络在web上发消息、邮件、论坛和微博，上传和下载图片、听歌曲、看视频以及玩一些游戏，利用搜索引擎查找信息，看新闻、网上购物并且完成支付甚至广告等。

互联网成为大规模数据增长的巨大驱动之一，用户访问网站时会在服务器上产生大量的访问的日志，这些日志数据具有海量、多样、异构、动态变化等特征。

2. 课题关键问题和重难点

课题关键问题：1.hadoop分布式文件系统框架的设计。

2.hbase分布式开元数据库和hive数据仓库设计。

3.mapreduce编程模型的开发结构的分析，结构具有很好的可扩展性，便于将来的功能扩展和维护。

3. 国内外研究现状（文献综述）

调研报告1、数据库阶段 数据库系统的萌芽出现于20世纪60年代。

当时计算机开始广泛地应用于数据管理，对数据的共享提出了越来越高的要求。

传统的文件系统已经不能满足人们的需求。

4. 研究方案

1.搭建hadoop分布式文件系统，包括hbase分布式开源数据库和hive数据仓库等2.系统hadoop框架中最核心的设计就是：hdfs和mapreduce，通过mapreduce编程模型，编写需要处理数据的代码，进行清洗。

3.使用hive对数据进行分析，分析后将结果导入到mysql中。

4.通过javascrip调用数据库内容，直观的显示在页面中。

5. 工作计划

第1-2周：做相关市场调查，完成系统的需求分析、提出具体设计方案，准备好相关软硬件相关资源。

第3-4周：撰写开题报告（弄清选题背景与意义国内外相关研究现状、课题关键问题及难点、文献综述、研究方案、技术路线及可行性分析）第4-6周：搭建好数据库和hadoop框架，分析设计数据库表格，在hadoop集群中安装hive和hbase模块。

第6-8周：配置好java环境，编写mapreduce代码模块，对数据进行清洗，清洗完的数据放入hbase中，并且使用hive对数据进行分析，分析后的数据放入本地mysql中。