1. 研究目的与意义

随着互联网的高速发展，人们在购物方式上有了更多的选择，由于线上购物不受时间和空间的限制并且物流发展迅速，人们将线上购物作为他们最佳的购物选择，因此线上购物成为人们生活中不可缺少的一部分。网购者在购物时往往想对比商品不同的价格信息，以此挑选最满意的商品链接进行下单。但网上商品太多，假设要买到满足最高满意度的商品，用户须花费大量时间精力去对比。

为了解决用户在购物时需不断自行比拟价格的繁琐问题，节省用户购物时间优化用户的购物体验，带给用户带了更愉悦的购物经历，本课题基于此，要求设计一个商品比价网站，其拥有合适的功能，优美的页面，以满足人们对网络购物的需求。

2. 课题关键问题和重难点

1. 本系统使用的是flask框架，flask 是一个轻量级的 web 框架，使用 python 语言编写，较其他同类型框架更为灵活、轻便且容易上手，小型团队在短时间内就可以完成功能丰富的中小型网站或 web 服务的实现。如何学会运用flask框架是完成本系统的首要任务。

2. scrapy是一种高效的屏幕抓取和web抓取框架，适用于python，可快速捕捉web站点并提取结构化数据。该框架在网页分析方面有着出色的性能，是一种广泛应用于数据挖掘、监测和自动化测试等领域的工具，其多功能性和实用性使其成为不可或缺的工具。

3. 国内外研究现状（文献综述）

随着信息技术的普及与发展, internet已深入到人们生活与工作的各个角落，搜索引擎已成为人们获取信息最快捷的工具，网上购物已成为一种生活方式，越来越被大多数人接受。但是网上商品种类繁多、价格高低不同和商家良莠不齐，消费者不得不花费大量的时间在各大购物网站浏览商品、比较价格、权衡性价比。因此，用户很希望拥有这样--套系统来帮助他们完成对商品的选购，在这套系统中包含了各大主流购物网站中热卖产品的信息，通过简单的搜索就能够知道哪个网站售卖的商品最便宜、性价比最高，比价购物平台是一个很好的解决方案。

基于python语言、requests库和re模块的程序设计，蔡振海^[1]能够快速爬取商品信息和价格，以淘宝为例，实现了快速获取商品价格的目标；利用python的爬虫技术，孟宪颖和毛应爽^[2]设计了一种高效的商品采集和分析方法，通过requests库下载按关键字搜索的商品信息，并使用正则表达式和beautiful soup对数据进行初步清洗，最终将数据存储到mongodb数据库中，实现了预期目标，即快速、有效地获取所需的数据信息；雷前春^[3]结合协同过滤推荐算法，在比价网上增加商品推荐系统，实现比价网由被动展示模式向可进行个性化推荐的主动展示模式的转变，提出基于信息嫡和用户兴趣时间性的协同过滤算法(ieicfa)作为推荐系统的核心算法；芮虎^[4]在heritrix网络爬虫的基础上，对某些功能做护展和定制化开发，本就确定种子链接、网页抓取的方法、分析和抽取网页内容、结构化与存储数据和展现商品数据几个问题作了深入讨论；卢江等^[5]以图书购买推荐与比价策略的研究为重点,主要运用了lxml库与python相关技术,以及图书比价的策略特点,为用户提供更直观的商品指标,同时存储商品信息为后续的进一步优化提供数据源。

4. 研究方案

总体思路

因为是比价系统，所以肯定要实现数据的获取，那么就难免需要网络爬虫技术、数据库技术以及简单的可视化设计。首先使用python的scrapy框架进行爬取，爬取到的信息进行数据处理，然后存储到mysql数据库中，最后实现在页面中的可视化展示，

5. 工作计划

2022-2023-1学期：

第15-16周：完成选题，查阅相关中英文资料，进行相关技术的学习；

第17周：与导师沟通进行课题总体规划；