项目名称：基于爬虫的垂直视频网站设计与实现

执行时间：2018年4月至2018年11月

项目成员：王伟、车欣怡、程子祥、王玉杰

指导教师：兰艳（副教授） 软件工程系

项目简介：（200字以内）

本项目架构的表现形式为爬虫系统网站+前后分离的视频网站+视频管理端。从整体上来说，通过爬虫系统进行数据的爬虫，进行入库操作，进入MySQL爬虫数据库中，视频网站和视频网站管理端都依赖于爬虫数据库的视频数据，他们也有独立MySQL数据库。如下列出本项目三个系统的主要功能爬虫系统、视频网站、视频网站管理系统。

创新点：（100字以内）

1.分布式爬虫系统，前后端分离，实现分布式搭建。基于WebMagic框架二次开发制定，通过可视化界面实现爬取操作。

2.数据库根据规则动态建立，避免了不同视频网站数据库表结构不同的弊端。

3.使用redis做缓存和并发处理，数据存取效率较高。

取得成果：

完成了爬虫系统并成功申请软件著作权。

心得体会：（50字以内）

在项目进行中，培养了团队意识，提高了独立思考和解决问题的能力。本项目实现主要依托于在企业实习工作，学习了相关技术，并将其用于独立项目研发，提高了动手实践能力，真切感受到了学以致用的成就感。

相关图片：