fengzf的gravatar头像
fengzf2018-11-07 15:20:56

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

项目描述

一、需求

       获取携程网站用户点评数据保存到数据库中

       http://vacations.ctrip.com/grouptravel/p1740331s0-comment-1.html

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

二、项目结构

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

三、代码说明

       创建xiechengcourse数据库,执行comment.sql文件

    首先说一个工具类

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

执行main方法,会自动根据数据库表生成entity,mapper,mapper.

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

注意:只能执行一次,否则会报错,要想重新执行把这三个文件删了重新执行一遍

pom.xml(所依赖的jar包)

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

有mybatis生成工具的依赖,httpclient的依赖,还有mysql的依赖,json的依赖,。。。。。。

application.yml

配置文件

DataController.java

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

就一个api,一个参数page,传入几页就是拉取几页的数据

CommentServiceImpl.java

业务很简单,就是根据url爬取数据,然后批量保存到数据库中

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

 

CommentMapper.java

批量插入数据要自己添加,不能自动生成

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

<!--批量插入数据-->

<insert id="insertBatch" parameterType="java.util.List">

  insert into comment

  (id, user_id, user_type,score, comment_info,comment_tips)

  values

  <foreach collection="list" index="index" item="item" separator=",">

    (#{item.id,jdbcType=INTEGER}, #{item.userId,jdbcType=VARCHAR}, #{item.userType,jdbcType=VARCHAR},

    #{item.score,jdbcType=VARCHAR}, #{item.commentInfo,jdbcType=LONGVARCHAR}, #{item.commentTips,jdbcType=TIMESTAMP})

  </foreach>

</insert>

运行环境

jdk8+tomcat8+mysql+IntelliJ IDEA+maven

项目技术(必填)

spring boot+mybatis+ jsoup

数据库文件

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

jar包文件

maven搭建

链接:https://pan.baidu.com/s/16tJG8r_5l02uNXMzYX8LwQ
提取码:lhsw

是否原创(转载必填原文地址)

原创

项目截图(必填)

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

运行截图(必填)

项目启动

访问地址:http://localhost/api/getData?page=100 拉取前100页的评论数据

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

获取数据成功 看看结果 每页10条数据,数据库中一共是1000条数据Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

注意事项

1、mybatis生成代码时注意配置

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

2、启动报错

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

解决 :

数据库连接后加参数serverTimezone=GMT%2B

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

3、CrawlerdataApplication.java注解配置不要遗漏

Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

打赏

已有1人打赏

最代码官方的gravatar头像

文件名:crawlerdata.zip,文件大小:125.891K下载
顶部客服微信二维码底部
>扫描二维码关注最代码为好友扫描二维码关注最代码为好友