将HTTP简单话，对于喜欢研究爬虫的小伙伴有帮助。可实现文件下载，文件上传，可携带cookie进行请求爬取天眼查页面数据：...

闲着没事。想找点壁纸，于是用python写个爬虫来爬个壁纸吧。（需要在D盘根目录创建images文件夹） ...

{代码...}【写在前面】   在博客里面《我的站长之路》里面提到了一个百度网盘搜索引擎网站，今天晚上下班早还是决定回来分享一下源码吧！ 【网站概况】名字：盘一下 - 百度网盘搜索引擎选用域名：www.panyixia.cn [ 有需要域名的牛牛 可以考虑这个域名 我打算转让 3年的...

本人技术很差，所以一直对东西很感兴趣，今天看到了网页抓取，参考大神们。然后弄了两个Java文件。一个是bdy jdk1.7，bdy jdk1.8 如果您机器上没有两个jdk的话您可以百度一下怎么弄。很简单。 类似这种 然后更换完成之后，测试一下是否更换完成显示这样子就可以了。 然...

前二天运营部的同事让我帮爬下数据，爬完了发出来大家分享。sql脚本代码都有。甩进去就能跑，快上车，滴，学生卡！...

{代码...}

希望像学习weka数据挖掘工具，并应用java的weka API编程的人能有所借鉴运行截图...

不用开发，直接使用。支持伪造头，伪造Cookie等可以导出文件可以使用div 页面元素就能爬取内容导入Eclipse直接用[+]com.pga.*    [-]crawler.*      //爬虫处...

elasticsearch搜索工具包，常用接口封装，可直接用于项目进行基于elasticsearch的搜索，分页、查询、初始化、创建索引、以及索引的增、删、改、查都封装成普通接口。...

前几天有个朋友给我发了个链接说是让我去投票，我去看了下，选择了目标投票，再点的时候给我说一个IP只能投一次，作为一只猿当然得想法去突破它，就想着用HttpClient去代理提交请求实现刷票，由于朋友的活动已经关闭了，这里找了另一个网站做测试，http://www.hnxdf.com/vote/ind...

利用jsoup解析迅雷官网并提取迅雷VIP帐号与密码,这是一个学习的程序,所以不喜勿喷....

{代码...}第一种方式：需要导入jsoup.jar包1、给定一个url获得相对应的text文本   Document doc doc = Jsoup.connect("链接地址").get();2、通过select条件过滤符合的元素   Element...

{代码...}1.新建一个maven项目httpclient2.登录中国联通并抓取数据3.使用Get模拟登录,抓取每月账单数据中国联通有两种登录方式:上面两图的区别一个是带验证码,一个是不带验证码, 下面将先解决不带验证码的登录.这里有两个难点,一是验证码,二uvc码;验证码,这里将其写到本地,然后人工输入,这个...

看到牛哥分享了一个获取网页内容的例子，想到以前页写过类似的，目的是抓取网页上的内容，拿到后给自己的站点用。一般是通过正则表达式搞到自己想要内容，不知到有没有其他好的方法。本例子只是获取特定网站的源码。...

、拓展分词功能（IK分词词库量增加23w,支持中英文分词；自定义关键字自动补全分词）2、完善竞价排名功能（对solr-core-4.6.1.jar里的org.apache.solr.handler.component.QueryElevationComponent组件进行完善）3、同义词实现（注意中...

最近最代码的搜索增加了lucene的搜索机制，调研总结了一些实用的demo，给大家分享下。包括：1.建立索引2.通过IKAnalyzer搜索中文关键词3.复杂的多字段搜索4.多线程并发搜索,通过contiperf测试，详见：contiperf_百度百科5.分页搜索注意：lucene4.10.0需要j...

分享的是一段较简单的爬虫，采用的网页分析方法是HTMLparser，抓取某个特定标签下的内容并存入excel表中。...

实例适合刚入门的开发者学习。界面如下：...

产生背景：公司有文员要从互联网上录入一些信息，效率低，费时费力，准确度不高。 我没事就做了个小小的demo ,设置相关参数，就可以快速抓取网站上的信息。流程(此 demo抓取对象是赶集)：此信息展示列表的展示页的链接URL作为参数，首先抓取所有信息列表的链接，获得每条信息的链接后，依次打开链接，获得...