java实现采集（爬）网页中的信息

大家好，我是雄雄，欢迎关注微信公众号：雄雄的小课堂。

前言

爬虫，大家都听过，可能好多人的第一印象，就是使用python进行操作，但是除了python之外，其他语言可以操作不？

答案是肯定的，今天我们就来看看如何使用java采集网页上的信息。

起因

起因是这样的，社群内好多粉丝都喜欢看每日分享的新闻，于是就写了个定时给微信群中推送新闻40条，后来，有人说，有没有历史上的今天，我找了找，也有。于是就把历史上的今天也加进去。

但是历史上的今天内容从哪里来的呢？从一个网页上采集下来的。

采集步骤

在java中，以前还真没有过类似的场景，于是问了下claude，找到了答案，下面我整理出来分享给大家。

1. 在pom文件中添加依赖。

 <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.10.2</version>
        </dependency>

2. 写一个公共的方法，我这边为了高复用性，所以写了个工具类 CollectWebDataUtils。

其中有两个方法：

/**
     * 采集农历查询网，历史上的今天的数据
     * tag:  0，历史上的今天
     * tag:  1,农历
     *
     */
    public String getCom(String date,Integer tag){
        String history = "";
        // 要爬取的网页URL
        String url = "http://xxxx.com/today/"+date+".html";
        if(tag==0){
            history  = getHistoryToday(url).toString();
        }

        return history;

    }

 /**
     * 获取历史上的今天
     * @param url
     */
    public JSONObject getHistoryToday(String url){
        JSONObject jsonObject   =  new JSONObject();
        // 连接到网址并获取网页内容
        Document doc = null;
        try {
            doc = Jsoup.connect(url).get().body().ownerDocument();
            // 获取所有class为theiaStickySidebar的元素
            Elements theiaStickySidebar = doc.getElementsByClass("sidemain");
            //找到第一个wz元素
            Elements wz = theiaStickySidebar.first().getElementsByClass("wz");
            //获取所有的li标签
            Elements lis = wz.select("li");
            JSONArray array = new JSONArray();
            for (Element li : lis) {
                JSONObject jsonObject_li = new JSONObject();
                //查找每个集合中的a标签
                Elements li_a = li.select("a");
                //年份
                jsonObject_li.put("year",li_a.get(0).text());
                //天
                jsonObject_li.put("days",li_a.get(1).text());
                //内容
                jsonObject_li.put("content",li_a.get(2).text());
                //添加到集合中
                array.add(jsonObject_li);
            }
            jsonObject.put("history",array);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return jsonObject;
    }

然后就可以了，最后我们调用一下进行测试

 public static void main(String args[]) {
        CollectWebDataUtils col = new CollectWebDataUtils();
        String result = col.getCom("2023-04-22",0);
        JSONObject object = JSONObject.parseObject(result);
        JSONArray contentList = object.getJSONArray("history");
        contentList.forEach(item->{
            JSONObject arrayObject = new JSONObject();
            JSONObject itemObject = (JSONObject)item;
            String year = itemObject.getString("year");
            String days = itemObject.getString("days");
            String content = itemObject.getString("content");
            System.out.println(year+"-"+days+"："+content);
        });

    }

• getElementsByClass：获取class元素
• first：获取第一个元素
• select：获取所有的某个标签