欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

零基础写Java知乎爬虫之将抓取的内容存储到本地

程序员文章站 2024-02-29 19:54:04
说到java的本地存储,肯定使用io流进行操作。 首先,我们需要一个创建文件的函数createnewfile: 复制代码 代码如下: public static bo...

说到java的本地存储,肯定使用io流进行操作。
首先,我们需要一个创建文件的函数createnewfile:

复制代码 代码如下:

public static boolean createnewfile(string filepath) { 
        boolean issuccess = true; 
        // 如有则将"\\"转为"/",没有则不产生任何变化 
        string filepathturn = filepath.replaceall("\\\\", "/"); 
        // 先过滤掉文件名 
        int index = filepathturn.lastindexof("/"); 
        string dir = filepathturn.substring(0, index); 
        // 再创建文件夹 
        file filedir = new file(dir); 
        issuccess = filedir.mkdirs(); 
        // 创建文件 
        file file = new file(filepathturn); 
        try { 
            issuccess = file.createnewfile(); 
        } catch (ioexception e) { 
            issuccess = false; 
            e.printstacktrace(); 
        } 
        return issuccess; 
    } 

然后,我们需要一个写入文件的函数:

复制代码 代码如下:

public static boolean writeintofile(string content, string filepath, 
            boolean isappend) { 
        boolean issuccess = true; 
        // 先过滤掉文件名 
        int index = filepath.lastindexof("/"); 
        string dir = filepath.substring(0, index); 
        // 创建除文件的路径 
        file filedir = new file(dir); 
        filedir.mkdirs(); 
        // 再创建路径下的文件 
        file file = null; 
        try { 
            file = new file(filepath); 
            file.createnewfile(); 
        } catch (ioexception e) { 
            issuccess = false; 
            e.printstacktrace(); 
        } 
        // 写入文件 
        filewriter filewriter = null; 
        try { 
            filewriter = new filewriter(file, isappend); 
            filewriter.write(content); 
            filewriter.flush(); 
        } catch (ioexception e) { 
            issuccess = false; 
            e.printstacktrace(); 
        } finally { 
            try { 
                if (filewriter != null) 
                    filewriter.close(); 
            } catch (ioexception e) { 
                e.printstacktrace(); 
            } 
        } 
 
        return issuccess; 
    } 

我们把这两个函数封装到一个filereaderwriter.java文件中以便后续使用。
接着我们回到知乎爬虫中。
我们需要给知乎的zhihu封装类加个函数,用来格式化写入到本地时的排版。

复制代码 代码如下:

public string writestring() { 
        string result = ""; 
        result += "问题:" + question + "\r\n"; 
        result += "描述:" + questiondescription + "\r\n"; 
        result += "链接:" + zhihuurl + "\r\n"; 
        for (int i = 0; i < answers.size(); i++) { 
            result += "回答" + i + ":" + answers.get(i) + "\r\n"; 
        } 
        result += "\r\n\r\n"; 
        return result; 

ok,这样就差不多了,接下来吧mian方法中的system.out.println改成

复制代码 代码如下:

// 写入本地 
        for (zhihu zhihu : myzhihu) { 
            filereaderwriter.writeintofile(zhihu.writestring(), 
                    "d:/知乎_编辑推荐.txt", true); 
        } 

运行,便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里:

零基础写Java知乎爬虫之将抓取的内容存储到本地

大体一看没什么问题,仔细看看发现问题:存在太多的html标签,主要是<b>和<br>。
我们可以在输出的时候对这些标记进行处理。
先把<br>换成io流里面的\r\n,再把所有的html标签都删除,这样看起来便会清晰很多。

复制代码 代码如下:

public string writestring() { 
    // 拼接写入本地的字符串 
    string result = ""; 
    result += "问题:" + question + "\r\n"; 
    result += "描述:" + questiondescription + "\r\n"; 
    result += "链接:" + zhihuurl + "\r\n"; 
    for (int i = 0; i < answers.size(); i++) { 
        result += "回答" + i + ":" + answers.get(i) + "\r\n\r\n"; 
    } 
    result += "\r\n\r\n\r\n\r\n"; 
    // 将其中的html标签进行筛选 
    result = result.replaceall("<br>", "\r\n"); 
    result = result.replaceall("<.*?>", ""); 
    return result; 

这里的replaceall函数可以使用正则,于是所有的<>标签在最后就都被删除了。