零基础写Java知乎爬虫之将抓取的内容存储到本地
程序员文章站
2024-02-29 19:54:04
说到java的本地存储,肯定使用io流进行操作。
首先,我们需要一个创建文件的函数createnewfile:
复制代码 代码如下:
public static bo...
说到java的本地存储,肯定使用io流进行操作。
首先,我们需要一个创建文件的函数createnewfile:
复制代码 代码如下:
public static boolean createnewfile(string filepath) {
boolean issuccess = true;
// 如有则将"\\"转为"/",没有则不产生任何变化
string filepathturn = filepath.replaceall("\\\\", "/");
// 先过滤掉文件名
int index = filepathturn.lastindexof("/");
string dir = filepathturn.substring(0, index);
// 再创建文件夹
file filedir = new file(dir);
issuccess = filedir.mkdirs();
// 创建文件
file file = new file(filepathturn);
try {
issuccess = file.createnewfile();
} catch (ioexception e) {
issuccess = false;
e.printstacktrace();
}
return issuccess;
}
然后,我们需要一个写入文件的函数:
复制代码 代码如下:
public static boolean writeintofile(string content, string filepath,
boolean isappend) {
boolean issuccess = true;
// 先过滤掉文件名
int index = filepath.lastindexof("/");
string dir = filepath.substring(0, index);
// 创建除文件的路径
file filedir = new file(dir);
filedir.mkdirs();
// 再创建路径下的文件
file file = null;
try {
file = new file(filepath);
file.createnewfile();
} catch (ioexception e) {
issuccess = false;
e.printstacktrace();
}
// 写入文件
filewriter filewriter = null;
try {
filewriter = new filewriter(file, isappend);
filewriter.write(content);
filewriter.flush();
} catch (ioexception e) {
issuccess = false;
e.printstacktrace();
} finally {
try {
if (filewriter != null)
filewriter.close();
} catch (ioexception e) {
e.printstacktrace();
}
}
return issuccess;
}
我们把这两个函数封装到一个filereaderwriter.java文件中以便后续使用。
接着我们回到知乎爬虫中。
我们需要给知乎的zhihu封装类加个函数,用来格式化写入到本地时的排版。
复制代码 代码如下:
public string writestring() {
string result = "";
result += "问题:" + question + "\r\n";
result += "描述:" + questiondescription + "\r\n";
result += "链接:" + zhihuurl + "\r\n";
for (int i = 0; i < answers.size(); i++) {
result += "回答" + i + ":" + answers.get(i) + "\r\n";
}
result += "\r\n\r\n";
return result;
}
ok,这样就差不多了,接下来吧mian方法中的system.out.println改成
复制代码 代码如下:
// 写入本地
for (zhihu zhihu : myzhihu) {
filereaderwriter.writeintofile(zhihu.writestring(),
"d:/知乎_编辑推荐.txt", true);
}
运行,便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里:
大体一看没什么问题,仔细看看发现问题:存在太多的html标签,主要是<b>和<br>。
我们可以在输出的时候对这些标记进行处理。
先把<br>换成io流里面的\r\n,再把所有的html标签都删除,这样看起来便会清晰很多。
复制代码 代码如下:
public string writestring() {
// 拼接写入本地的字符串
string result = "";
result += "问题:" + question + "\r\n";
result += "描述:" + questiondescription + "\r\n";
result += "链接:" + zhihuurl + "\r\n";
for (int i = 0; i < answers.size(); i++) {
result += "回答" + i + ":" + answers.get(i) + "\r\n\r\n";
}
result += "\r\n\r\n\r\n\r\n";
// 将其中的html标签进行筛选
result = result.replaceall("<br>", "\r\n");
result = result.replaceall("<.*?>", "");
return result;
}
这里的replaceall函数可以使用正则,于是所有的<>标签在最后就都被删除了。
上一篇: CHECKBOX 的全选、取消及跨页保存的实现方法
下一篇: MySQL中修改库名的操作教程