抓取数据程序的改进:增加了数据库插入和统计

Words
644
Reading
3 min
Listen
Play
5y

在抓取完数据后,我发现虽然数据是拿到了,但仍然是以table的形式展示,这跟之前的网页其实是没什么区别的,为了便于后边更好的进行数据的分析和处理,应该进一步做一下处理,比如转存储成文件或者存入到数据库中。

把数据存储到文件中比如txt文件,操作是挺简单,但后期数据处理起来,似乎仍然不是很方便。

那就干脆存入到数据库中,后期无论查询还是统计,都很方便。

如果要存入到数据库,那必须先得建个数据表,如下图,

image.png

如图这张表,之前是手工创建,后边这个是用phpMyAdmin自动导出的。

接下来就是把之前的程序改造下,增加个数据库方面的操作。

首先自然是先配置测试下数据库连接状态,如下图,

image.png

浏览器输入测试下,

image.png

测试数据库连接无问题

其实插入到数据库,关键就是如下这条语句,

image.png

但在执行时,总是提示出错,我仔细检查了下,原来问题出在这个日期字段上。php虽说不像java等强类型,对类型初始时无需定义,但在实际中,如果两个类型不符,仍然是会报错。

比如我获取到的这个日期数据是字符型,直接插入到数据库中就会出错,需要将字符类型先转换为符合格式的日期类型才可以,加上如下语句,

image.png

另外,为了防止导入重复的数据,加了个判断,如果之前有导入某期数据,则自动忽略,只插入未曾使用过的数据,

image.png

因为这个数据总共不过几千条,又是本地运行,所以可以不用太注意代码的优化,实际中,如果数据量大,操作数据库的语句是要优化一番的,比如加多个count(*)等。

最后完成后不忘记要关闭数据库连接,

$conn->close();

查看下数据库,数据都被导入了,而且没有重复的数据,

image.png

后期进行数据分析和统计,就非常方便了。

完整的代码初步如下,

image.png

image.png

image.png

image.png

image.png