在抓取完数据后,我发现虽然数据是拿到了,但仍然是以table的形式展示,这跟之前的网页其实是没什么区别的,为了便于后边更好的进行数据的分析和处理,应该进一步做一下处理,比如转存储成文件或者存入到数据库中。
把数据存储到文件中比如txt文件,操作是挺简单,但后期数据处理起来,似乎仍然不是很方便。
那就干脆存入到数据库中,后期无论查询还是统计,都很方便。
如果要存入到数据库,那必须先得建个数据表,如下图,
如图这张表,之前是手工创建,后边这个是用phpMyAdmin自动导出的。
接下来就是把之前的程序改造下,增加个数据库方面的操作。
首先自然是先配置测试下数据库连接状态,如下图,
浏览器输入测试下,
测试数据库连接无问题
其实插入到数据库,关键就是如下这条语句,
但在执行时,总是提示出错,我仔细检查了下,原来问题出在这个日期字段上。php虽说不像java等强类型,对类型初始时无需定义,但在实际中,如果两个类型不符,仍然是会报错。
比如我获取到的这个日期数据是字符型,直接插入到数据库中就会出错,需要将字符类型先转换为符合格式的日期类型才可以,加上如下语句,
另外,为了防止导入重复的数据,加了个判断,如果之前有导入某期数据,则自动忽略,只插入未曾使用过的数据,
因为这个数据总共不过几千条,又是本地运行,所以可以不用太注意代码的优化,实际中,如果数据量大,操作数据库的语句是要优化一番的,比如加多个count(*)等。
最后完成后不忘记要关闭数据库连接,
$conn->close();
查看下数据库,数据都被导入了,而且没有重复的数据,
后期进行数据分析和统计,就非常方便了。
完整的代码初步如下,