鸿 网 互 联 www.68idc.cn

当前位置 : 服务器租用 > 软件教程 > 其他工具 > >

火车头采集时 采网址--重复网址的临时解决方法

来源:互联网 作者:佚名 时间:2015-03-26 02:09
由于一些原因我们刚采集的网址没有成功,系统表中网址已经存在。为了方便以后的采集重复,我们又不能直接清空该任务地址库。

由于一些原因我们刚采集的网址没有成功,系统表中网址已经存在。为了方便以后的采集重复,我们又不能直接清空该任务地址库。

所以下面给出临时的解决方法: 我这里是用的 火车头采集器2010sp2个人版。

商业版用户的采集后的网址都存储在 PageUrl 目录里面的,一个任务对应一个db3.大家可以从最上面的任务往下数第一个,对应的就是Site_*.db3.这样大家可以先备份一下,然后清空也不怕了,到时候直接还原用户名既可以,如果怕出错,全部保存,一会恢复即可。
如图:

火车头采集时 采网址--重复网址的临时解决方法


如果想更进一步的查看,这个db3其实就是sqlite数据库格式的文件,可以用db3数据库编辑器 查看修改。根据jobid查看,有朋友问不知道jobid怎么办,呵呵,大家可以到 Data 目录查看 3-新浪国内新闻 后面的新浪国内新闻就是你自定义的网站栏目名称。这个跟jobid对应上即可。
如图:

火车头采集时 采网址--重复网址的临时解决方法


最后大家备份好数据库以后就可以(需要备份在 PageUrl 与 Data目录的你的任务名对应的文件夹,最好是全部以防万一,采集完就可以覆盖下。)

后来从网站也看到了如下文件,跟我的这篇大同小异。大家可以参考下。

火车头是一个不错的采集软件,“盗亦有道”,看你如何利用了。

Linker以前也偶尔研究下火车头采集软件,只是一直没有购买商业版本,想想,现在的版本远没有以前的1.x和2.x版本来得爽快。

一位兄弟,昨晚说他的火车头采集软件(企业版本的哦,有钱人!),总是提示任务地址库重复,研究了下,比较简单,告诉了他处理的方法,另外,经过搜索发现,,火车头的3.0 sp1版本有过这个bug,清除不掉任务地址库,但管理员已经在sp2版本中解决掉这个问题了。

后来这位朋友又问火车头采集软件的任务地址库是哪个文件?怎么样保存任务地址库?怎么样手动清理任务地址库文件?据Linker所知,编辑任务地址库,需要是商业版本了,如果想手动来处理,可以发现,手动地址库文件是在火车头根目录下的pageurl目录中,每一个任务对应一个地址库文件,mdb格式的,打开可以发现,具体地址是被加密了。火车头也有些太商业了,嘿嘿!

既然知道任务地址库的位置和文件了,手动清理任务地址库,自然就简单了。删除让火车头重复(删除后,编辑该任务,再保存),或者直接删除该库里面的记录,都可以。想另存为其他任务所用,重命令为其它任务的id就行了。

简单测试通过。 脚本之家原创文章。

网友评论
<