悬赏已过期 后悬赏过期

爬虫如何只爬取更新数据

邀请:

目前爬虫已经实现了爬虫指定内容的信息,但是又遇到了数据更新的问题。

由于要抓取的信息实时性比较强,所以会不定期的更新,但是爬虫目前是整站定点抓取的,这给更新的数据入库带来了问题,就是如何只将新的数据入库而避免重复数据爬取,不知道大家是如何解决的,谢谢指点!

您的回答

回答

默认排序 时间排序
图片审查中...
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索