技术服务 ¥ 悬赏已过期 后悬赏过期 爬虫如何只爬取更新数据 布特-androina 取消关注 关注 私信 邀请: 目前爬虫已经实现了爬虫指定内容的信息,但是又遇到了数据更新的问题。 由于要抓取的信息实时性比较强,所以会不定期的更新,但是爬虫目前是整站定点抓取的,这给更新的数据入库带来了问题,就是如何只将新的数据入库而避免重复数据爬取,不知道大家是如何解决的,谢谢指点! 无关联文章 写回答