年轻人的第一个分布式系统


2/13/2019 所有文章 RPC GO 分布式 爬虫🕷

Go分布式爬虫

纪念年轻人的第一个分布式系统



用到的东西

jsonrpc
go开发的。
docker部署互相调用。

不足

细节上还有些缺陷,无法监控,get超时了就broke,连接elasticsearch太快,导致itemsaver重置连接被丢失,去重没有做,错误上报日志系统也没有。

Last Updated: 12/29/2019, 3:00:55 PM