代码工匠

Walking The Long Road.

写在WebMagic快要三岁的时候

webmagic

一 得到的

最近关于WebMagic发生了几件很好玩的事。

第一件事是2000个star诞生了。记得14年跟同事讨论,那时Netty这样的项目差不多也就这个数,就说如果有2000个star,应该算是世界级的项目了。没想到现在竟然达到了这个目标,回过头来想真是很有意思。

第二件事我在webmagic.io挂了我们票牛的连接,带过来的UV竟然一度排到了引流的前五。大家都笑我找到了流量变现的渠道了。

第三件事是在WebMagic的用户群里招到了新同事。小伙子比较腼腆,刚好要换工作,我在群里吼了一声,就联系我了,专门从杭州过来面试,然后没多久就入职了。

第四件事是我14年写了一个文档,结果前几天有个美国的友人帮我把中文文档全部翻译成了英文以及…乌克兰语。地址在这里:[https://github.com/alex4ip/docs]。我正在等他给我提pull request,这样子就有了帅气的三国语言文档了。

第五件是发现最近国内最近新发起的几个爬虫项目,多少都带有WebMagic的影子。比如:https://github.com/CrawlScript/WebCollector,或是这个:http://git.oschina.net/xtuhcy/geccohttp://www.oschina.net/p/guozhongcrawlerhttp://www.oschina.net/p/egg。 记得当时写WebMagic文档时,脑子一发热就写过:

一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy,而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具,目标就是做一个Java语言Web爬虫的教科书般的实现。

我记得“教科书般的实现”还被某个同事吐槽过。现在看来还是有点说服力的。在WebMagic之前也有很多Java爬虫,例如Crawler4j等等,但是整体架构基本上千差万别。想想自己把一些东西引入了国内的Java爬虫界,还是觉得比较激动的。

二 将来的

说来惭愧的是,整个项目从14年6、7月份开始就维护的比较少了,很多问题也没有时间回复。比起好多项目的劳模一般的作者,实在差得很远。

记得我14年还写过一个tiny-spring,结果现在再看spring已经是千差万别了。项目需要进步,人也是。技术的世界日新月异,这两年我却一直专心做业务,已经好久没有精雕细琢的写过代码了。

人嘛,还是要有点理想的。(已经跟媳妇申请,可以有点时间来写写代码,感谢媳妇支持!)

Add a comment