yspider

这是用golang开发的一个爬虫程序，它具有以下几个功能：

1.爬取指定格式的文件； 2.对html中的文本进行关键词匹配，并保存文本信息； 3.并发的广度搜索，可以设置挖掘深度。