大快搜索数据爬虫技术实例安装教学篇
大快搜索数据爬虫技术实例安装教学篇 爬虫安装前准备工作:大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。 1、修改爬虫安装配置文件(最好在线下修改好后再上传平台) 2、修改crawlerdkcrwjdbc.properties配置文件(只修改图片里的内容其他内容默认即可) Hbase.zookeeper.quorum所填地址应在DKM监控平台查看: Redis相关配置看如下界面: 3、把已修改的crawlerdkcrw下的jdbc.properties配置文件替换到crawlerdkcrw-tomcat-7.0.56webappsROOTWEB-INFclasses下(这下面有一个没有改好的直接替换) 修改好后把修改好的爬虫文件打压成压缩文件4、上传平台主节点并解压(这里就不介绍怎么上传了的了,本次例子是上传到root目录下,安装包上传到任何目录下都可以推选root目录) unzip 解压命令,解压唱功后会多了一个 cuawler 的文件夹 使用cd crawler 命令进入 crawler 文件夹下 使用mysql -...



