我有一个 solr 云(v 4.10)安装,位于 Cloudera(CDH 5.4.2)HDFS 之上,有 3 个 solr 实例,每个实例托管每个核心的一个分片。
我正在寻找一种将 solr 数据从生产集群增量复制到开发集群的方法。有 3 个核心,但我只对复制其中一个感兴趣。
我尝试使用 Solr 复制 - 备份和恢复,但这似乎没有将任何内容加载到开发集群中。
http://host:8983/solr/core/replication?command=backup&location=/solr_transfer&name=core-name
http://host:8983/solr/core/replication?command=restore&location=/solr_transfer&name=core-name
我还尝试对 hdfs prod 集群中的 /solr 目录进行快照,并使用 hadoop disctp 复制文件,但 solr 索引器删除了一些文件,因此 distcp 作业失败。
hadoop distcp hftp://prod:50070/solr/* hdfs://dev:8020/solr/
有人能帮我一下吗?
请按照以下步骤创建 solr_hdfs 文件夹的快照并将其移动到另一个集群上
1.允许快照
sudo -u hdfs hadoop dfsadmin -allowSnapshot /user/solr/SolrCollectionName
2.创建指定名称的快照
sudo -u hdfs hadoop dfs -createSnapshot /user/solr/SolrCollectionName/ snapshotName
3. 列出快照目录
hdfs dfs -ls /user/solr/solrcollectionName/.snapshot
4. 要复制,请执行以下命令
sudo -u solr hadoop distcp hdfs://NNIP1:8020/user/solr/collectionName/.snapshot/SanpshotName hdfs://NNIP2:8020/user/solr
5. 恢复快照
sudo -u solr hadoop fs -cp /user/solr/SanpshotName/* /user/solr/SolrcollectionName/
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)