使用 sidekiq 处理两个独立的 Redis 实例？

下午好，

我有两个独立但相关的应用程序。他们都应该有自己的后台队列（阅读：单独的 Sidekiq 和 Redis 进程）。然而，我希望偶尔能够将工作推给app2的队列来自app1.

从简单的队列/推送的角度来看，如果app1没有现有的 Sidekiq/Redis 堆栈：

# In a process, far far away

# Configure client 
Sidekiq.configure_client do |config|
  config.redis = { :url => 'redis://redis.example.com:7372/12', :namespace => 'mynamespace' }
end

# Push jobs without class definition 
Sidekiq::Client.push('class' => 'Example::Workers::Trace', 'args' => ['hello!'])

# Push jobs overriding default's 
Sidekiq::Client.push('queue' => 'example', 'retry' => 3, 'class' =>     'Example::Workers::Trace', 'args' => ['hello!'])

然而考虑到我已经打电话了Sidekiq.configure_client and Sidekiq.configure_server from app1，这之间可能有一个步骤需要发生一些事情。

显然我可以直接从 Sidekiq 内部获取序列化和标准化代码并手动推送到app2的 redis 队列，但这似乎是一个脆弱的解决方案。我希望能够使用Client.push功能。

我想我理想的解决方案是这样的：

SidekiqTWO.configure_client { remote connection..... } SidekiqTWO::Client.push(job....)

Or even:

$redis_remote = remote_connection.....

Sidekiq::Client.push(job, $redis_remote)

显然有点滑稽，但这是我的理想用例。

Thanks!

所以有一件事是根据常见问题解答 https://github.com/mperham/sidekiq/wiki/FAQ#how-do-i-push-a-job-to-sidekiq-without-ruby，“Sidekiq 消息格式非常简单，stable：它只是 JSON 格式的哈希值。” 我的重点是——我不认为将 JSON 发送到 sidekiq 太脆弱而无法实现。特别是当您想要对将作业发送到哪个 Redis 实例进行细粒度控制时，如OP 的情况，我可能只需要编写一个小包装器，让我指示一个 Redis 实例以及正在排队的作业。

对于 Kevin Bedell 更一般的情况，将作业循环分配到 Redis 实例中，我想你don't想要控制使用哪个 Redis 实例——您只想排队并自动管理分配。看起来像到目前为止只有一个人提出了这一要求 https://github.com/mperham/sidekiq/issues/660, and 他们想出了一个解决方案 https://gist.github.com/xxx/4659986使用Redis::Distributed https://github.com/redis/redis-rb/blob/e1881b2fbc7b361aa0aefc9ea520bdee0383f735/lib/redis/distributed.rb:

datastore_config = YAML.load(ERB.new(File.read(File.join(Rails.root, "config", "redis.yml"))).result)

datastore_config = datastore_config["defaults"].merge(datastore_config[::Rails.env])

if datastore_config[:host].is_a?(Array)
  if datastore_config[:host].length == 1
    datastore_config[:host] = datastore_config[:host].first
  else
    datastore_config = datastore_config[:host].map do |host|
      host_has_port = host =~ /:\d+\z/

      if host_has_port
        "redis://#{host}/#{datastore_config[:db] || 0}"
      else
        "redis://#{host}:#{datastore_config[:port] || 6379}/#{datastore_config[:db] || 0}"
      end
    end
  end
end

Sidekiq.configure_server do |config|
  config.redis = ::ConnectionPool.new(:size => Sidekiq.options[:concurrency] + 2, :timeout => 2) do
    redis = if datastore_config.is_a? Array
      Redis::Distributed.new(datastore_config)
    else
      Redis.new(datastore_config)
    end

    Redis::Namespace.new('resque', :redis => redis)
  end
end

在寻求高可用性和故障转移时要考虑的另一件事是Sidekiq Pro http://sidekiq.org/pro/其中包括可靠性功能：“Sidekiq Pro 客户端可以承受短暂的 Redis 中断。一旦出现错误，它将在本地将作业排入队列，并在连接恢复后尝试交付这些作业。”由于 sidekiq 无论如何都是用于后台进程的，因此如果 Redis 实例出现故障，短暂的延迟不应影响您的应用程序。如果您的两个 Redis 实例之一出现故障并且您正在使用循环，则除非您使用此功能，否则您仍然会丢失一些作业。