为什么 R 中的 optimx 没有给出这个简单的非参数似然最大化的正确解决方案？

optimx() 提供了错误的解决方案还是我错过了一个简单的点？谢谢你！

我正在尝试最大化一个非常简单的可能性。这是非参数似然 从某种意义上说，F 的分布不是以参数方式指定的。相当， 对于每个观察到的xi, f(xi)=pi因此log(Likelihood)=Sum(log(f(xi)))=Sum(log(pi)).

我试图最大化的功能是：sum(log(pi))+lamda(sum(pi-1)) where sum(pi)=1（即这是一个约束最大化问题，可以使用拉格朗日乘子来解决）。

这个问题的答案是pi=1/n where n是数据点的数量。不过optimx好像没有给出这个解决方案。有没有人有任何想法。如果n=2，我要最大化的函数是log(p1)+log(p2)+lamda(p1+p2-1).

这是我的代码和 R 的输出：

n=2
log.like=function(p)
{
  lamda=p[n+1]
  ll=0
  for(i in 1:n){
    temp = log(p[i])+lamda*p[i]-lamda/(n)
    ll=ll+temp
  }
  return(-ll)
}


mle = optimx(c(0.48,.52,-1.5),
             log.like,
             lower=c(rep(0.1,2),-3),
             upper=c(rep(.9,2),-1),
             method = "L-BFGS-B")

> mle
             par  fvalues   method fns grs itns conv  KKT1 KKT2 xtimes
1 0.9, 0.9, -1.0 1.010721 L-BFGS-B   8   8 NULL    0 FALSE   NA      0

当方程的解为n=2 is p1=p2=1/2 and lamda=-2。然而，我在使用 optimx 时没有得到这个。任何想法？

没有什么问题optimx。退一步看看你想要最大化的功能：log(p1) + log(p2) + lamda*(p1+p2-1)。很直观的是，最佳解决方案是使所有变量尽可能大，不是吗？看到那个optimx正确返回您指定的上限。

那么你的方法有什么问题呢？使用拉格朗日乘子时，临界点是上面函数的鞍点，而不是像局部最小值optimx会帮助你找到。因此，您需要修改问题，使这些鞍点成为局部最小值。这可以通过优化梯度范数来完成，这很容易针对您的问题进行分析计算。这里有一个很好的例子（带图片）：

http://en.wikipedia.org/wiki/Lagrange_multiplier#Example:_numerical_optimization http://en.wikipedia.org/wiki/Lagrange_multiplier#Example:_numerical_optimization.

对于您的问题：

grad.norm <- function(x) {
  lambda <- tail(x, 1)
  p <- head(x, -1)
  h2 <- sum((1/p + lambda)^2) + (sum(p) - 1)^2
}

optimx(c(.48, .52, -1.5),
       grad.norm,
       lower = c(rep(.1, 2), -3),
       upper = c(rep(.9, 2), -1),
       method = "L-BFGS-B")

#                               par      fvalues   method  fns grs [...]
# 1 0.5000161, 0.5000161, -1.9999356 1.038786e-09 L-BFGS-B  13  13 [...]

跟进：如果您不想或无法自己计算梯度，您可以让 R 计算数值近似值，例如：

log.like <- function(x) {
  lambda <- tail(x, 1)
  p <- head(x, -1)
  return(sum(log(p)) + lambda*(sum(p) - 1))
}

grad.norm <- function(x) {
  require(numDeriv)
  return(sum(grad(log.like, x)^2))
}

optimx(c(.48, .52, -1.5),
       grad.norm,
       lower = c(rep(.1, 2), -3),
       upper = c(rep(.9, 2), -1),
       method = "L-BFGS-B")

#                                par      fvalues   method fns grs [...]
# 1 0.5000161, 0.5000161, -1.9999356 1.038784e-09 L-BFGS-B  13  13 [...]