django 排除的性能问题

我有一个 Django 1.8 应用程序，并且使用 MsSQL 数据库，以 pyodbc 作为数据库后端（使用“django-pyodbc-azure”模块）。

我有以下型号：

class Branch(models.Model):
    name = models.CharField(max_length=30)
    startTime = models.DateTimeField()

class Device(models.Model):
    uid = models.CharField(max_length=100, primary_key=True)
    type = models.CharField(max_length=20)
    firstSeen = models.DateTimeField()
    lastSeen = models.DateTimeField()

class Session(models.Model):
    device = models.ForeignKey(Device)
    branch = models.ForeignKey(Branch)
    start = models.DateTimeField()
    end = models.DateTimeField(null=True, blank=True)

我需要查询会话模型，并且我想排除一些具有特定设备值的记录。所以我发出以下查询：

sessionCount = Session.objects.filter(branch=branch)
                          .exclude(device__in=badDevices)                                             
                          .filter(end__gte=F('start')+timedelta(minutes=30)).count()

badDevices 是一个预先填充的设备 ID 列表，包含大约 60 个项目。

badDevices = ['id-1', 'id-2', ...]

此查询大约需要 1.5 秒才能完成。如果我从查询中删除排除项，则需要大约 250 毫秒。

我打印了为此查询集生成的 sql，并在我的数据库客户端中进行了尝试。两个版本的执行时间都在大约 250 毫秒内。

这是生成的 SQL：

SELECT [session].[id], [session].[device_id], [session].[branch_id], [session].[start], [session].[end] 
FROM [session] 
WHERE ([session].[branch_id] = my-branch-id AND 
NOT ([session].[device_id] IN ('id-1', 'id-2', 'id-3',...)) AND 
DATEPART(dw, [session].[start]) = 1 
AND [session].[end] IS NOT NULL AND 
[session].[end] >= ((DATEADD(second, 600, CAST([session].[start] AS datetime)))))

因此，在数据库级别使用排除似乎不会影响查询性能，但在 django 中，如果我添加排除部分，查询运行速度会慢 6 倍。可能是什么原因造成的？

一般问题似乎是 django 正在做一些额外的工作来准备exclude条款。在该步骤之后，当 SQL 生成并发送到数据库时，django 端没有发生任何可能导致如此严重延迟的有趣事情。

就您而言，可能导致这种情况的一件事是某种预处理badDevices。举例来说，如果badDevices is a QuerySet那么 django 可能正在执行badDevicesquery 只是为了准备实际查询的 SQL。在以下情况下可能会发生类似的情况device有一个非默认主键。

当然，另一件事可能会延迟 SQL 准备django-pyodbc-azure。也许它在编译查询时做了一些奇怪的事情，并且成为了瓶颈。

不过，这都是疯狂的猜测，所以如果您仍然遇到这个问题，请发布Device and Branch模型以及确切的内容badDevices以及从查询生成的 SQL。那么也许某些场景至少可以被消除。

编辑：我想这一定是Device.uid场地。 django 或 pyodbc 可能会被非默认主键混淆，并在生成查询时获取所有设备。尝试两件事：

• Replace device__in with device_id__in, device__pk__in and device__uid__in并再次检查每一项。也许更明确的查询将更容易让 django 转换为 SQL。您甚至可以尝试更换branch with branch_id， 万一。

• 如果上述方法不起作用，请尝试将排除表达式替换为原始 SQL where 子句：

  # add quotes (because of the hyphens) & join
  badDevicesIdString = ", ".join(["'%s'" % id for id in badDevices])
  
  # Replaces .exclude()
  ... .extra(where=['device_id NOT IN (%s)' % badDevicesIdString])
  

如果两者都不起作用，那么问题很可能出在整个查询上，而不仅仅是exclude。在这种情况下还有更多选择，但请先尝试上述方法，如有必要，我稍后会更新我的答案。