BigQuery UDF 内部错误

我们在 BigQuery 中有一个简单的 UDF，它会以某种方式抛出一个不断返回的错误

Query Failed
Error: An internal error occurred and the request could not be completed.

该查询只是尝试使用 UDF 执行 SHA256。

SELECT
  input AS title,
  input_sha256 AS title_sha256
FROM
  SHA256(
      SELECT
        title AS input
      FROM
        [bigquery-public-data:hacker_news.stories]
      GROUP BY
        input 
  )
LIMIT
  1000

内联 UDF 粘贴在下面。然而，我无法发布完整的 UDF，因为 StackOverflow 抱怨帖子中的代码过多。可以看到完整的UDF这个要点.

function sha256(row, emit) {
  emit(
      {
        input: row.input,
        input_sha256: CryptoJS.SHA256(row.input).toString(CryptoJS.enc.Hex)
      }
  );
}

bigquery.defineFunction(
  'SHA256',                           // Name of the function exported to SQL
  ['input'],                    // Names of input columns
  [
      {'name': 'input', 'type': 'string'},
      {'name': 'input_sha256', 'type': 'string'}
  ],
  sha256                       // Reference to JavaScript UDF
);

不确定是否有帮助，但 Job-ID 是

bigquery:bquijob_7fd3b51c_153c058dc7c

看起来有类似的问题：

https://code.google.com/p/google-bigquery/issues/detail?id=478

简短的回答 - 这是一个与内存分配相关的问题，我通过自己的测试发现并今天修复了，但需要一段时间才能流向生产。

答案稍长一些 - 我们今天刚刚针对一个问题推出了修复程序，即用户在将 UDF 扩展到较大数量的行时遇到“内存不足”问题，尽管 UDF 在较小数量的行上会成功。满足该条件的查询现在在我们的内部/测试树上运行良好。但是，由于公共 BigQuery 主机的流量负载要高得多，因此执行 UDF (V8) 的 JavaScript 引擎在生产环境中的行为与在内部树中的行为有所不同。具体来说，存在一个新的内存分配错误，之前的一些 OOMing 作业现在遇到了该错误，直到查询在完全加载的树上运行时我们才能观察到该错误。

这是一个可以快速修复的小错误，但我们最好让它贯穿我们的常规测试和质量保证周期。假设候选人没有出现其他问题，这应该会在大约一周内将修复程序投入生产。这对你来说可以接受吗？