将基于记录的列表/对象展平为数据帧

编辑：这个问题已经过时了。这jsonlite https://cran.r-project.org/web/packages/jsonlite/index.html包装自动压平。

我正在处理具有基于记录的编码（通常采用 JSON）的在线数据流。对象的结构（即 JSON 中的名称）可从 API 文档中得知，但是，值大多是可选的，并不出现在每个记录中。列表可以包含新列表，并且结构有时相当深。下面是一些 GPS 数据的一个非常简单的示例：http://pastebin.com/raw.php?i=yz6z9t25 http://pastebin.com/raw.php?i=yz6z9t25。请注意，在下面的行中，"l"由于没有 GPS 信号，物体丢失。

我正在寻找一种优雅的方法将这些对象展平为数据框。我目前正在使用这样的东西：

library(RJSONIO)
library(plyr)

obj <- fromJSON("http://pastebin.com/raw.php?i=yz6z9t25", simplifyWithNames=FALSE, simplify=FALSE)
flatdata <- lapply(obj$data, as.data.frame);
mydf <- rbind.fill(flatdata)

这可以完成工作，但是速度很慢并且容易出错。这种方法的一个问题是我没有利用我对数据结构（对象名称）的了解；相反，它是从数据中推断出来的。当每条记录中碰巧缺少某个属性时，这会导致问题。在这种情况下，它根本不会出现在数据框中，而是出现在具有 NA 值的列中。这可能会导致下游问题。例如，我需要处理位置时间戳：

mydf$l.t <- structure(mydf$l.t/1000, class="POSIXct")

但是，如果数据集包含以下内容，这将导致错误：l$t对象不存在。此外，两者as.data.frame and rbind.fill让事情变得很慢。示例数据集是一个相对较小的数据集。对于更好的实施有什么建议吗？强大的解决方案始终会生成具有相同顺序的相同列的数据帧，并且仅行数发生变化。

编辑：在具有更多元数据的数据集下方。它的尺寸更大并且嵌套更深：

obj <- fromJSON("http://www.stat.ucla.edu/~jeroen/files/output.json", simplifyWithNames=FALSE, simplify=FALSE)

这是一个解决方案，可让您利用对数据字段名称和类的先验知识。此外，通过避免重复调用as.data.frame和单个调用plyr's rbind.fill()（两者都是时间密集型）它在示例数据上的运行速度大约快 60 倍。

cols <- c("id", "ls", "ts", "l.lo","l.tz", "l.t", "l.ac", "l.la", "l.pr", "m")   
numcols <- c("l.lo", "l.t", "l.ac", "l.la")

## Flatten each top-level list element, converting it to a character vector.
x <- lapply(obj$data, unlist)
## Extract fields that might be present in each record (returning NA if absent).
y <- sapply(x, function(X) X[cols])
## Convert to a data.frame with columns of desired classes.
z <- as.data.frame(t(y), stringsAsFactors=FALSE)
z[numcols] <- lapply(numcols, function(X) as.numeric(as.character(z[[X]])))

Edit:为了确认我的方法给出的结果与原始问题中的结果相同，我运行了以下测试。 （请注意，在这两种情况下我都设置了stringsAsFactors=FALSE以避免因子水平的排序出现无意义的差异。）

flatdata <- lapply(obj$data, as.data.frame, stringsAsFactors=FALSE)
mydf <- rbind.fill(flatdata)
identical(z, mydf)
# [1] TRUE

进一步编辑：

仅供记录，这里是上述内容的替代版本，另外还会自动：

1. 查找所有数据字段的名称
2. 决定他们的类别/类型
3. 将最终 data.frame 的列强制为正确的类

.

dat <- obj$data

## Find the names and classes of all fields
fields <- unlist(lapply(xx, function(X) rapply(X, class, how="unlist")))
fields <- fields[unique(names(fields))]
cols <- names(fields)

## Flatten each top-level list element, converting it to a character vector.
x <- lapply(dat, unlist)
## Extract fields that might be present in each record (returning NA if absent).
y <- sapply(x, function(X) X[cols])
## Convert to a data.frame with columns of desired classes.
z <- as.data.frame(t(y), stringsAsFactors=FALSE)

## Coerce columns of z (all currently character) back to their original type
z[] <- lapply(seq_along(fields), function(i) as(z[[cols[i]]], fields[i]))