使用静态类型语言 (F#) 处理异构数据

F# 的主张之一是它允许交互式脚本编写和数据操作/探索。我一直在尝试使用 F#，试图了解它与 Matlab 和 R 进行数据分析工作的比较。显然 F# 并不具备这些生态系统的所有实用功能，但我对底层语言的一般优点/缺点更感兴趣。

对我来说，最大的变化（即使在函数式风格上）是 F# 是静态类型的。这有一定的吸引力，但也常常给人一种束缚感。例如，我还没有找到处理异构矩形数据的便捷方法——想想 R 中的数据帧。假设我正在读取一个包含名称（字符串）和权重（浮点）的 CSV 文件。通常我会加载数据，执行一些转换，添加变量等，然后运行分析。在 R 中，第一部分可能如下所示：

df <- read.csv('weights.csv')
df$logweight <- log(df$weight)

在 F# 中，尚不清楚应该使用什么结构来执行此操作。据我所知，我有两个选择：1) 我可以首先定义一个强类型的类 (Expert F# 9.10)，或者 2) 我可以使用异构容器，例如 ArrayList。静态类型的类似乎不可行，因为我需要在加载数据后以临时方式（对数权重）添加变量。异构容器也不方便，因为每次访问变量时都需要将其拆箱。在 F# 中：

let df = readCsv("weights.csv")
df.["logweight"] = log(double df.["weight"])

如果这是一次或两次，可能没问题，但要指定类型every我使用变量的时间似乎不合理。我经常处理包含数百个变量的调查，这些变量被添加/删除、分成新的子集并与其他数据框合并。

我错过了一些明显的第三选择吗？是否有一些有趣且轻松的方式来交互和操作异构数据？如果我需要在.Net上进行数据分析，我目前的感觉是我应该使用IronPython来完成所有数据探索/转换/交互工作，并且只使用F#/C#来处理数值密集的部分。对于快速而肮脏的异构数据工作来说，F# 本质上是错误的工具吗？

F# 本质上是错误的工具吗？ 快速而肮脏的异构数据 工作？

对于完全临时的探索性数据挖掘，我不推荐 F#，因为类型会妨碍您。

However，如果您的数据定义得很好，那么您可以通过将所有类型映射到公共 F# 联合来将不同的数据类型保存在同一个容器中：

> #r "FSharp.PowerPack";;

--> Referenced 'C:\Program Files\FSharp-1.9.6.16\bin\FSharp.PowerPack.dll'

> let rawData =
    "Name: Juliet
     Age: 23
     Sex: F
     Awesome: True"

type csv =
    | Name of string
    | Age of int
    | Sex of char
    | Awesome of bool

let parseData data =
    String.split ['\n'] data
    |> Seq.map (fun s ->
        let parts = String.split [':'] s
        match parts.[0].Trim(), parts.[1].Trim() with
        | "Name", x -> Name(x)
        | "Age", x -> Age(int x)
        | "Sex", x -> Sex(x.[0])
        | "Awesome", x -> Awesome(System.Convert.ToBoolean(x))
        | data, _ -> failwithf "Unknown %s" data)
    |> Seq.to_list;;

val rawData : string =
  "Name: Juliet
     Age: 23
     Sex: F
     Awesome: True"
type csv =
  | Name of string
  | Age of int
  | Sex of char
  | Awesome of bool
val parseData : string -> csv list

> parseData rawData;;
val it : csv list = [Name "Juliet"; Age 23; Sex 'F'; Awesome true]

csv list是强类型的，您可以对其进行模式匹配，但您必须预先定义所有联合构造函数。

我个人更喜欢这种方法，因为它比使用非类型化 ArrayList 好几个数量级。但是，我不太确定您的要求是什么，而且我不知道表示临时变量的好方法（除了作为Map{string, obj}）所以YMMV。