Pandas read_csv dtype 读取所有列，但很少作为字符串

我正在使用 Pandas 读取一堆 CSV。将选项 json 传递给 dtype 参数来告诉 pandas 将哪些列读取为字符串而不是默认值：

dtype_dic= { 'service_id':str, 'end_date':str, ... }
feedArray = pd.read_csv(feedfile , dtype = dtype_dic)

在我的场景中，all除少数特定列外，所有列都将作为字符串读取。因此，不要将几列定义为 strdtype_dic，我想将我选择的几个设置为 int 或 float。有没有办法做到这一点？

这是一个循环遍历具有不同列的各种 CSV，因此在将整个 csv 读取为字符串后进行直接列转换（dtype=str），这并不容易，因为我不会立即知道 csv 有哪些列。 （我宁愿花精力来定义 dtype json 中的所有列！）

编辑：但是，如果有一种方法可以处理要转换为数字的列名称列表，而不会在该 csv 中不存在该列的情况下出错，那么，如果没有其他方法，这将是一个有效的解决方案这是在 csv 阅读阶段本身。

注意：这听起来就像之前问过的问题一样 https://stackoverflow.com/questions/37515896/pandas-read-csv-dtype-specify-all-columns-but-one但那里的答案走了一条非常不同的道路（与布尔相关），这不适用于这个问题。请不要标记为重复！

对于 Pandas 1.5.0+，有一个简单的方法可以做到这一点。如果您使用defaultdict而不是正常的dict为了dtype参数中，字典中未明确列出的任何列都将使用默认值作为其类型。例如。

from collections import defaultdict
types = defaultdict(str, A="int", B="float")
df = pd.read_csv("/path/to/file.csv", dtype=types, keep_default_na=False)

（我还没有测试过这个，但我认为你仍然需要keep_default_na=False)

对于旧版本的 Pandas：

您可以将整个 csv 作为字符串读取，然后将所需的列转换为其他类型，如下所示：

df = pd.read_csv('/path/to/file.csv', dtype=str, keep_default_na=False)
# example df; yours will be from pd.read_csv() above
df = pd.DataFrame({'A': ['1', '3', '5'], 'B': ['2', '4', '6'], 'C': ['x', 'y', 'z']})
types_dict = {'A': int, 'B': float}
for col, col_type in types_dict.items():
    df[col] = df[col].astype(col_type)

keep_default_na=False如果某些列是空字符串或类似的内容，则这是必要的NApandas 转换为NA类型的float默认情况下，这将使您最终得到混合数据类型str/float

另一种方法是，如果您确实想在读入文件时为所有列指定正确的类型，并且之后不更改它们：仅读入列名（无行），然后使用它们来填充哪些列应该是字符串

col_names = pd.read_csv('file.csv', nrows=0).columns
types_dict = {'A': int, 'B': float}
types_dict.update({col: str for col in col_names if col not in types_dict})
pd.read_csv('file.csv', dtype=types_dict)