在以下数据中，我尝试运行一个简单的马尔可夫模型。
假设我有一个具有以下结构的数据：
pos M1 M2 M3 M4 M5 M6 M7 M8 hybrid_block S1 S2 S3 S4 S5 S6 S7 S8
1 A T T A A G A C A|C C G C T T A G A
2 T G C T G T T G T|A A T A T C A A T
3 C A A C A G T C C|G G A C G C G C G
4 G T G T A T C T G|T C T T T A T C T
Block M表示来自一组类别的数据，也是如此block S.
数据是strings它们是通过沿位置线连接字母而成的。所以M1 的字符串值为 A-T-C-G，对于其他每个块也是如此。
还有一个hybrid block它有两个以相同方式读取的字符串。问题是我想找到混合块中的哪个字符串最有可能来自哪个块（M 与 S）？
我正在尝试建立一个马尔可夫模型，它可以帮助我识别哪个字符串hybrid block来自哪些街区。在这个例子中我可以说混合块 ATCG来自block M and CAGT来自block S.
我将问题分解为不同的部分读取和挖掘数据：
问题级别 01：
unique keys对于所有列。pos有价值1）并创建另一个密钥。在同一行中，我读取了值hybrid_block并读取其中的字符串值。这pipe |只是一个分隔符，所以有两个字符串index 0 and 2 as A and C。所以，我想要从这条线上得到的只是defaultdict(<class 'dict'>, {'M1': ['A'], 'M2': ['T'], 'M3': ['T']...., 'hybrid_block': ['A'], ['C']...}
当我继续阅读该行时，我想附加每列中的字符串值并最终创建。
defaultdict(<class 'dict'>, {'M1': ['A', 'T', 'C', 'G'], 'M2': ['T', 'G', 'A', 'T'], 'M3': ['T', 'C', 'A', 'G']...., 'hybrid_block': ['A', 'T', 'C', 'G'], ['C', 'A', 'G', 'T']...}
问题级别 02：
我读取了数据hybrid_block对于第一行是A and C.
现在，我想创建keys' but unlike fixed keys, these key will be generated while reading the data from混合块.
For the first line since there are no preceding line thekeyswill simply beAgAandCgCwhich means (A given A, and C given C), and for the values I count the number ofAinblock Mand块S`。因此，数据将存储为：
defaultdict(<class 'dict'>, {'M': {'AgA': [4], 'CgC': [1]}, 'S': {'AgA': 2, 'CgC': 2}}
因为，我通读了其他行，我想根据其中的字符串创建新键hybrid block并计算该字符串出现的次数M vs S块给定前一行中的字符串。这意味着keys在读的时候line 2将会TgA' which means (T given A) and AgC. For the values inside this key I count the number of times I found本行中的 T，上一行中的 A 之后and same forAcG`.
The defaultdict读完3行之后就是了。
defaultdict(<class 'dict'>, {'M': {'AgA': 4, 'TgA':3, 'CgT':2}, {'CgC': [1], 'AgC':0, 'GgA':0}, 'S': {'AgA': 2, 'TgA':1, 'CgT':0}, {'CgC': 2, 'AgC':2, 'GgA':2}}
我明白这看起来太复杂了。我经历了几个dictionary and defaultdict教程，但找不到执行此操作的方法。
高度赞赏任何部分（如果不是两者）的解决方案。
pandas setup from io import StringIO
import pandas as pd
import numpy as np
txt = """pos M1 M2 M3 M4 M5 M6 M7 M8 hybrid_block S1 S2 S3 S4 S5 S6 S7 S8
1 A T T A A G A C A|C C G C T T A G A
2 T G C T G T T G T|A A T A T C A A T
3 C A A C A G T C C|G G A C G C G C G
4 G T G T A T C T G|T C T T T A T C T """
df = pd.read_csv(StringIO(txt), delim_whitespace=True, index_col='pos')
df
pandas和一些numpy
'AgA'输入字符串d1 = pd.concat([df.loc[[1]].rename(index={1: 0}), df])
d1 = pd.concat([
df.filter(like='M'),
df.hybrid_block.str.split('|', expand=True).rename(columns='H{}'.format),
df.filter(like='S')
], axis=1)
d1 = pd.concat([d1.loc[[1]].rename(index={1: 0}), d1])
d1 = d1.add('g').add(d1.shift()).dropna()
d1
将方便的块分配给它们自己的变量名称
m = d1.filter(like='M')
s = d1.filter(like='S')
h = d1.filter(like='H')
计算每个块中有多少个并连接
mcounts = pd.DataFrame(
(m.values[:, :, None] == h.values[:, None, :]).sum(1),
h.index, h.columns
)
scounts = pd.DataFrame(
(s.values[:, :, None] == h.values[:, None, :]).sum(1),
h.index, h.columns
)
counts = pd.concat([mcounts, scounts], axis=1, keys=['M', 'S'])
counts
如果你真的想要一本字典
d = defaultdict(lambda:defaultdict(list))
dict_df = counts.stack().join(h.stack().rename('condition')).unstack()
for pos, row in dict_df.iterrows():
d['M']['H0'].append((row.loc[('condition', 'H0')], row.loc[('M', 'H0')]))
d['S']['H0'].append((row.loc[('condition', 'H0')], row.loc[('S', 'H0')]))
d['M']['H1'].append((row.loc[('condition', 'H1')], row.loc[('M', 'H1')]))
d['S']['H1'].append((row.loc[('condition', 'H1')], row.loc[('S', 'H1')]))
dict(d)
{'M': defaultdict(list,
{'H0': [('AgA', 4), ('TgA', 3), ('CgT', 2), ('GgC', 1)],
'H1': [('CgC', 1), ('AgC', 0), ('GgA', 0), ('TgG', 1)]}),
'S': defaultdict(list,
{'H0': [('AgA', 2), ('TgA', 1), ('CgT', 0), ('GgC', 0)],
'H1': [('CgC', 2), ('AgC', 2), ('GgA', 2), ('TgG', 3)]})}