PIG 将文本行转换为稀疏向量

我必须使用 Apache PIG 将需要合并的文件。第一个文件包含书名列表，就像这样，每个书名都单独一行。

Ted Dunning,  Mahout in Action
Leo Tolstoy,  War and Peace
Douglas Adams, The hitchhiker guide to the galaxy.
James Sununu,  galaxy III for Dummies
Tom McArthur,  The War we went to

第二个文件是单词及其 ID 的列表。像这样

ted, 12
tom, 13
douglas, 14
galaxy, 15
war, 16
leo, 17
peace, 18

我需要连接这两个文件以生成如下输出：

对于“列夫·托尔斯泰，战争与作品”这一行，它应该产生

17:1,16:1,18:1

对于“汤姆·麦克阿瑟，我们参加的战争”这句话，它应该产生

13:1,16:1

换句话说，我需要使用单词作为键来执行连接。到目前为止我已经在pig中编写了以下代码

titles = LOAD 'Titles' AS ( title : chararray );  
termIDs = LOAD  'TermIDs' AS (  term:chararray,id:int);

A = SAMPLE titles 0.01;
X = FOREACH A GENERATE STRSPLIT(title,'[ _\\[\\]\\/,\\.\\(\\)]+');

这给出了加载的两个文件，并且 X 包含 BAGS 列表，每个包包含相应行上出现的术语。像这样：

((ted,dunning,mahout,in,action))
((leo,tolstoy,war,and,peace))

由于周六晚上迟到的原因，我无法在不编写UDF或使用流的情况下找出JOIN步骤的方法。是否有可能仅使用 PIG 原语来完成？

您可以展平 TOKENIZE 的结果，因此所有包都变成行，现在您可以使用 termsID 连接 X 关系。

X = foreach A generate title, flatten(TOKENIZE(title)) as term;
J = join X by (term),  termIDs by (term);
G = group J by title;
Result = foreach G generate group as title, termIDs.id;

上面的代码是在我的手机上敲的，所以没有调试。

更新1：

对于更适合使用 STRSPLIT 而不是 TOKENIZE 的情况，您可以结合使用 FLATTEN 和 TOBAG 来达到与 TOKENIZE 相同的效果，即从 STRSPLIT 返回的元组中获取一袋单词。

SPLT = foreach A generate title, FLATTEN(STRSPLIT(title,'[ _\\[\\]\\/,\\.\\(\\)]+'));
X_tmp = foreach SPLT generate $0 as title, FLATTEN(TOBAG($1..$20)) as term; -- pivots the row
X = filter X_tmp by term is not null; -- this removes the extra bag rows when title was split in less than 20 terms
J = join X by (term),  termIDs by (term) using 'replicated';
G = group J by title;
Result = foreach G generate group as title, termIDs.id;

如果任何标题超过 20 个术语，则增加 TOBAG 中的数量。