NLP 对句子内容进行分类/标记（需要 Ruby 绑定）

我正在分析几百万封电子邮件。我的目标是能够将其分组。团体可以是例如：

• 交货问题（发货缓慢、发货前处理缓慢、库存信息不正确等）
• 客户服务问题（电子邮件回复速度慢、回复不礼貌等）
• 退货问题（退货请求处理缓慢、客户服务缺乏帮助等）
• 定价投诉（发现隐藏费用等）

为了执行此分类，我需要一个可以识别词组组合的 NLP，例如：

• “[他们|公司|公司|网站|商家]”
• “[没有|没有|没有]”
• “[回复|回复|回答|回复]”
• “[第二天之前|足够快|根本]”
• etc.

这些示例组中的一些组合应该匹配如下句子：

• “他们没有回应”
• “他们根本没有回应”
• “完全没有反应”
• “我没有收到该网站的回复”

然后将句子分类为客户服务问题.

哪个 NLP 能够处理这样的任务？根据我的阅读，这些是最相关的：

• 斯坦福核心自然语言处理
• OpenNLP

还检查这些建议的 NLP https://stackoverflow.com/questions/999410/natural-language-processing-in-ruby/10056667#10056667.

使用 OpenNLP doccat api，您可以创建训练数据，然后根据训练数据创建模型。与朴素贝叶斯分类器相比，它的优点是它返回一组类别的概率分布。

因此，如果您创建以下格式的文件：

customerserviceproblems They did not respond
customerserviceproblems They didn't respond 
customerserviceproblems They didn't respond at all
customerserviceproblems They did not respond at all
customerserviceproblems I received no response from the website
customerserviceproblems I did not receive response from the website

等等......提供尽可能多的样本并确保每行以 \n 换行符结尾

使用此应用程序，您可以添加任何您想要的意味着“客户服务问题”的内容，您还可以添加任何其他类别，因此您不必过于确定哪些数据属于哪些类别

这是构建模型的 java 的样子

DoccatModel model = null;
    InputStream dataIn = new FileInputStream(yourFileOfSamplesLikeAbove);
    try {

      ObjectStream<String> lineStream =  
              new PlainTextByLineStream(dataIn, "UTF-8");

      ObjectStream<DocumentSample> sampleStream = new DocumentSampleStream(lineStream);
      model = DocumentCategorizerME.train("en", sampleStream);
      OutputStream modelOut = new BufferedOutputStream(new FileOutputStream(modelOutFile));
      model.serialize(modelOut);
      System.out.println("Model complete!");
    } catch (IOException e) {
      // Failed to read or parse training data, training failed
      e.printStackTrace();
    }

获得模型后，您可以像这样使用它：

DocumentCategorizerME documentCategorizerME;
  DoccatModel doccatModel; 

doccatModel = new DoccatModel(new File(pathToModelYouJustMade));
   documentCategorizerME = new DocumentCategorizerME(doccatModel);
 /**
 * returns a map of a category to a score
 * @param text
 * @return
 * @throws Exception 
 */
  private Map<String, Double> getScore(String text) throws Exception {
    Map<String, Double> scoreMap = new HashMap<>();
    double[] categorize = documentCategorizerME.categorize(text);
    int catSize = documentCategorizerME.getNumberOfCategories();
    for (int i = 0; i < catSize; i++) {
      String category = documentCategorizerME.getCategory(i);
      scoreMap.put(category, categorize[documentCategorizerME.getIndex(category)]);
    }
    return scoreMap;

  }

然后在返回的哈希图中，您拥有建模的每个类别和分数，您可以使用分数来决定输入文本属于哪个类别。