特征提取-特征工程

目录

1.定义

2.字典特征提取

 3.英文⽂本特征提取

 4.中文⽂本特征提取

1.定义

将任意数据（如⽂本或图像）转换为可⽤于机器学习的数字特征

2.字典特征提取

from sklearn.feature_extraction import DictVectorizer
data = [{'city': '北京','temperature':100}, 
    {'city': '上海','temperature':60}, 
    {'city': '深圳','temperature':30}]
    transfer=DictVectorizer(sparse=False)
    new_data=transfer.fit_transform(data)
    print(new_data)
    #获取属性名
    names=transfer.get_feature_names()
    print("属性的名字：\n",names)

结果：[[  0.   1.   0. 100.]  #0.1.0代表北京
 [  1.   0.   0.  60.]
 [  0.   0.   1.  30.]]

 ['city=上海', 'city=北京', 'city=深圳', 'temperature']

data = [{'city': '北京','temperature':100}, 
    {'city': '上海','temperature':60}, 
    {'city': '深圳','temperature':30}]
    transfer=DictVectorizer(sparse=True) #节省空间，读取效率提高
    new_data=transfer.fit_transform(data)
    print(new_data)
    #获取属性名
    names=transfer.get_feature_names()
    print("属性的名字：\n",names)

 (0, 1)        1.0
  (0, 3)        100.0
  (1, 0)        1.0
  (1, 3)        60.0
  (2, 2)        1.0
  (2, 3)        30.0 #描述一的位置

 3.英文⽂本特征提取

    from sklearn.feature_extraction.text import CountVectorizer
    data=["life is short,i like like python", "life is too long,i dislike python"]
    transfer=CountVectorizer(stop_words=["is"]) #不统计is
    new_data=transfer.fit_transform(data)
    print(new_data.toarray()) #单个单词和符号不做统计
    print("特征名字：\n",transfer.get_feature_names())

结果：[[0 1 2 0 1 1 0]
 [1 1 0 1 1 0 1]]

 ['dislike', 'life', 'like', 'long', 'python', 'short', 'too']

 4.中文⽂本特征提取

from sklearn.feature_extraction.text import CountVectorizer
import jieba

def cut_word(text):
    """
    对中文进行分词
    "我爱北京天安门"————>"我 爱 北京 天安门"
    :param text:
    :return: text
    """
    # 用结巴对中文字符串进行分词
    text = " ".join(list(jieba.cut(text)))

    return text

def text_chinese_count_demo2():
    """
    对中文进行特征抽取
    :return: None
    """
    data = ["一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
            "我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
            "如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
    # 将原始数据转换成分好词的形式
    text_list = []
    for sent in data:
        text_list.append(cut_word(sent))
    print(text_list)

    # 1、实例化一个转换器类
    # transfer = CountVectorizer(sparse=False)
    transfer = CountVectorizer() #这块可以查看停用词，来限制
    # 2、调用fit_transform
    data = transfer.fit_transform(text_list)
    print("文本特征抽取的结果：\n", data.toarray())
    print("返回特征名字：\n", transfer.get_feature_names())

    return None

if __name__ == '__main__':
    text_chinese_count_demo2()
    

结果：['一种 还是 一种 今天 很 残酷 ， 明天 更 残酷 ， 后天 很 美好 ， 但 绝对 大部分 是 死 在 明天 晚上 ， 所以 每个 人 不要 放弃 今天 。', '我们 看到 的 从 很 远
 星系 来 的 光是在 几百万年 之前 发出 的 ， 这样 当 我们 看到 宇宙 时 ， 我们 是 在 看 它 的 过去 。', '如果 只用 一种 方式 了解 某样 事物 ， 你 就 不会 真正
 了解 它 。 了解 事物 真正 含义 的 秘密 取决于 如何 将 其 与 我们 所 了解 的 事物 相 联系 。']
文本特征抽取的结果：
 [[2 0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 1
  0]
 [0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 0
  1]
 [1 1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0
  0]]

返回特征名字：
 ['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于', '只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天', '星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过去', '还是', '这样']