欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

学习笔记Day40(机器学习算法-

时间:2023-06-22

概念:

 

领域:

 内容:

什么是机器学习:

sklearn:

 one—hot编码: 

字典特征抽取:

文本特征抽取:

 

from sklearn.feature_extraction.text import CountVectorizerimport jiebacv = CountVectorizer()text = '人生苦短。我用Python,你用不用,我数学看不懂'te = ' '.join(list(jieba.cut(text)))data = cv.fit_transform([te])print(cv.get_feature_names())print(data)

 

 tf-idf:

TF-IDF的主要思想是:

如果某个词或短语在一篇文章中出现的概率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。
 

from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizerimport jiebatf = TfidfVectorizer() # stop_words= 停用词text = '人生苦短。我用Python,你用不用,我数学看不懂'te = ' '.join(list(jieba.cut(text)))data = tf.fit_transform([te])print(tf.get_feature_names())print(data)

结果:

反映的是重要性程度。

特征预处理:

        通过特定的统计方法(数学方法)将数据转换成算法要求的数据

归一化:

标准化:

 

在已有样本比较多的情况下比较稳定,适合嘈杂大数据场景 

缺失值处理:

 

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。