python代码如何实现余弦相似性计算

这篇文章主要介绍了python代码如何实现余弦相似性计算,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

A：西米喜欢健身

B：超超不爱健身，喜欢打游戏

step1:分词

A：西米／喜欢／健身

B：超超／不／喜欢／健身，喜欢／打／游戏

step2:列出两个句子的并集

西米／喜欢／健身／超超／不／打／游戏

step3:计算词频向量

A：[1,1,1,0,0,0,0]

B：[0,1,1,1,1,1,1]

step4:计算余弦值

余弦值越大，证明夹角越小，两个向量越相似。

step5:python代码实现

1. import jieba
2. import jieba.analyse
3.  
4. def words2vec(words1=None, words2=None):
5. v1 = []
6. v2 = []
7. tag1 = jieba.analyse.extract_tags(words1, withWeight=True)
8. tag2 = jieba.analyse.extract_tags(words2, withWeight=True)
9. tag_dict1 = {i[0]: i[1] for i in tag1}
10. tag_dict2 = {i[0]: i[1] for i in tag2}
11. merged_tag = set(tag_dict1.keys()) | set(tag_dict2.keys())
12. for i in merged_tag:
13. if i in tag_dict1:
14. v1.append(tag_dict1[i])
15. else:
16. v1.append(0)
17. if i in tag_dict2:
18. v2.append(tag_dict2[i])
19. else:
20. v2.append(0)
21. return v1, v2
22.  
23.  
24. def cosine_similarity(vector1, vector2):
25. dot_product = 0.0
26. normA = 0.0
27. normB = 0.0
28. for a, b in zip(vector1, vector2):
29. dot_product += a * b
30. normA += a ** 2
31. normB += b ** 2
32. if normA == 0.0 or normB == 0.0:
33. return 0
34. else:
35. return round(dot_product / ((normA**0.5)*(normB**0.5)) * 100, 2)
36.  
37. def cosine(str1, str2):
38. vec1, vec2 = words2vec(str1, str2)
39. return cosine_similarity(vec1, vec2)
40.  
41. print(cosine('阿克苏苹果', '阿克苏苹果'))

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。