请选择 进入手机版 | 继续访问电脑版
查看: 131|回复: 0

python 共现矩阵的实现代码

[复制链接]

2198

主题

0

回帖

7027

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
7027
发表于 2022-10-9 03:54:10 来自手机 | 显示全部楼层 |阅读模式
python共现矩阵实现

最近在学习python词库的可视化,其中有一个依据共现矩阵制作的可视化,感觉十分炫酷,便以此复刻。


项目配景

本人利用爬虫获取各大博客网站的文章,在进行jieba分词,得到每篇文章的关键词,对这些关键词进行共现矩阵的可视化。

什么是共现矩阵

好比我们有两句话:
  1. ls = ['我永远喜欢三上悠亚', '三上悠亚又出新作了']
复制代码
在jieba分词下我们可以得到如下效果:

我们就可以构建一个以关键词的共现矩阵:
  1. ['',    '我', '永远', '喜欢', '三上', '悠亚', '又', '出', '新作', '了']
  2. ['我',    0,      1,     1,     1,    1,    0,    0,      0,     0]
  3. ['永远',  1,      0,     1,      1,    1,    0,    0,     0,     0]
  4. ['喜欢'   1,      1,     0,      1,    1,    0,    0,     0,     0]
  5. ['三上',  1,      1,     1,      0,    1,    1,    1,     1,     1]
  6. ['悠亚',  1,      1,     1,      1,    0,    1,    1,     1,     1]
  7. ['又',    0,      0,     0,      1,    1,    0,    1,     1,     1]
  8. ['出',    0,      0,     0,      1,    1,    1,    0,     1,     1]
  9. ['新作',  0,      0,     0,      1,    1,    1,    1,     0,     1]
  10. ['了',    0,      0,     0,      1,    1,    1,    1,     1,     0]]
复制代码
解释一下,“我永远喜欢三上悠亚”,这一句话中,“我”和“永远”共同出现了一次,在共现矩阵对应的[ i ] [ j ]和[ j ][ i ]上+1,并依次类推。
基于这个原因,我们可以发现,共现矩阵的特点是:

  • 共现矩阵的[0][0]为空。
  • 共现矩阵的第一行第一列是关键词。
  • 对角线全为0。
  • 共现矩阵其实是一个对称矩阵。
当然,在实际的利用中,这些关键词是需要经过清洗的,这样的可视化本领净。

共现矩阵的构建思路


  • 每篇文章关键词的二维数组data_array。
  • 所有关键词的集合set_word。
  • 建立关键词长度+1的矩阵matrix。
  • 赋值矩阵的第一行与第一列为关键词。
  • 设置矩阵对角线为0。
  • 遍历formated_data,让取出的行关键词和取出的列关键词进行组合,共现则+1。

共现矩阵的代码实现
  1. # coding:utf-8
  2. import numpy as np
  3. import pandas as pd
  4. import jieba.analyse
  5. import os
  6. # 获取关键词
  7. def Get_file_keywords(dir):
  8.     data_array = []  # 每篇文章关键词的二维数组
  9.     set_word = []  # 所有关键词的集合
  10.     try:
  11.         fo = open('dic_test.txt', 'w+', encoding='UTF-8')
  12.         # keywords = fo.read()
  13.         for home, dirs, files in os.walk(dir):  # 遍历文件夹下的每篇文章
  14.             for filename in files:
  15.                 fullname = os.path.join(home, filename)
  16.                 f = open(fullname, 'r', encoding='UTF-8')
  17.                 sentence = f.read()
  18.                 words = " ".join(jieba.analyse.extract_tags(sentence=sentence, topK=30, withWeight=False,
  19.                                                             allowPOS=('n')))  # TF-IDF分词
  20.                 words = words.split(' ')
  21.                 data_array.append(words)
  22.                 for word in words:
  23.                     if word not in set_word:
  24.                         set_word.append(word)
  25.         set_word = list(set(set_word))  # 所有关键词的集合
  26.         return data_array, set_word
  27.     except Exception as reason:
  28.         print('出现错误:', reason)
  29.         return data_array, set_word
  30. # 初始化矩阵
  31. def build_matirx(set_word):
  32.     edge = len(set_word) + 1  # 建立矩阵,矩阵的高度和宽度为关键词集合的长度+1
  33.     '''matrix = np.zeros((edge, edge), dtype=str)'''  # 另一种初始化方法
  34.     matrix = [['' for j in range(edge)] for i in range(edge)]  # 初始化矩阵
  35.     matrix[0][1:] = np.array(set_word)
  36.     matrix = list(map(list, zip(*matrix)))
  37.     matrix[0][1:] = np.array(set_word)  # 赋值矩阵的第一行与第一列
  38.     return matrix
  39. # 计算各个关键词的共现次数
  40. def count_matrix(matrix, formated_data):
  41.     for row in range(1, len(matrix)):
  42.         # 遍历矩阵第一行,跳过下标为0的元素
  43.         for col in range(1, len(matrix)):
  44.             # 遍历矩阵第一列,跳过下标为0的元素
  45.             # 实际上就是为了跳过matrix中下标为[0][0]的元素,因为[0][0]为空,不为关键词
  46.             if matrix[0][row] == matrix[col][0]:
  47.                 # 如果取出的行关键词和取出的列关键词相同,则其对应的共现次数为0,即矩阵对角线为0
  48.                 matrix[col][row] = str(0)
  49.             else:
  50.                 counter = 0  # 初始化计数器
  51.                 for ech in formated_data:
  52.                     # 遍历格式化后的原始数据,让取出的行关键词和取出的列关键词进行组合,
  53.                     # 再放到每条原始数据中查询
  54.                     if matrix[0][row] in ech and matrix[col][0] in ech:
  55.                         counter += 1
  56.                     else:
  57.                         continue
  58.                 matrix[col][row] = str(counter)
  59.     return matrix
  60. def main():
  61.     formated_data, set_word = Get_file_keywords(r'D:\untitled\test')
  62.     print(set_word)
  63.     print(formated_data)
  64.     matrix = build_matirx(set_word)
  65.     matrix = count_matrix(matrix, formated_data)
  66.     data1 = pd.DataFrame(matrix)
  67.     data1.to_csv('data.csv', index=0, columns=None, encoding='utf_8_sig')
  68. main()
复制代码
共现矩阵(共词矩阵)计算


共现矩阵(共词矩阵)

统计文本中两两词组之间共同出现的次数,以此来描述词组间的亲密度
code(我这里求的对角线元素为该字段在文本中出现的总次数):
  1. import pandas as pd
  2. def gx_matrix(vol_li):
  3.     # 整合一下,输入是df列,输出直接是矩阵
  4.     names = locals()
  5.     all_col0 = []   # 用来后续求所有字段的集合
  6.     for row in vol_li:
  7.         all_col0 += row
  8.             for each in row:  # 对每行的元素进行处理,存在该字段字典的话,再进行后续判断,否则创造该字段字典
  9.                 try:
  10.                     for each1 in row:  # 对已存在字典,循环该行每个元素,存在则在已有次数上加一,第一次出现创建键值对“字段:1”
  11.                         try:
  12.                             names['dic_' + each][each1] = names['dic_' + each][each1] + 1  # 尝试,一起出现过的话,直接加1
  13.                         except:
  14.                             names['dic_' + each][each1] = 1  # 没有的话,第一次加1
  15.                 except:
  16.                     names['dic_' + each] = dict.fromkeys(row, 1)  # 字段首次出现,创造字典
  17.     # 根据生成的计数字典生成矩阵
  18.     all_col = list(set(all_col0))   # 所有的字段(所有动物的集合)
  19.     all_col.sort(reverse=False)  # 给定词汇列表排序排序,为了和生成空矩阵的横向列名一致
  20.     df_final0 = pd.DataFrame(columns=all_col)  # 生成空矩阵
  21.     for each in all_col:  # 空矩阵中每列,存在给字段字典,转为一列存入矩阵,否则先创造全为零的字典,再填充进矩阵
  22.         try:
  23.             temp = pd.DataFrame(names['dic_' + each], index=[each])
  24.         except:
  25.             names['dic_' + each] = dict.fromkeys(all_col, 0)
  26.             temp = pd.DataFrame(names['dic_' + each], index=[each])
  27.         df_final0 = pd.concat([df_final0, temp])  # 拼接
  28.     df_final = df_final0.fillna(0)
  29.     return df_final
  30. if __name__ == '__main__':
  31.     temp1 = ['狗', '狮子', '孔雀', '猪']
  32.     temp2 = ['大象', '狮子', '老虎', '猪']
  33.     temp3 = ['大象', '北极熊', '老虎', '猪']
  34.     temp4 = ['大象', '狗', '老虎', '小鸡']
  35.     temp5 = ['狐狸', '狮子', '老虎', '猪']
  36.     temp_all = [temp2, temp1, temp3, temp4, temp5]
  37.     vol_li = pd.Series(temp_all)
  38.     df_matrix = gx_matrix(vol_li)
  39.     print(df_matrix)
复制代码
输入是整成这个样子的series

求出每个字段与各字段的出现次数的字典

最后转为df


增补一点

这里如果用大象所在列,除以大象出现的次数,比值高的,表明两者一起出现的次数多,如果这列比值中,有两个元素a和b的比值均大于0.8(也不一定是0.8啦),就是均比力高,则说明a和b和大象三个一起出现的次数多!!!
即可以求出文本中经常一起出现的词组搭配,好比这里的第二列,大象一共出现3次,与老虎出现3次,与猪出现2次,则可以推导出大象,老虎,猪一起出现的概率较高。
也可以把出现总次数拎出来,放在最后一列,则代码为:
  1. # 计算每个字段的出现次数,并列为最后一行
  2.     df_final['all_times'] = ''
  3.     for each in df_final0.columns:
  4.         df_final['all_times'].loc[each] = df_final0.loc[each, each]
复制代码
放在上述代码df_final = df_final0.fillna(0)的后面即可
结果为

我第一次放代码上来的时候中间有一块缩进错了,感谢提出问题的同学的提醒,现在是更正过的代码!!!
以上为个人经验,希望能给大家一个参考,也希望大家多多支持趣UU。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
打赏作者
  • 0
  • 0
  • 0
  • 0
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表