13518219792
這篇文章將為大家詳細(xì)講解有關(guān)如何用Python代碼實(shí)現(xiàn)詞云，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。
創(chuàng)新互聯(lián)建站是專(zhuān)業(yè)的博樂(lè)網(wǎng)站建設(shè)公司，博樂(lè)接單;提供成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專(zhuān)業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行博樂(lè)網(wǎng)站開(kāi)發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專(zhuān)業(yè)做搜索引擎喜愛(ài)的網(wǎng)站,專(zhuān)業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!
什么是詞云呢？
詞云又叫文字云，是對(duì)文本數(shù)據(jù)中出現(xiàn)頻率較高的“關(guān)鍵詞”在視覺(jué)上的突出呈現(xiàn)，形成關(guān)鍵詞的渲染形成類(lèi)似云一樣的彩色圖片，從而一眼就可以領(lǐng)略文本數(shù)據(jù)的主要表達(dá)意思。
現(xiàn)在，可以從網(wǎng)絡(luò)上找到各種各樣的詞云，下面一圖來(lái)自沈浩老師的微博：
從百度圖片中還可以可以看到更多制作好的詞云，部分截圖如下：
從技術(shù)上來(lái)看，詞云是一種有趣的數(shù)據(jù)可視化方法，互聯(lián)網(wǎng)上有很多現(xiàn)成的工具：
Wordle是一個(gè)用于從文本生成詞云圖而提供的游戲工具
Tagxedo 可以在線制作個(gè)性化詞云
Tagul 是一個(gè) Web 服務(wù)，同樣可以創(chuàng)建華麗的詞云
Tagcrowd 還可以輸入web的url，直接生成某個(gè)網(wǎng)頁(yè)的詞云
......
但是作為一個(gè)老碼農(nóng)，還是喜歡自己用代碼生成自己的詞云，復(fù)雜么？需要很長(zhǎng)時(shí)間么？ 很多文字都介紹過(guò)各種的方法，但實(shí)際上只需要10行python代碼即可。
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()
wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)
my_wordcloud = WordCloud().generate(wl_space_split)
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()如此而已，生成的一個(gè)詞云是這樣的：
讀一下這10行代碼：
1～3 行，分別導(dǎo)入了畫(huà)圖的庫(kù)matplotlib，詞云生成庫(kù)wordcloud 和 jieba的分詞庫(kù)；
4 行，是讀取本地的文件,代碼中使用的文本是本公眾號(hào)中的《老曹眼中研發(fā)管理二三事》。
5～6 行，使用jieba進(jìn)行分詞，并對(duì)分詞的結(jié)果以空格隔開(kāi)；
7行，對(duì)分詞后的文本生成詞云；
8～10行，用pyplot展示詞云圖。
這是我喜歡python的一個(gè)原因吧，簡(jiǎn)潔明快。
如果這十行代碼沒(méi)有運(yùn)行起來(lái)，需要檢查自己的執(zhí)行環(huán)境了。對(duì)于完整的開(kāi)發(fā)學(xué)習(xí)環(huán)境，可以參考本公眾號(hào)《老曹眼中的開(kāi)發(fā)學(xué)習(xí)環(huán)境》。 對(duì)于面向python 的數(shù)據(jù)分析而言，個(gè)人喜歡Anaconda，可以去https://www.continuum.io/downloads/ 下載安裝，安裝成功后的運(yùn)行界面如下：
anaconda 是python 數(shù)據(jù)愛(ài)好者的福音吧。
安裝wordcloud 和 jieba 兩個(gè)庫(kù)同樣非常簡(jiǎn)單：
pip install wordcloud pip install jieba
遇到的一個(gè)小坑，剛開(kāi)始運(yùn)行這十行代碼的時(shí)候，只顯式了若干彩色的小矩形框，中文詞語(yǔ)顯式不出來(lái)，以為是萬(wàn)惡的UTF8問(wèn)題，debug一下，發(fā)現(xiàn)print 結(jié)巴分詞的結(jié)果是可以顯示中文的，那就是wordcloud 生成詞語(yǔ)的字體庫(kù)問(wèn)題了。開(kāi)源的好處來(lái)了，直接進(jìn)入wordcloud.py 的源碼，找字體庫(kù)相關(guān)的代碼
FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))wordcloud 默認(rèn)使用了DroidSansMono.ttf 字體庫(kù)，改一下?lián)Q成一個(gè)支持中文的ttf 字庫(kù)， 重新運(yùn)行一下這十行代碼，就可以了。當(dāng)然，解讀代碼后有更優(yōu)雅的方法。
既然進(jìn)入了源碼，就會(huì)忍不住好奇心，瀏覽一下wordcloud 的實(shí)現(xiàn)過(guò)程和方式吧。
wordcloud.py總共不過(guò)600多行，其間有著大量的注釋?zhuān)x起來(lái)很方便。其中用到了較多的庫(kù)，常見(jiàn)的random，os，sys，re（正則）和可愛(ài)的numpy，還采用了PIL繪圖，估計(jì)一些人又會(huì)遇到安裝PIL的那些坑。
生成詞云的原理其實(shí)并不復(fù)雜，大體分成5步：
對(duì)文本數(shù)據(jù)進(jìn)行分詞，也是眾多NLP文本處理的第一步，對(duì)于wordcloud中的process_text（）方法，主要是停詞的處理
計(jì)算每個(gè)詞在文本中出現(xiàn)的頻率，生成一個(gè)哈希表。詞頻計(jì)算相當(dāng)于各種分布式計(jì)算平臺(tái)的第一案例wordcount， 和各種語(yǔ)言的hello world 程序具有相同的地位了，呵呵。
根據(jù)詞頻的數(shù)值按比例生成一個(gè)圖片的布局，類(lèi)IntegralOccupancyMap 是該詞云的算法所在，是詞云的數(shù)據(jù)可視化方式的核心。
將詞按對(duì)應(yīng)的詞頻在詞云布局圖上生成圖片，核心方法是generate_from_frequencies,不論是generate（）還是generate_from_text（）都最終到generate_from_frequencies
完成詞云上各詞的著色,默認(rèn)是隨機(jī)著色
詞語(yǔ)的各種增強(qiáng)功能大都可以通過(guò)wordcloud的構(gòu)造函數(shù)實(shí)現(xiàn)，里面提供了22個(gè)參數(shù)，還可以自行擴(kuò)展。
看看一個(gè)準(zhǔn)文言文的詞云，文本文字來(lái)自本公眾號(hào)去年的舊文——《妻》，其中在構(gòu)造函數(shù)中傳入了關(guān)于屏幕和字體大小的幾個(gè)參數(shù)：
width=800,height=400,max_font_size=84,min_font_size=16
得到了這樣的詞云圖：
自慚形穢，根本看不出文言文的色彩和對(duì)妻子的感情流露，不是好文字呀！或許是詞云的局限吧！
矩形的詞云的確太簡(jiǎn)陋了，直接在圖片上用詞云來(lái)填充就有意思多了，wordcloud中可以采用mask的方式來(lái)實(shí)現(xiàn)。換上一張自己的照片，用《再談<全棧架構(gòu)師>一文》中的文字，詞云出來(lái)的效果是這樣的 ：
還是很難看出肖像的輪廓，還好，可以遮丑。其中增加了3行代碼
from PIL import Image
import numpy as np
abel_mask = np.array(Image.open("/Users/hecom/chw.png"))在構(gòu)造函數(shù)的時(shí)候，將mask傳遞進(jìn)去即可：
background_color="black", mask=abel_mask
自己做的這些詞云圖片還是太陋，這就是原型簡(jiǎn)單，好的產(chǎn)品困難呀！做好一個(gè)漂亮詞云的圖片，還是要在諸多細(xì)節(jié)上下功夫的。
例如：
分詞的處理，“就是”這樣沒(méi)有意義的詞不應(yīng)該出現(xiàn)在詞云里呀？
所展示關(guān)鍵詞的目的性選擇？
如何選擇一個(gè)合適的字庫(kù)？
如何更好地自主著色？
圖片的預(yù)處理，如何讓圖片和詞云表達(dá)原圖片的主要特征？
......
詞云的背后實(shí)際上是數(shù)據(jù)集成處理的典型過(guò)程，我們所熟知的6C,如下圖：
Connect: 目標(biāo)是從各種各樣數(shù)據(jù)源選擇數(shù)據(jù)，數(shù)據(jù)源會(huì)提供APIs,輸入格式,數(shù)據(jù)采集的速率,和提供者的限制.
Correct: 聚焦于數(shù)據(jù)轉(zhuǎn)移以便于進(jìn)一步處理，同時(shí)保證維護(hù)數(shù)據(jù)的質(zhì)量和一致性
Collect: 數(shù)據(jù)存儲(chǔ)在哪，用什么格式，方便后面階段的組裝和消費(fèi)
Compose: 集中關(guān)注如何對(duì)已采集的各種數(shù)據(jù)集的混搭, 豐富這些信息能夠構(gòu)建一個(gè)引入入勝的數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品。
Consume: 關(guān)注數(shù)據(jù)的使用、渲染以及如何使正確的數(shù)據(jù)在正確的時(shí)間達(dá)到正確的效果。
Control: 這是隨著數(shù)據(jù)、組織、參與者的增長(zhǎng)，需要的第六個(gè)附加步驟，它保證了數(shù)據(jù)的管控。?
這十行代碼構(gòu)建的詞云，沒(méi)有通過(guò)API從公眾號(hào)(wireless_com)直接獲取,簡(jiǎn)化和抽象是工程化的典型方式，這里至今復(fù)制粘貼，甚至省略了correct的過(guò)程，直接將數(shù)據(jù)存儲(chǔ)在純文本文件中，通過(guò)jieba分詞進(jìn)行處理即compose，使用詞云生成可視化圖片用于消費(fèi)consume，把一個(gè)個(gè)自己生成的詞云組織到不同的文件目錄便于檢索算是初步的管控control吧。
關(guān)于如何用Python代碼實(shí)現(xiàn)詞云就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。
