這篇文章主要為大家展示了如何使用Python爬蟲工具requests-html,內容簡而易懂,希望大家可以學習一下,學習完之后肯定會有收獲的,下面讓小編帶大家一起來看看吧。
使用Python開發的同學一定聽說過Requsts庫,它是一個用于發送HTTP請求的測試。如比我們用Python做基于HTTP協議的接口測試,那么一定會選Requsts,因為它即簡單又強大。現在作者Kenneth Reitz 又開發了requests-html 用于做爬蟲。
該項目從3月上線到現在已經7K+的star了!
requests-html 是基于現有的框架 PyQuery、Requests、lxml、beautifulsoup4等庫進行了二次封裝,作者將Requests設計的簡單強大的優點帶到了該項目中。
安裝:
pip install requests-html
教程與使用:
使用GET請求 https://python.org 網站。
先來看看requests的基本使用。
from requests_html import HTMLSession session = HTMLSession() r = session.get('https://python.org/') # 獲取頁面上的所有鏈接。 all_links = r.html.links print(all_links) # 獲取頁面上的所有鏈接,以絕對路徑的方式。 all_absolute_links = r.html.absolute_links print(all_absolute_links)
另外有需要云服務器可以了解下創新互聯scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。