发布于 

Python Selenium自动化详解

废话

Selenium,Python的浏览器自动化大佬库,称霸Python浏览器自动化领域。

注意,阅读本文需要有亿点点前端知识才容易理解。要是大佬看到了不会冒犯到吧,不会吧……

安装 Selenium 包

Pip 安装

1
sudo pip install selenium

源码包安装

源码链接

1
sudo python setup.py install

安装 对应浏览器的 WebDriver

Edge: https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
Chrome (淘宝源) : https://npm.taobao.org/mirrors/chromedriver/
Firefox: https://github.com/mozilla/geckodriver/releases/
IE: http://selenium-release.storage.googleapis.com/index.html?

Edge:对应浏览器对应版本,对应下载。
Chrome: 注意,先在设置 –> 关于Chrome 里查看Chrome版本号,再去我给的淘宝源里找。再注意,在淘宝源里找版本时,如果没有本浏览器的版本的话,就找自己版本号的上一个
Firefox: 选择自己系统版本下载对应的。我不用火狐,报错别怪我 (弱小.jpeg)
IE: 这我没啥注释,但建议IE11用用2.5版本就好。(这年头还有人用IE?可怕可怕。)

下载解压后把文件放在Python目录下的Scripts目录中,别问为啥,问就是懒得加环境变量。Linux的可以放在/usr/bin下。

开始!

废话忒多了,进入正题。

基础

咱为啥要用Selenium,就是可以爬到普通爬虫爬不到的东东,用Selenium,更方便、更快捷、更显逼格!(打广告)

1
2
3
4
5
from selenium import webdriver

driver = webdriver.Chrome() #按照你的浏览器来,就上面那几种
driver.get("https://bing.com") #对应浏览器打开Bing标签页

大概会看到这样:

如何往输入框内填入文字点击搜索按钮进行搜索
Very Easy.

不要动你那个界面,打开DevTools,找到搜索框的元素,[右键]{.kbd} - [Copy]{.kbd} - [CopyXpath]{.kbd},再回到代码这。

1
2
3
4
5
6
7
8
from selenium import webdriver

driver = webdriver.Chrome() #按照你的浏览器来,就上面那几种
driver.get("https://bing.com") #对应浏览器打开Bing标签页

input_table = driver.find_element_by_xpath('你Copy的值') #请原谅我那糟糕的命名。
input_table.send_keys('梁非凡') # 你想输入啥?

注意find_element_by_xpath这个函数很微妙,它的工作是在整个页面找一个元素,敲黑板,是一个。还有一个函数是find_elements_by_xpath,找的是一堆元素。很多手残的会多敲个s,找了半天的bug。说的就是我😭
:::

运行。

可以看到,输入框里输入了梁非凡,接着干。
按照上次那样,打开Devtools,找到搜索按钮的元素,接着Copy –> Copy Xpath。

1
2
3
4
5
6
7
8
9
10
11
from selenium import webdriver

driver = webdriver.Chrome() #按照你的浏览器来,就上面那几种
driver.get("https://bing.com") #对应浏览器打开Bing标签页

input_table = driver.find_element_by_xpath('你Copy的值') #请原谅我那糟糕的命名。
input_table.send_keys('梁非凡') # 你想输入啥?

search_btn = driver.find_element_by_xpath('Copy Value')
search_btn.click()

运行。
搞定!

还有一种方法,将click()换成submit(),或是Webdriver模拟用户点击按键[Enter]{.kbd}进行搜索。进阶会讲。

进阶

学了总要运用,搞个爬虫实例。

实战:

(鸽着先,坑以后再填~)