web自动化爬虫seleniumcentos无GUI环境配置-创新互联
基本环境:centos7,python3.x
创新互联建站专业为企业提供环县网站建设、环县做网站、环县网站设计、环县网站制作等企业网站建设、网页设计与制作、环县企业网站模板建站服务,10余年环县做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。1.安装selenium
pip3 install selenium
2.安装chrome-browser
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm --no-check-certificate
yum install ./google-chrome-stable_current_x86_64.rpm
3.下载chromedriver(注意要和chrome-browser版本对应)
由于下载的chrome-browser是70版本的,所以chromedriver 选择了2.43版本
wget http://chromedriver.storage.googleapis.com/2.43/chromedriver_linux64.zip
解压此文件,并将文件移动到/usr/bin目录下
unzip chromedriver_linx64.zip
mv chromedriver /usr/bin/
4.测试selenium是否可用,请执行以下python脚本,如返回html内容,则说明安装成功
from selenium import webdriver url='http://bing.com' option = webdriver.ChromeOptions() option.add_argument('--no-sandbox') option.add_argument('--headless') driver = webdriver.Chrome(chrome_options=option) driver.get(url) print(driver.page_source)
注意需要加上,禁止在沙箱中运行
option.add_argument('--no-sandbox') option.add_argument('--headless')
补充:
安装firefox支持
yum install firefox
yum install Xvfb
yum install libXfont
pip3 install pyvirtualdisplay
测试脚本
#!/usr/bin/python3 from selenium import webdriver from pyvirtualdisplay import Display display = Display(visible=0, size=(800,600)) display.start() driver = webdriver.Firefox() driver.get('https://www.baidu.com') print(driver.title) driver.quit() display.stop()
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
分享标题:web自动化爬虫seleniumcentos无GUI环境配置-创新互联
文章出自:http://azwzsj.com/article/dsphpp.html