selenium性能优化
当我们使用selenium制作爬虫或自动化测试时,往往会消耗更大的资源以及多余的等待页面资源加载时间。
大部分的优化手段都在options中进行设置
1 2 3 4 5 6 7 8 9 10 11
| chrome_options = Options() chrome_options.add_argument("--window-size=1920,1080") chrome_options.add_argument("--disable-extensions") chrome_options.add_argument("--headless") chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--disable-software-rasterizer") chrome_options.add_argument('--no-sandbox') chrome_options.add_argument('--ignore-certificate-errors') chrome_options.add_argument('--allow-running-insecure-content') chrome_options.add_argument("blink-settings=imagesEnabled=false") driver = webdriver.Chrome(options=chrome_options)
|
配置headless模型
没有界面的模型,可以节省很多的内存和cpu占用,而且禁用了cpu渲染,提高加载速度。
1 2 3
| chrome_options.add_argument("--headless") chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--disable-software-rasterizer")
|
配置不加载图片
图片通常在网络中加载消耗较多的时间,而且渲染较慢,如果不需要即时加载图片的话可以禁用图片加载
1
| chrome_options.add_argument("blink-settings=imagesEnabled=false")
|
禁用插件加载
1
| chrome_options.add_argument("--disable-extensions")
|