본문 바로가기
ETC/오류해결

[셀레니움,크롤링] 로컬에서 잘 되던 크롤링이 서버에서 안될때

by heekng 2021. 4. 25.
반응형

[셀레니움,크롤링] 로컬에서 잘 되던 크롤링이 서버에서 안될때

2021.02.22 - [JAVA/JAVA정리] - [Java] 크롤링 crawling, 셀레니움 Selenium

 

[Java] 크롤링 crawling, 셀레니움 Selenium

[Java] 크롤링 crawling, 셀레니움 Selenium 웹 크롤링의 정식 명칭은 Web Scraping이며, 웹 사이트에서 원하는 정보를 추출하는 것을 의미한다. 보통 웹 사이트는 HTML기반이기 때문에 정보를 추출할 페이

heekng.tistory.com

웹개발을 하며 centOs에 웹 서버를 호스팅하면서 크롤링이 안되었다.

기존의 크롬 옵션에

ChromeOptions options = new ChromeOptions();
options.addArguments("headless");
driver = new ChromeDriver(options);

위와같이 headless옵션만 넣어줬다면

ChromeOptions options = new ChromeOptions();
options.addArguments("headless");
options.addArguments("no-sandbox");
options.addArguments("disable-dev-shm-usage");
options.addArguments("lang=ko");
driver = new ChromeDriver(options);

위처럼 no-sandbox, disable-dev-shm-usage, lang=ko를 넣어주며 해결했다.

반응형