Selenium을 통한 크롤링 시, 마주하는 reCAPTCHA 해결기
·
AlgoMate
기존 프로젝트를 리팩토링 하면서 크롤링을 기능을 자동화하는 걸 목표로 했다. 크롤링하는 곳에 접근하기 위해서 해당 사이트에 로그인을 수행해야 했는데 로그인 과정에서 자주 등장하는 recaptcha가 말썽이었다. 기존에 프로젝트를 진행할 때는 워낙 바쁘기도 했고, 전체 서비의 프로토타입을 만드는 걸 목적으로 했기에, 로그인 과정 중에 reCAPTCHA를 만나면 내가 수기로 해결하곤 했다. 해당 시기에도 크롤링을 자동화 하려고 했는데, 결국 해결하지 못했다. 전체 프로젝트에서 크롤링이 일부분이었기에 일단 전체 프로세스가 돌아가도록 설계하는 것이 우선이라고 생각하여 포기하게 되었다. 이후 방학을 맞이해서 해당 서비스를 고도화해서 배포해보자라는 목표를 가지고 요즘 리팩토링을 진행하고 있는데, 잊고 있었던 그녀석..