보통 도구들이 눈에 보이는 정보를 찾기 위해 노력하는데, parsero라는 도구는 굳이 눈에 보이지 않는 정보를 찾으려는 도구이다. 조금 더 설명을 하자면, - parsero는 파이썬으로 작성된 스크립트 - 웹서버의 robots.txt 파일을 읽어서 disallow 항목을 찾아낸다. - 물론 allow 검색도 가능 다시 한 번 더 구체적으로 말하면, Disallow 항목은 웹서버에서 호스팅되는 디렉토리나 파일 중에서 검색 엔진에서 색인이 안 되어야 하는 것을 알려준다. 예를 들어, "Disallow: /portal/login"은 www.example.com/portal/login의 내용이 Google, Bing, 네이버, 다음과 같은 크롤러에 의해 색인이 안 되도록 막는 것을 말한다. 의도적인 부분이 있..
