robots.txt는 웹사이트의 루트 디렉터리에 위치하는 텍스트 파일로, **검색 엔진 크롤러(bot)**가 사이트를 어떻게 크롤링해야 하는지를 알려주는 역할을 합니다.검색 엔진(예: Google, Bing, Naver)이 웹사이트의 어떤 페이지를 크롤링할 수 있고, 어떤 페이지를 크롤링하지 말아야 하는지를 결정하는 파일입니다.예를 들어, 비공개 페이지나 관리자 페이지가 검색 결과에 노출되지 않도록 막을 수 있습니다.✅ 왜 robots.txt가 중요한가?🔹 1. 검색 엔진이 웹사이트를 효율적으로 크롤링하도록 도움불필요한 페이지(예: 관리자 페이지, 검색 페이지)가 크롤링되지 않도록 제한하여 검색 엔진이 중요한 콘텐츠에 집중하도록 유도합니다.🔹 2. 개인 정보 보호 & 보안 강화예를 들어, 로그인 페이..
