네이버 블로그만 하던 사장님이 홈페이지를 만들고 망하는 전형적인 이유

네이버 블로그나 카페 글은 네이버 플랫폼 안에서 자체적으로 검색 엔진 노출을 지원하므로 크게 신경 쓸 부분이 적습니다. 하지만 개별적인 독자 홈페이지를 만들어 운영할 때는, 구글 검색 엔진이 내 도메인의 실체를 알아보고 검색 결과에 반영해 줄 수 있도록 기술적 세팅을 해 놓지 않으면 구글 노출률은 영구히 0%에 수렴합니다.

1. 구글 크롤링과 색인의 기본 작동 원리

구글 로봇은 전 세계의 웹 주소를 수집하는 크롤링(Crawling) 단계를 거쳐, 수집한 문서를 구글의 대형 데이터베이스에 저장 및 등재하는 색인(Indexing) 과정을 완료해야 비로소 검색창 노출 자격을 줍니다. 내 홈페이지가 구글에 등재되어 있는지 확인하려면 구글 검색창에 site:내도메인주소를 입력해 보았을 때 검색 결과 건수가 제대로 나타나야 정상입니다.

2. 301 대표 도메인 설정 누락으로 중복 문서 분류

동일한 홈페이지가 www 주소와 일반 주소 두 가지 모두로 접속 가능한 상태일 때, 테크니컬 SEO 세팅이 되어 있지 않으면 구글 봇은 이 두 개를 완전히 복제된 별개의 스팸 중복 문서로 의심합니다. 이로 인해 대표 도메인으로의 301 영구 리다이렉트(대표 도메인 강제 지정)가 되어 있지 않은 신생 홈페이지들은 구글 검색 엔진으로부터 저품질 판정을 받아 노출 순위가 곤두질치게 됩니다.

3. 임시 서버용 robots.txt의 차단 방치 사고

홈페이지 제작 업체가 개발 단계에서 임시 서버 주소로 테스트할 때는 구글 로봇이 미완성 코드를 긁어가지 못하도록 Disallow: / (전체 크롤러 접근 차단) 설정을 심어 둡니다. 하지만 이를 메인 실제 도메인으로 이전 오픈한 이후에도 robots.txt 설정을 해제하지 않고 방치하여, 오픈한 지 수개월이 지나도 구글 검색에 단 한 페이지도 나오지 않는 어처구니없는 부실 세팅 사고가 골목상권 자영업 사이트의 80% 이상에서 반복적으로 발견됩니다.