목록2021/10/09 (1)

JD의 블로그

대규모 시스템 설계 기초 - 9장 ( 웹 크롤러 설계 )

스터디로 하고 있는 가상 면접 사례로 배우는 대규모 시스템 설계 기초를 정리한 내용이다. 웹 크롤러는 로봇 또는 스파이더라고도 부른다. 검색 엔진에서 널리 쓰는 기술로, 웹에 새로 올라오거나 갱신된 콘텐츠를 찾아내는 것이 주된 목적이다. 여기서 콘텐츠는 웹 페이지일 수도 있고, 이미지나 비디오, 또는 PDF 파일일 수 도 있다. 웹 크롤러는 몇 개 웹페이지에서 시작하여 그 링크를 따라 나가면서 새로운 콘텐츠를 수집한다. 크롤러는 다양하게 이용된다. 검색 엔진 인덱싱 크롤러의 가장 보편적인 용례다. 크롤러는 웹 페이지를 모아 검색 엔진을 위한 로컬 인덱스를 만든다. 예를 들어 Googlebot은 구글 검색 엔진이 사용하는 웹 크롤러다. 웹 아카이빙 나중에 사용할 목적으로 장기보관하기 위해 웹에서 정보를 모..
프로그래밍/시스템 디자인 2021. 10. 9. 01:59
이전 Prev 1 Next 다음