Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
Tags
- 클라우드 자격증
- 자격증
- 구글 클라우드
- AWS #빅데이터 #분석 #데이터
- Dataproc
- 머신러닝
- 네트워크
- Associate
- docker
- coursera
- 구글
- 쿠버네티스
- 딥러닝
- 구글클라우드서밋
- GCP
- 마이크로서비스
- nnictl
- go
- 클라우드
- cloud
- Kubernest
- golang
- 구글클라우드플랫폼
- 코세라
- DataFlow
- cdk
- 도커
- 구글클라우드
- aws
Archives
- Today
- Total
목록2021/10/09 (1)
JD의 블로그
대규모 시스템 설계 기초 - 9장 ( 웹 크롤러 설계 )
스터디로 하고 있는 가상 면접 사례로 배우는 대규모 시스템 설계 기초를 정리한 내용이다. 웹 크롤러는 로봇 또는 스파이더라고도 부른다. 검색 엔진에서 널리 쓰는 기술로, 웹에 새로 올라오거나 갱신된 콘텐츠를 찾아내는 것이 주된 목적이다. 여기서 콘텐츠는 웹 페이지일 수도 있고, 이미지나 비디오, 또는 PDF 파일일 수 도 있다. 웹 크롤러는 몇 개 웹페이지에서 시작하여 그 링크를 따라 나가면서 새로운 콘텐츠를 수집한다. 크롤러는 다양하게 이용된다. 검색 엔진 인덱싱 크롤러의 가장 보편적인 용례다. 크롤러는 웹 페이지를 모아 검색 엔진을 위한 로컬 인덱스를 만든다. 예를 들어 Googlebot은 구글 검색 엔진이 사용하는 웹 크롤러다. 웹 아카이빙 나중에 사용할 목적으로 장기보관하기 위해 웹에서 정보를 모..
프로그래밍/시스템 디자인
2021. 10. 9. 01:59