목록DataFlow (1)

JD의 블로그

Cloud Dataproc vs Cloud Dataflow

Cloud Dataproc과 Cloud Dataflow는 데이터 처리/분석 제품으로 모두 배치와 스트리밍 데이터를 처리합니다. 그러나, 정확하게 어떤 차이점이 있는지 헷갈리는 부분이 많았는데 이번 기회에 확실히 두 제품의 차이점을 정리해보았습니다. 1. Cloud Dataproc Cloud Dataproc은 Apache Spark와 Apache Hadoop 클러스터를 더 간단하고 효율적으로 실행할 수 있게 도와줄 수 있는 관리형 서비스입니다. 단순히 관리형 서비스이므로 클러스터의 수는 사용자가 직접 조절하여야 합니다. Dataflow를 설명하기 전에 Spark와 Hadoop, 그리고 Dataflow의 기본이 되는 Apache Beam에 대한 얘기를 먼저 해야합니다. Spark나 Hadoop과 같은 대용량..
클라우드/GCP 2020. 1. 10. 01:46
이전 Prev 1 Next 다음