JD의 블로그

Docker Docker는 인프라에서 애플리케이션을 분리하고 인프라를 관리형 애플리케이션처럼 처리할 수 있게 해준다. 코드를 더욱 빠르게 출시, 테스트, 배포하고 코드 작성과 실행 주기를 단축하는데 도움이 된다. Docker 기본 hello world 컨테이너를 실행한다. docker run hello-world 실행된 컨테이너는 Hello from Docker! 을 반환한다. 처음 hello world 컨테이너를 실행하면 Docker 데몬이 hello-world 이미지를 검색한다, 그러나 로컬에서 이미지를 찾지 못했기 때문에, Docker Hub라는 공개 레지스트리에서 이미지를 가져온 후, 가져온 이미지에서 컨테이너를 생성하고, 컨테이너를 실행한다. 다음 명령어로, 가져온 컨테이너 이미지를 확인할 수 ..

이는 구글 클라우드 플랫폼상의 데이터과학에 있는 내용을 학습하고 정리한 내용을 올리기 위한 글입니다. 이 책은 서버리스 방식으로 데이터를 입수하는 것부터 데이터 탐색, 대시보드, 관계형 데이터베이스 및 데이터 스트리밍으로 머신 러닝 모델을 학습시켜 운영하는 것에 이르는 모든 방법을 다루며, 데이터 기반 서비스의 모든 측면을 다룹니다. 공식 깃허브는 여기를 참고하길 바랍니다. 1. 데이터에 기반을 둔 의사 결정 2. 클라우드에 데이터 입수 항공사 정시 도착 데이터 데이터를 한곳에 저장하지 않는 이유 데이터 입수 월주기로 다운로드 스케줄링 3. 혁신적인 대시보드 생성 대시보드로 모델 설명 대시보드를 먼저 만들어야 하는 이유 정확성, 정직성 및 좋은 설계 구글 클라우드 SQL에 데이터 탑재 구글 클라우드 SQ..

Professional Cloud Architect 후기 작년 스터디 잼을 진행하면서 구글 클라우드를 처음 사용하였는데, 그때는 다양한 제품을 체험해보면서 신기해하는 것에 그치는 정도였습니다. 저는 데이터 엔지니어를 목표로 공부해왔으나, 작년 Google Cloud Summit '19에 참가하면서 클라우드 기술의 가능성과 데이터 처리 및 분석과 관련하여 구글 클라우드가 가진 기술에 매료되었습니다. 그때 처음으로 이동민님과 얘기하며 클라우드로 방향을 선회했던 것 같습니다. ML과 AI가 최근 가장 핫한 분야긴 하지만, 제가 생각하기에 클라우드도 IT 업계에서 그에 못지 않은 임팩트를 가지고 있으며 시장에서 가장 중요한 기술 중 하나라고 느꼈습니다. 그렇기 때문에 저는 제가 가진 ML 지식과 GCP를 공부한..

DevOps를 들어보지 못한 사람이 없을 정도로 DevOps라는 개발 문화가 확산되고 있으며, 거기에 따른 개발 플랫폼의 변화도 인상적입니다. Google Cloud Run은 도커 이미지만 있다면 손 쉽게 서버리스 환경에서 서버 애플리케이션을 실행할 수 있게 해줍니다. 또한 Google Cloud Run은 Knative 기반으로 구글 클라우드에 종속되지 않고 높은 이식성을 가지고 있다는 장점도 있습니다. 또한 Cloud Run은 컨테이너를 사용하지만 Cloud Functions처럼 요청이 있을 때만 실행되고, 요청을 처리한 시간만큼만 과금됩니다. 그리고 Google Cloud Run은 Cloud Build와 함께 사용함으로써 서비스를 자동 배포할 수 있어 간단하게 CI/CD 환경을 구축할 수 있습니다. ..

Professional Cloud Architect 샘플 케이스 스터디: Mountkirk Games Mountkirk Games makes online, session-based, multiplayer games for mobile platforms. They build all of their games using some server-side integration. Historically, they have used cloud providers to lease physical servers. 더보기 Mountkirk Games는 모바일 플랫폼을 위한 온라인, 세션 기반의 멀티 플레이어 게임을 만들고 있습니다. 그들은 서버 사이드 통합을 이용하는 게임을 만들고 있으며, 과거부터 그들은 물리적인 서버를 ..

Cloud Dataproc과 Cloud Dataflow는 데이터 처리/분석 제품으로 모두 배치와 스트리밍 데이터를 처리합니다. 그러나, 정확하게 어떤 차이점이 있는지 헷갈리는 부분이 많았는데 이번 기회에 확실히 두 제품의 차이점을 정리해보았습니다. 1. Cloud Dataproc Cloud Dataproc은 Apache Spark와 Apache Hadoop 클러스터를 더 간단하고 효율적으로 실행할 수 있게 도와줄 수 있는 관리형 서비스입니다. 단순히 관리형 서비스이므로 클러스터의 수는 사용자가 직접 조절하여야 합니다. Dataflow를 설명하기 전에 Spark와 Hadoop, 그리고 Dataflow의 기본이 되는 Apache Beam에 대한 얘기를 먼저 해야합니다. Spark나 Hadoop과 같은 대용량..