본문 바로가기

클라우드 & 컴퓨팅

클라우드 & 컴퓨팅 2021. 9. 18. Function Framework - Google Cloud Function Framework Function Framework의 필요성을 알기 위해서는 Cloud Function의 개념이해가 선행되어야합니다. Cloud Function은 배포시 클라우드에 올라가는 과정에 아래 사진에 별도 과정이 일어납니다. (이미지만들고 컨테이너 만들고) 그렇기 때문에 Cloud Function 배포시에 소요되는 시간이 길어지게 되고, 잦은 배포가 필요한 상황에서는 매번 배포후 테스트를 진행해야했습니다.(또는 로컬로 임시 돌려보기등..) Function Framework란 이러한 단점들을 커버하는 용도로 사용하기 좋은 도구입니다. 추가로 로컬에서 테스팅하기 때문에 디버깅도 가능한 것이 큰 장점인 것 같음. (+배포 대기시간이 없음) https://cloud.google.com/..
클라우드 & 컴퓨팅/빅데이터 2021. 8. 27. BigQuery, BigTable의 차이 BigQuery, BigTable? 1. BigTable Bigtable 은 NoSQL 와이드 컬럼 데이터베이스입니다. 짧은 대기 시간, 많은 수의 읽기 및 쓰기, 대규모 성능 유지에 최적화되어 있습니다. Bigtable은 많은 읽기 및 쓰기에 최적화된 NoSQL 와이드 컬럼 데이터베이스입니다. 읽기 및 쓰기 측면에서 크게 확장해야 하는 애플리케이션을 만들 때 Bigtable을 사용하십시오. Bigtable 처리량은 노드를 추가/제거하여 조정할 수 있습니다. 각 노드는 초당 최대 10,000개의 쿼리 (읽기 및 쓰기)를 제공합니다. Hadoop, Dataflow 및 Dataproc과 같은 기존 빅 데이터 도구와 쉽게 통합됩니다. 2. BigQuery BigQuery는 대량의 관계형 구조화된 데이터를 위한..
클라우드 & 컴퓨팅 2021. 7. 18. Database(MYSQL)의 Connection Pool 및 튜닝 Connection Pool이란? 사용자의 요청에 따라 Connection을 생성하다 보면 많은 수의 연결이 발생했을 때 서버에 과부하가 걸리게 된다. 이러한 상황을 방지하기 위해 미리 일정수의 Connection을 만들어 Pool 에 담아뒀다가 사용자의 요청이 발생하면 연결을 해주고 연결 종료 시 Pool 에 다시 반환하여 보관하는 것이다. Connection Pool을 사용하는 이유? DB Connection Pool 매니저가 일정의 Connection을 연결하고 있다가 요청이 들어오면 Connection 을 할당해주고 없으면 기다리게 한다. 클라이언트는 Connection을 다 쓰면 다시 반납하는 구조로 이루어진다 . 따라서 통신 속도 성능이 향상 된다. 보통의 경우 DB 에 연결을 하고 결과를 가..
클라우드 & 컴퓨팅 2021. 7. 15. Sharded Cluster(Mongodb)에 대해서… Sharded Cluster? MongoDB에서 말하는 Cluster는 Shared Cluster를 말합니다. Mongodb를 사용하다보면 데이터 양이 커지거나 여러가지 복합적인 이유로 데이터 처리 속도가 느려지게 되고, 이러한 이유 때문에 성능개선이 필요한 상황에 직면하게 됩니다. 그렇기 때문에 Mongodb는 성능 개선을 위해 Sharding(Scale out, Sharded Cluster)을 지원하고 있으며, 아래는 Sharded Cluster를 사용하기 위해 알아야하는 기본 개념 설명입니다. Shards Config Server Query Router Shard란? 실제 데이터가 저장되는 저장소 성능 문제를 해결하기위해 Mongodb는 Shard 여러개를 두고, 분산 처리를 할수있는 기능을 지원합..

티스토리툴바