software engineeringbackend

해당 글 16건

MongoDB - 어플리케이션 설계

2년 전

어플리케이션 설계 Trade-Off RDBMS에 익숙한 사람은 정규화에 익숙하다. 정규화는 콜렉션 간 참조를 갖고 여러 콜렉션으로 나눠 참조를 통해 접근한다. 하지만 몽고디비는 조인을 지원하지 않아서 여러 콜렉션에서 문서를 모으려면 쿼리를 여러 번 수행해야 한다. 일반적으로 정규화는 쓰기를 빠르게 만들고 비정규화는 '여러 문서가 참조를 통하지 않고 여러 문서를 갱신' 해야 하기 때문에 여러번 써야하지만 읽기를 빠르게 만든다. 데이터 표현 예제 # 관계형 사고 - 전부 참조형식 (실제 stuentId, classes 를 얻는 쿼리를 3번 해야함) > db.studentClasses.findOne({"studentId": id}) { "_id": ObjectId("..."), "studentId": Obj..
software engineering/backend

MongoDB - 인덱싱

2년 전

인덱싱 몽고디비 인덱스는 전형적인 RDB 인덱스와 거의 흡사하게 동작한다. 인덱스 없이 모든 쿼리를 스캔 했다면 일반적으로 큰 콜렉션의 경우 매우 느리기 때문에 쿼리의 최적화를 위해 어떤 인덱스가 필요한데 상황에 따라 어떤 인덱스를 사용해야하는지 알아보자. 복합 인덱스 인덱스는 모든 값을 정렬된 순서로 보관하기 떄문에 인덱스 키로 문서를 정렬하는 작업에 훨씬 빠른 성능을 제공한다. 하지만 db.users.find().sort({"age": 1, "username": 1})와 같은 경우 한가지 인덱스 키로만은 도움이 되지 않아 복합 인덱스가 필요하다. db.users.ensureIndex({"age": 1, "username": 1})와 같이 설정하면 여러 정렬 방향이나 검색 조건에 효과적이다. db.us..
software engineering/backend

MongoDB - 문서의 갱신/쿼리

2년 전

문서의 갱신 문서의 치환 갱신에는 여러가지 방법이 있는데 첫 번째 방법으로는 문서의 치환이다. 대대적인 스키마 변경에 유용하며 find와 같이 문서를 가져오고 변경한 후 한 번에 치환하는 방법이다. var joe = db.users.findOne({"name": "joe"}); joe.relationship = {"friends": joe.friends, "enemies": joe.enemies}; db.users.update({"name": joe}, joe); 제한자 사용하기 보통은 치환보다는 특정 부분만 갱신하는 경우가 많다. 제한자를 사용하면 문서의 치환과 달리 _id값은 변경시킬 수 없다. 제한자도 여러가지 제한자가 존재하는데 페이지를 방문하면 카운터를 증가하는 경우, 증가와 감소 제한자인 $i..
software engineering/backend

MongoDB - 집계

2년 전

집계 데이터 조회 그 이상이 필요할 때 집계 프레임워크를 통해 콜렉션 내 문서들을 변환하고 결합할 수 있습니다. 일반적으로 여과, 선출, 묶음, 정렬, 제한, 건너뛰기와 같은 구성 요소를 통해 문서의 흐름을 처리하는 파이프라인을 만들 수 있고 몽고디비에서 aggregate() 라는 표현식을 통해 각 연산을 전달할 수 있습니다. 간략하게 어떻게 생긴건지 보면, > db.articles.aggrecate({"$project": {"author": 1}}, // 각 문서의 author 필드를 추출한다. ...{"$group": {"_id": "$author", "count": {"$sum": 1}}}, // author로 묶고 count에 1을 더한다. ...{"$sort": {"count": -1}}, //..
software engineering/backend

DynamoDB

3년 전

초기에 Serverless 스택을 사용할 때 DB 또한 사용해보고 싶었는데, 지금 생각해보면 전혀 사용할 이유가 없었다. 하지만 AWS 내부에서 서비스들이 다 사용하고 있을정도로 Serverless noSQL에서는 대항마가 없다고 한다. 특징으로는 TCP가 아닌 HTTP Protocol로 Connection Pool 없이 필요한 요청만 주고 받는다. 아마존에서 알아서 NoSQL 단점이나 일부를 무료 업데이트 해준다. 데이터 사이즈가 커지면 MySQL의 경우 쿼리 최적화나 샤딩으로 불가능할 정도가 된다면 아키텍처를 바꿔야지 속도를 올릴 수 있는데 DDB의 경우 Blazing Fast하진 않지만 항상 Fast로 일정하다. https://www.youtube.com/watch?v=zUsJK5pe_A0&ab_c..
software engineering/backend

Query on S3 ( Athena, Redshift )

3년 전

AWS Athena라는 서비스와 함께 SQL 쿼리를 할 수 있다. Analytics 서비스를 함께 만들면서 데이터팀과 함께 일하며 데이터 마트/웨어하우스를 만드는 과정을 보며 살짝이나마 알게 되었다. 어느 회사나 Analytics 서비스는 존재하고 생각해 본 적 없었지만 그 데이터는 항상 Read-only 였다. Slave DB를 따로 만들어서 일정 시간에 Cron으로 어디에 보내는지 궁금했었는데, 기본적으로 Data Warehousing(Amazon Redshift)를 많이 사용하는거 같다. S3는 데이터 마트나 웨어하우스에 굉장히 많은 경우 잘 모르겠으면 S3를 사용하는 듯 했다. 웹 호스팅, Storage로서만 알고 있었는데, 이걸 일종의 DB처럼도 쓸 수 있다는 사실이 놀라웠다. Redshift에..
software engineering/backend