Query on S3 ( Athena, Redshift )

AWS Athena라는 서비스와 함께 SQL 쿼리를 할 수 있다.

 

Analytics 서비스를 함께 만들면서 데이터팀과 함께 일하며 데이터 마트/웨어하우스를 만드는 과정을 보며 살짝이나마 알게 되었다. 어느 회사나 Analytics 서비스는 존재하고 생각해 본 적 없었지만 그 데이터는 항상 Read-only 였다.

 

 

Slave DB를 따로 만들어서 일정 시간에 Cron으로 어디에 보내는지 궁금했었는데, 기본적으로 Data Warehousing(Amazon Redshift)를 많이 사용하는거 같다. 

 

S3는 데이터 마트나 웨어하우스에 굉장히 많은 경우 잘 모르겠으면 S3를 사용하는 듯 했다. 웹 호스팅, Storage로서만 알고 있었는데, 이걸 일종의 DB처럼도 쓸 수 있다는 사실이 놀라웠다.

 

Redshift에 쌓지 않는 데이터의 경우 AWS Athena 라는 서비스를 이용해서 SQL builder와 함께 사용하기로 했다.