MAGICPIE

하고 싶은 것 VPN으로 회사 네트워크에 접속해 서버1에 접속하고 서버2에 접속해야 리퀘스트에 성공하는 API-1를 Lambda함수에서 사용하고 싶다. 배경 API는 ECS로 관리되고 있다. 사용하고 싶은 API-1은 API-0을 통해서만 리퀘스트를 보낼 수 있다. API-0은 AWS의 LoadBalancer와 VPC를 이용해 구축되어있다. API-1도 AWS의 LoadBalancer와 VPC를 이용해 구축되어있다. API-1의 LoadBalancer는 API-0의 LoadBalancer에 설정되어있는 SecurityGroups를 통해서만 접속할 수 있다. 따라서 두 LoadBalancer의 TargetGroup의 VPC는 동일하다. Lambda함수은 API-0을 통해서 API-1을 사용하고 싶지 않다...

목적 Google Spreadsheets 에서 수동으로 관리하는 데이터를 AWS Redshift의 테이블로 만들어 다른 데이터를 분석하는데 사용할 수 있도록 하자. 기각: Google Spreadsheets에서 바로 파일을 업로드 하면 안될까? 로컬 혹은 다른 서비스에서 Spreadsheets 속 데이터를 바로 읽어오려면 인증 ( Google CloudPlatform ) 을 해야 한다. 현재 올라가 있는 데이터는 회사 메일 주소를 갖고 있지 않는 사람 혹은 API에 대해 공유를 거부해 놓은 상태이니 service account 를 사용하려면 Google suits 에서 admin 이 그 권한을 부여해 줄 필요가 있다. 서비스 계정 외에는 본인 인증하는 수 밖에 없기 때문에 ( API key, OAuth ..

대략적으로 순서를 나열해보자면 아래와 같다. Glue job AWS Glue란 대체 무엇인가 AWS Glue는 까다롭고 시간이 많이 소요되는 데이터 검색, 변환, 작업 일정 조정 등과 같은 작업은 간소화 및 자동화하는 종합 관리형 데이터 카탈로그 및 ETL(추출, 변환, 로드) 서비스라고 AWS에 소개되어있다. ETL처리의 예를 들자면, Amazon Redshift에서 데이터를 unload(추출)해 Amazon S3에 보관하면서 csv에서 parquet으로 변환하고 Redshift로 load하는 등의 처리를 들 수 있다. 데이터 카탈로그에 대한 알기 쉬운 설명: Data Catalog 와 DCAT (Data Catalog Vocabulary) 개요 간단히 말하자면 데이터 카탈로그란 메타데이터(데이터에 대..