AWS Lambda와 Docker를 활용한 파일 업로드/읽기 시스템 구현

📚 목차

1.  개요
2.  AWS 기본 세팅
3.  React 기반 웹 페이지 구현
4.  AWS ECR 생성
5.  AWS IAM Role 생성
6.  프로젝트 파일 받기
7.  Docker 설치
8.  AWS CLI 설치
9.  Docker 이미지 빌드
10.  AWS ECR 로그인
11.  도커 이미지 PUSH
12.  Lambda 함수 생성
13.  AWS API Gateway 생성
14.  Axios 기반 API Call
15.  S3 기반 정적 웹 호스팅
16.  파일 읽어오기 테스트

1.  개요

본 포스팅에서는 Docker를 활용하여 AWS Lambda에서 우분투와 파이썬을 사용할 수 있는 환경을 세팅하고, AWS API Gateway를 통해 웹에서 넘어오는 파일의(i.e., POST 메서드) 내용을 출력하는 방법을 소개합니다. 앞서 다룬 AWS를 활용한 파일 업로드 웹 시스템 구축 프로젝트와 겹치는 내용이 많기 때문에 이전에 정리한 자료를 많이 가져왔다는 점 참고해 주시기 바랍니다(Conf., 아래의 '더보기').

📌 선행 프로젝트

1.  파일 업로드 웹 페이지 구축: (1) React 기반 Frontend 개발
2.  파일 업로드 웹 페이지 구축: (2) AWS IAM 역할 생성
3.  파일 업로드 웹 페이지 구축: (3) AWS Lambda 생성
4.  파일 업로드 웹 페이지 구축: (4) AWS S3 생성
5.  파일 업로드 웹 페이지 구축: (5) AWS API Gateway 생성
6.  파일 업로드 웹 페이지 구축: (6) AWS Lambda 함수 작성
7.  파일 업로드 웹 페이지 구축: (7) Axios 기반 API Call
8.  파일 업로드 웹 페이지 구축: (8) 파일 업로드 테스트
9.  파일 업로드 웹 페이지 구축: (9) AWS S3 기반 웹 호스팅

1) 사용 기술

• Amazon Web Service(AWS)
  • AWS Lambda
  • AWS ECR
  • AWS IAM
  • AWS API Gateway
  • AWS S3
• Docker
• React
• Python 3.6
• Ubuntu 20.04

2) 아키텍처 다이어그램

위의 그림과 같이, S3에 정적 호스팅 한 React 기반 웹에 사용자가 로컬에서 파일을 업로드할 경우, API Gateway를 통해 Docker로 빌드한 Ubuntu와 Python 기반 이미지에서 파일 내용을 출력하는 시나리오입니다.

2.  AWS 기본 세팅

1)  서비스 가입

먼저 AWS 홈페이지에 방문하셔서 회원가입을 하셔야 합니다. 아래의 그림 1과 같이 최초 가입한 이메일 계정으로 1년간 무료 체험판(a.k.a., 프리 티어)을 제공합니다. 물론 무료인 만큼 저사양 서비스 무료로 사용 가능합니다. 회원가입 시 해외 결제가 가능한 신용카드 등록이 필수입니다. 유효한 신용카드인지 100원을 결제했다가 곧바로 승인 취소되니 유효한 신용카드를 준비해 주세요.

그림 1. AWS 홈페이지

2)  서비스 지역 변경

회원가입까지 완료하셨다면 현재 PC를 사용 중인 지역과 가장 가까운 거리에 있는 서비스 지역(Region)을 선택하셔야 합니다. 추후에 서비스 요금에 대해 살펴보겠지만, 서비스 지역마다 과금이 다르기 때문입니다. 아래의 그림 2처럼, AWS 홈페이지 우측 상단에 지역 이름을 클릭하면 서비스 지역을 변경하실 수 있습니다. 대한민국에 거주하고 계시다면 Seoul을 선택해 주면 됩니다.

그림 2. 서비스 지역 변경

3.  React 기반 웹 페이지 구현

아래의 포스팅을 참고하여 웹 페이지를 구현합니다.

https://heytech.tistory.com/403

파일 업로드 웹 페이지 구축: (1) React 기반 Frontend 개발

4.  AWS ECR 생성

AWS ECR은 Docker로 빌드한 이미지를 AWS 상에서 저장하고 다른 AWS 서비스에서 이용할 수 있도록 지원하는 서비스입니다.

1) AWS ECR 콘솔 접근

상단 검색창에 Elastic을 검색하시고 Elastic Container Registry를 클릭합니다(그림 3).

그림 3. AWS ECR 콘솔 접근

3) 리포지토리 생성

리포지토리 생성 버튼을 클릭합니다(그림 4).

그림 4. 리포지토리 생성

리포지토리 이름을 설정합니다. 해당 이름을 활용하여 향후에 터미널에서 작업할 것이기 때문에, 직관적이고 간결한 이름으로 지으시길 바랍니다(그림 5).

그림 5. 리포지토리 네이밍

5.  AWS IAM Role 생성

IAM은 Identity and Access Management의 약자로, 특정 사용자나 그룹의 서비스 혹은 리소스에 대한 접근 권한을 관리하는 서비스입니다. IAM 서비스에 대한 개념은 이곳을 참고해 주시길 바랍니다. IAM Role(역할)은 특정 AWS 서비스의 액세스 권한을 부여하는 보안 증명서입니다. 쉽게 말해, AWS 내 어떤 서비스를 이용할 수 있는 자격을 의미합니다. 

1) IAM 서비스 접근

AWS 검색창에 IAM을 입력하여 IAM 콘솔로 이동합니다(그림 6).

그림 6. IAM 콘솔 접근

2)  역할 생성

좌측에 "역할" 텍스트를 클릭하신 후, 우측에 "역할 만들기" 버튼을 눌러주세요(그림 7).

그림 7. IAM 역할 생성

3)  Lambda 선택

AWS Lambda를 사용할 것이기 때문에 Lambda를 선택하고 다음 버튼을 클릭합니다(그림 9).

그림 8. Lambda 선택

4) ECR Full Access 선택

검색창에 container를 검색하신 후, 아래에 AmazonElasticContainerRegistryPublicFullAccess를 체크하시고 맨 하단에 다음 버튼을 클릭합니다(그림 9).

그림 9. ECR Full Access 선택

5) 역할 이름 설정

이름을 설정하시고 맨 하단에 역할 생성 버튼을 클릭합니다(그림 10).

그림 10. 역할 이름 설정

6.  프로젝트 파일 받기

아래의 Github에 Dockerfile, python 코드 등 필요한 파일을 모두 업로드하였습니다.

https://github.com/park-gb/aws-lambda-docker

GitHub - park-gb/aws-lambda-docker: AWS Lambda와 Docker를 활용한 웹 기반 파일 읽기/쓰기 구현

zip 파일을 직접 다운로드 받으시거나 clone 하시길 바랍니다.

git clone https://github.com/park-gb/aws-lambda-docker.git

7.  Docker 설치

Docker 공식 홈페이지를 통해 Docker를 설치하시고, docker를 꼭 실행해 주세요!

https://docs.docker.com/get-docker/

Get Docker

8.  AWS CLI 설치

터미널에서 커맨드 라인으로 작업하기 위하여 AWS Command Line Interface(CLI)를 설치합니다. 아래의 링크에 접속하셔서 운영체제에 맞는 프로그램을 설치해 주시기 바랍니다.

https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/getting-started-install.html

최신 버전의 AWS CLI 설치 또는 업데이트 - AWS Command Line Interface

9.  Docker 이미지 빌드

터미널을 통해 앞서 다운로드한 프로젝트 파일 폴더로 디렉토리를 변경하고, docker 이미지를 빌드합니다. 코드는 아래와 같습니다.

docker build -t [이미지 이름] .

빌드가 모두 진행되었다면 아래의 명령어로 이미지의 존재여부를 확인합니다.

docker images

10.  AWS ECR 로그인

터미널에서 앞서 생성했던 AWS ECR 내 리포지토리를 연결합니다. 명령어는 아래와 같으며 3가지를 수정해 주시면 됩니다.

aws ecr get-login-password --region ap-northeast-2 | docker login --username AWS --password-stdin [ECR 리포지토리 ID].dkr.ecr.[AWS 서비스 지역].amazonaws.com/[ECR 리포지토리 이름]

• ECR 리포지토리 ID: URI 맨 앞 숫자12자리(그림 11)

그림 11.  AWS ECR 리포지토리 정보

• 서비스 지역: 서울일 경우 ap-northeast-2
• 리포지토리 이름: 생성 당시 작성한 이름

아래와 같이 나왔다면 성공적으로 로그인된 겁니다.

Login Succeeded

11.  도커 이미지 PUSH

앞서 빌드한 도커 이미지를 AWS ECR에 푸시합니다. 아래의 코드에서 빌드한 가상 이미지 이름, ECR 아이디와 리포지토리를 수정해 줍니다.

docker tag [가상 이미지 이름]:latest [ECR 아이디].dkr.ecr.ap-northeast-2.amazonaws.com/[ECR 리포지토리 이름]:[태그명]

여기서 태그명은 리포지토리 안에 저장될 이미지의 이름입니다. 즉, 로컬에서 빌드했을 때의 가상 이미지 이름과 다르게 설정할 수 있습니다. 이제 아래의 명령어로 ECR에 이미지를 푸시합니다.

docker push [ECR 아이디].dkr.ecr.ap-northeast-2.amazonaws.com/[ECR 리포지토리이름]:[태그명]

아래와 같이 push 중인 모습을 확인하실 수 있을 겁니다.

그림 12. 이미지 Push 중

12.  Lambda 함수 생성

AWS 검색창에 Lambda를 검색하셔서 AWS Lambda 콘솔에 접근하고, 함수를 생성합니다(그림 13).

그림 13. 람다 함수 생성

아래의 그림 14처럼, 컨테이너 이미지를 선택하신 후에, 함수 이름을 작성해 주세요. 그 아래에 컨테이너 이미지 탭에 "이미지 찾아보기" 버튼을 클릭합니다.

그림 14. 컨테이너 이미지 기반 람다 함수 생성

앞서 생성했던 ECR 리포지토리를 선택하시고, 빌드하고 push 했던 이미지의 태그명을 찾아 선택해 주세요.

그림 15. 리포지토리 선택

13.  AWS API Gateway 생성

웹 페이지에서 AWS Lambda와 연동하기 위한 API Gateway 세팅이 필요합니다. 아래의 포스팅을 참고해 주세요.

https://heytech.tistory.com/407

파일 업로드 웹 페이지 구축: (5) AWS API Gateway 생성

14.  Axios 기반 API Call

Axios 패키지를 활용하여 API Call 세팅이 필요합니다. 아래의 포스팅을 참고해 주세요.

https://heytech.tistory.com/409

파일 업로드 웹 페이지 구축: (7) Axios 기반 API Call

15.  S3 기반 정적 웹 호스팅

이제 파일을 업로드할 웹 페이지를 호스팅하여 파일 업로드를 테스트합니다. 아래의 포스팅을 참고해 주세요.

https://heytech.tistory.com/411?category=559266 

파일 업로드 웹 페이지 구축: (9) AWS S3 기반 웹 호스팅

16.  파일 읽어오기 테스트

최종적으로 웹에 파일을 업로드 한 후에 Lambda의 cloudwatchlog를 통해 파일의 내용을 잘 읽어오는지 확인합니다. 아래의 그림 16처럼, 웹에서 업로드한 파일의 내용을 잘 읽어오는 것을 확인하실 수 있습니다.

그림 16. 테스트 성공

---

포스팅 내용에 오류가 있거나 보완할 점이 있다면 아래에 댓글 남겨주세요!

그럼 오늘도 즐겁고 건강한 하루 보내시길 바랍니다 :)

고맙습니다😊