AWS Lambda를 활용한 DyanamoDB 테이블 데이터 삽입/조회 방법

👨‍💻 들어가며

본 튜토리얼을 잘 따라오시면 AWS Lambda에서 DynamoDB 테이블에 데이터를 삽입하는 방법과 테이블 데이터를 읽어오는 방법을 알아가실 수 있습니다.

🛠 기술 스택

• AWS DynamoDB
• AWS Lambda (Runtime: Python 3.6)
• AWS IAM

📚 목차

1. AWS DynamoDB 세팅
    1.1. DynamoDB 개념
    1.2. DynamoDB 테이블 생성
2. AWS IAM 세팅
    2.1. IAM 개념
    2.2. IAM Role 개념
    2.2. IAM Role 생성
3. AWS IAM 세팅
    3.1. Lambda 개념
    3.2. Lambda 함수 생성
    3.3. Lambda 코드
4. 테스트
    4.1. 데이터 삽입 로직 테스트
    4.2. 데이터 조회 로직 테스트

1. AWS DynamoDB 세팅

1.1. DynamoDB 개념

AWS DynamoDB는 Key-Value 형태로 데이터를 저장하는 AWS의 NoSQL 서비스입니다. DynamoDB는 규모와 상관없이 대부분 10ms 내에 데이터를 읽고 처리할 만큼 속도가 매우 빠르다는 장점이 있습니다. 또한, 완전 관리형 서비스라는 큰 장점이 있습니다. 즉, DB의 용량이나 트래픽이 늘어나면 AWS에서 알아서 스케일링 해주며, DB 백업도 알아서 해줍니다. 사용자가 설정한 성능과 사용한 용량에 대해서만 과금을 부과하기 때문에 비용 최적화에도 도움이 됩니다.

1.2. DynamoDB 테이블 생성

1) DynamoDB 콘솔 접근

AWS 검색창에 DynamoDB를 검색하셔서 콘솔에 접근합니다(그림 1).

그림 1. DynamoDB 콘솔 접근

2) 테이블 생성 버튼 클릭

테이블 생성 버튼을 클릭합니다(그림 2).

그림 2. 테이블 생성 버튼 클릭

3) 테이블 생성 옵션 설정

테이블 이름, 파티션 키, 정렬 키를 입력합니다(그림 3). 기본 키(Primary Key)인 파티션 키(Partition Key)는 반드시 설정해야 하며 정렬 키(Sort Key)는 선택 사항입니다. 각각에 대해 알아봅니다.

그림 3. 테이블 생성 옵션: 테이블 이름, 파티션 및 정렬 키

• 파티션 키(Partition Key)
  • 데이터 무결성을 위한 장치로써 데이터가 겹치거나 null, undefined 값 할당 불가(e.g., 주민등록번호)
  • Hash 속성으로 Hash Key라고도 부르며 '같다' 혹은 '같지 않다'와 같은 연산만 가능
  • 기본 키, Primary Key라고도 부름
• 정렬 키(Sort Key)
  • Range 속성으로 Sort Key라고도 부르며 비교대소 혹은 '~로 시작하는'과 같은 연산만 가능
  • DynamoDB에서 데이터 정리를 위해 사용

나머지는 기본 설정으로 두고 맨 아래에 테이블을 생성하겠습니다. 시간이 조금 지나면 아래의 그림 4와 같이 Table이 생성됩니다.

그림 4. 테이블 생성 완료

2. AWS IAM 세팅

2.1. IAM 개념

IAM은 Identity and Access Management의 약자로, 특정 사용자나 그룹의 서비스 혹은 리소스에 대한 접근 권한을 관리하는 서비스입니다. IAM 서비스에 대한 개념은 아래의 포스팅을 참고해 주시길 바랍니다.
https://heytech.tistory.com/391?category=559266

AWS IAM 사용자 및 루트 사용자 개념 정리

2.2.  IAM Role 개념

IAM Role(역할)은 특정 AWS 서비스의 액세스 권한을 부여하는 보안 증명서입니다. 쉽게 말해, AWS 내 어떤 서비스를 이용할 수 있는 자격을 의미합니다.

2.3. IAM Role 생성

1) IAM 콘솔 접근

검색창에 IAM을 검색하셔서 IAM 콘솔에 접근합니다(그림 5).

그림 5. IAM 콘솔 접근

2) 역할 생성

아래의 그림 6처럼, 좌측에 "역할" 텍스트를 클릭하신 후, 우측에 "역할 만들기" 버튼을 눌러주세요.

그림 6. 역할 생성

3) Lamda 선택

아래의 그림 7처럼, 사용 사례는 Lambda를 사용할 예정이므로 Lambda를 선택한 후, 하단에 "다음" 버튼을 클릭합니다.

그림 7. Lambda 선택

4) 권한 추가

아래의 그림 8처럼, 검색창에 dynamodb를 입력 후 엔터를 치신후, 아래에 AmazonDyanmoDBfullAccess 권한을 체크하시고 아래에 "다음" 버튼을 클릭합니다.

그림 8. 궈한 추가

5) 역할 이름 설정

아래의 그림 9처럼, 역할 이름을 설정하신 후에 맨 하단에 "역할 생성"을 클릭합니다.

그림 9. 역할 이름 설정

3. AWS Lambda 세팅

3.1. Lambda 개념

AWS Lambda는 이벤트가 발생했을 때 코드(=함수)를 실행하고 컴퓨터 리소스를 관리하는 Serverless 컴퓨팅 서비스입니다. 여기서 이벤트가 발생할 때를 다른 말로 "trigger 되었을 때" 또는 "함수를 호출했을 때"라고도 표현합니다. 즉, 24시간 서버가 돌아가는 AWS EC2와 달리, AWS Lambda는 사용자가 함수를 호출했을 때만 코드가 실행되는 서비스입니다. AWS Lambda에 대한 자세한 개념, 장단점, 사용목적에 대해 알고 싶으신 분은 아래의 포스팅을 참고해 주세요.
https://heytech.tistory.com/397

AWS Lambda 개념, 장단점, 사용목적

3.2. Lambda 함수 생성

1) Lambda 콘솔 접근

AWS 홈페이지 검색창에서 Lambda를 검색하여 Lambda 콘솔로 이동합니다(그림 10).

그림 10. Lambda 콘솔 접근

2) Lambda 함수 생성

"함수 생성" 버튼을 클릭합니다(그림 11).

그림 11. 함수 생성

3) Lambda 함수 생성 옵션

아래의 그림 12처럼 아래의 옵션을 선택하신 후 맨 하단에 "함수 생성" 버튼을 클릭합니다.

• 함수 이름: 직관적으로 알아볼 수 있도록 작성
• 런타임: Python 3.6
• 실행 역할: "기존 역할 사용" 선택 후 앞서 생성한 IAM Role을 선택(DynamoDBfullAccess)

그림 12. Lambda 함수 생성

3.2. Lambda 코드

1) 전체 코드

import boto3
from datetime import datetime

class DatabaseAccess():
    def __init__(self, TABLE_NAME):
        # DynamoDB 세팅
        self.dynamodb = boto3.resource('dynamodb')
        self.table = self.dynamodb.Table(TABLE_NAME)
    
    def get_data(self):
        res = self.table.scan()
        items = res['Items'] # 모든 item
        count = res['Count'] # item 개수
        return items, count
    
    def put_data(self, input_data):
        self.table.put_item(
            Item =  input_data
        )
        print("Putting data is completed!")

def lambda_handler(event, context):
    
    db_access = DatabaseAccess('resultTable')
    
    if event['Method'] == 'POST':
        input_data = {
        "userID" : event['userID'],
        "date"   : event['date']
        }
        db_access.put_data(input_data)
    
    elif event['Method'] == 'GET':
        items, count = db_access.get_data()
        print(f"items: {items}, count: {count}")
    
    else:
        print("Confirm the method!")
        
    # TODO implement
    return {
        'statusCode': 200,
        'body': json.dumps('This is Hey Tech Blog!')
    }

2) 코드 설명

(1) 패키지 import

import boto3
from datetime import datetime

• boto3
  • AWS 서비스 액세스용 패키지
• datetime
  • 시간 정보 출력용

(2) DB Access 클래스

class DatabaseAccess():
    def __init__(self, TABLE_NAME):
        # DynamoDB 세팅
        self.dynamodb = boto3.resource('dynamodb')
        self.table = self.dynamodb.Table(TABLE_NAME)
    
    def get_data(self):
        res = self.table.scan()
        items = res['Items'] # 모든 item
        count = res['Count'] # item 개수
        return items, count
    
    def put_data(self, input_data):
        self.table.put_item(
            Item =  input_data
        )
        print("Putting data is completed!")

• 생성자 함수
  • 상수 TABLE_NAME: Access 할 DynamoDB 테이블 이름
• get_data 함수
  • 테이블에서 모든 item 및 item 개수 반환
• put_data 함수
  • 테이블에 전달 받은 데이터 삽입

(3) main 함수

def lambda_handler(event, context):
    
    db_access = DatabaseAccess('resultTable')
    
    if event['Method'] == 'POST':
        input_data = {
        "userID" : event['userID'],
        "date"   : event['date']
        }
        db_access.put_data(input_data)
    
    elif event['Method'] == 'GET':
        items, count = db_access.get_data()
        print(f"items: {items}, count: {count}")
    
    else:
        print("Confirm the method!")
        
    # TODO implement
    return {
        'statusCode': 200,
        'body': json.dumps('This is Hey Tech Blog!')
    }

• db_access
  • 앞서 선언한 DB Access 클래스 객체 생성
  • Access 할 Table 이름 전달
• Method == POST
  • 데이터 삽입 로직
• Mehtod == GET
  • 데이터 조회 로직
• default (Mehtod != POST and Method != GET)
  • 지정한 method에 해당하지 않는 경우 예외 처리

4. 테스트

간단한 테스트를 위해 Lambda 콘솔에서 아래의 그림 13처럼, "테스트" 탭으로 이동합니다.

그림 13. 테스트 탭 이동

4.1. 데이터 삽입 로직 테스트

1) 이벤트 생성

먼저, 데이터 삽입 로직 테스트 이벤트를 아래의 그림 14와 같은 순서로 작성합니다.

그림 14. 데이터 삽입을 위한 테스트 이벤트 생성

POST Method임을 명시하여, 데이터 삽입 로직을 실행시키도록 합니다. 테이블 생성 시 파티션 키와 정렬 키 값인 userID와 date Key에 삽입할 value도 임의로 입력합니다. 모두 입력하셨다면 테스트 버튼을 클릭합니다.

2) 로그 확인

그림 15. 데이터 삽입 로직 테스트의 로그

그림 15와 같이, 데이터 삽입 로직이 수행된 후 출력하도록 작성한 print문이 잘 실행된 것을 확인하실 수 있습니다.

3) DB 테이블 확인

아래 그림 16과 같이 실제로 DynamoDB 테이블에 데이터가 잘 삽입된 것을 확인하실 수 있습니다.

그림 16. 테이블 내 데이터 삽입 확인

4.2. 데이터 조회 로직 테스트

1) 이벤트 생성

데이터 조회 로직 수행을 위해 Method Key 값을 GET로 설정한 이벤트를 실행시켜 봅니다(그림 17).

그림 17. 데이터 조회를 위한 테스트 이벤트 생성

2) 로그 확인

아래의 그림 18처럼, 로직이 성공적으로 수행하였으며, 로그에 테이블 내 데이터와 데이터 개수가 정상적으로 출력된 것을 확인하실 수 있습니다.

그림 18. 데이터 조회 로직의 로그 확인

📌 참고할 만한 포스팅

1. AWS 기반 파일 업로드 웹 페이지 구축
    1)  파일 업로드 웹 페이지 구축: (1) React 기반 Frontend 개발
    2)  파일 업로드 웹 페이지 구축: (2) AWS IAM 역할 생성
    3)  파일 업로드 웹 페이지 구축: (3) AWS Lambda 생성
    4)  파일 업로드 웹 페이지 구축: (4) AWS S3 생성
    5)  파일 업로드 웹 페이지 구축: (5) AWS API Gateway 생성
    6)  파일 업로드 웹 페이지 구축: (6) AWS Lambda 함수 작성
    7)  파일 업로드 웹 페이지 구축: (7) Axios 기반 API Call
    8)  파일 업로드 웹 페이지 구축: (8) 파일 업로드 테스트
    9) 파일 업로드 웹 페이지 구축: (9) AWS S3 기반 웹 호스팅

2. AWS 활용 포스팅
    1) AWS Lambda와 Docker를 활용한 파일 업로드/읽기 시스템 구현
    2) AWS Lambda에서 AWS S3 파일 읽어오는 방법
    3) AWS DynamoDB 개념 및 테이블 생성 절차(파티션 키, 정렬 키 개념)
    4) AWS Lambda를 활용한 DyanamoDB 테이블 데이터 삽입/조회 방법

---

오늘은 AWS Lambda에서 DynamoDB 테이블에 데이터를 삽입하고 조회하기 위한 전 과정을 소개해 드렸습니다.
포스팅 내용에 오류가 있거나 보완할 점이 있다면 아래에 댓글 남겨주시면 감사드리겠습니다.
그럼 오늘도 즐겁고 건강한 하루 보내시길 바랍니다 :)
고맙습니다😊