(참고: https://catalog.us-east-1.prod.workshops.aws/workshops/5ecc2416-f956-4273-b729-d0d30556013f/en-US)


Greengrass 란?

  • 디바이스 소프트웨어를 구축, 배포 및 관리하는데 도움이되는 IoT 오픈 소스 엣지 런타임 및 클라우드 서비스
  • 디바이스가 생성하는 데이터에 따라 로컬로 작동, 기계 학습 모델 기반 예측 실행, 데이터 필터링 및 집계, 필요한 정보만 클라우드로 전송하도록 프로그래밍 가능
    • 로컬 처리, 메시징, 데이터 관리, ML 추론을 지원하는 지능형 디바이스 소프트웨어 쉽게 구축

 

Components

  • ML 추론, 로컬 처리, 메시징 및 데이터 관리와 같은 복잡한 워크플로를 쉽게 생성할 수 있는 빌딩 블록
  • Stream Manager: 로컬 및 클라우드 대상으로의 데이터 내보내기 지원
  • Greengrass Core device
    • Greengrass core software를 실행하는 디바이스
    • Core device는 AWS IoT 사물, 여러 Core device를 IoT 사물 그룹에 추가해 Greengrass Core device 그룹 생성
  • Greengrass Component
    • Greengrass Core device에 배포되고 실행되는 소프트웨어 모듈
    • Recipe: component 세부 정보, 구성 및 매개 변수를 정의하여 소프트웨어 묘듈을 설명하는 JSON/YAML 파일
    • Artifact: 디바이스에서 실행될 소프트웨어를 정의하는 소스 코드, 바이너리 또는 스크립트
    • Dependency: 종속 구성 요소의 자동 업데이트 또는 다시 시작을 강제할 수 있는 구성 요소 간의 관계

 

Deployment

  • 단일 Greengrass Core device 또는 Greengrass Core device group이 될 수 있는 destination target device(엣지)에 구성 요소를 보내고 원하는 component 구성을 적용하는 프로세스
  • 업데이트된 모든 component를 대상에 자동으로 적용하고 종속성으로 정의 된 다른 모든 구성 요소들을 포함
  • deployment의 component 또는 component 구성에 대한 모든 업데이트가 자동으로 모든 destination targets 으로 전송됨

실습의 목표는 AWS IoT Greengrass Core software V2를 실행하는 Edge Gateway 구축하기!

  • AWS IoT Greengrass Core software V2 배포 및 설정
  • 에지에서 IPC(프로세스 간 통신)을 위한 사용자 지정 구성 요소 만들기
    • Publisher component 개발 및 배포
    • Subscriber component 개발 및 배포
  • Lambda를 사용해 사용자 지정 component를 생성하여 IPC에서 AWS IoT Core로 엣지 데이터 가져오기
  • AWS IoT Greengrass V2에서 MQTT 브리지 설정

(리전의 경우 워크숍 기반으로 진행할 것이기 때문에 도쿄(ap-northeast-1)에서 진행한다!)

CloudFormation 스택 실행


Cloud9 인스턴스 구성

: Greengrass edge runtime을 실행하기 위한 환경

 

임시 자격 증명을 비활성화 해준다.(cloud9 아이콘 선택 후 Preferences 클릭)

 

IAM user를 생성해서 해당 사용자로 AWS CLI 설정을 해준다.

나는 오류가 발생해 sudo aws configure 를 사용했다.

 

세부정보로 환경 변수 설정을 해주자.

# 환경 변수 설정
export AWS_DEFAULT_REGION="Region you want to use, e.g.for Ireland: eu-west-1" 
export AWS_ACCESS_KEY_ID="The AccessKeyId value of the result above"
export AWS_SECRET_ACCESS_KEY="The SecretAccessKey value of the result above"

# 환경 변수 확인
echo $AWS_DEFAULT_REGION
echo $AWS_ACCESS_KEY_ID
echo $AWS_SECRET_ACCESS_KEY

 

Greengrass 설정

  • AWS IoT Core의 초기 설정을 수행하고 AWS IoT Greengrass V2 설치 프로그램을 사용해 Cloud9(emulating edge gateway)에 Greengrass V2 설치
    • 설치 프로그램은 사물, 정책, 디바이스 인증서를 프로비저닝
    • IoT Core에서 Greengrass 코어 디바이스 설정 및 AWS IoT Core 연결을 완료

Greengrass Core device로 들어가 코어 디바이스를 1개 생성해보자.

3단계에 보이는 명령어를 cloud9에 입력해주자.

스크립트 완료 후 Greengrass CLI 명령을 실행하고 버전이 표시되면 성공한 것!

/greengrass/v2/bin/greengrass-cli -V

 

Greengrass의 상태 확인을 하고 싶으면 아래와 같은 명령어를 입력하자.

# 서비스 상태 확인
sudo systemctl status greengrass.service

# 부팅 시 서비스 시작
sudo systemctl enable greengrass.service

 

추가적인 IAM 정책 허용이 필요하다.

  • Publish your custom component (using S3)
  • MQTT Bridge

위에서 생성한 정책을 GreengrassV2TokenExchangeRole에 연결 한다.

 

첫번째 Component 만들기

  • component의 단위로 모듈식 소프트웨어를 임의로 개발하고 배포할 수 있다.
  • 디바이스에 샘플 애플리케이션을 만들고 이를 구성 요소로 배포할 예정~

component artifact 생성을 먼저 진행한다.

mkdir -p ~/environment/GreengrassCore/artifacts/com.example.HelloWorld/1.0.0 && touch ~/environment/GreengrassCore/artifacts/com.example.HelloWorld/1.0.0/hello_world.py

위의 명령어를 실행하면 아티팩트 폴더와 빈 스크립트 파일이 생성될 것이다.

(아티팩트의 경로의 경우 항상 artifacts/componentName/componentVersion/. 의 형식을 따라야 한다!)

 

파이썬 파일에 아래의 코드를 붙여 넣는다.

# Copyright Amazon.com, Inc. or its affiliates. All Rights Reserved.
# SPDX-License-Identifier: MIT-0
import sys
import datetime
import time

while True:

    message = f"Hello, {sys.argv[1]}! Current time: {str(datetime.datetime.now())}."

    # Print the message to stdout.
    print(message)

    # Append the message to the log file.
    with open('/tmp/Greengrass_HelloWorld.log', 'a') as f:
        print(message, file=f)

    time.sleep(1)

 

component recipe 생성을 진행한다.

mkdir -p ~/environment/GreengrassCore/recipes && touch ~/environment/GreengrassCore/recipes/com.example.HelloWorld-1.0.0.json

(레시피를 넣을 폴더와 빈파일을 생성해주는 명령어)

위 단계와 비슷하게 해당 파일에 아래의 코드를 넣고 저장하자.

{
   "RecipeFormatVersion": "2020-01-25",
   "ComponentName": "com.example.HelloWorld",
   "ComponentVersion": "1.0.0",
   "ComponentDescription": "My first AWS IoT Greengrass component.",
   "ComponentPublisher": "Amazon",
   "ComponentConfiguration": {
      "DefaultConfiguration": {
         "Message": "world"
      }
   },
   "Manifests": [
      {
         "Platform": {
            "os": "linux"
         },
         "Lifecycle": {
            "Run": "python3 -u {artifacts:path}/hello_world.py '{configuration:/Message}'\n"
         }
      }
   ]
}

 

Component 실행 및 테스트

터미널을 새로 열어주고 아래의 로그 확인 명령어를 넣고 열린 상태로 유지하자.

sudo tail -F /greengrass/v2/logs/greengrass.log

대충 요론 느낌

Component를 Greengrass 코어 디바이스에 배포하자.

sudo /greengrass/v2/bin/greengrass-cli deployment create \
  --recipeDir ~/environment/GreengrassCore/recipes \
  --artifactDir ~/environment/GreengrassCore/artifacts \
  --merge "com.example.HelloWorld=1.0.0"
# 배포 성공 확인 로그
tail -F /tmp/Greengrass_HelloWorld.log

여기까지는 테스트를 위해 개발하는 동안 component의 로컬 배포를 만드는 과정이었고,

이제는 component의 특정 버전에 만족하면 현장에서 디바이스에 배포할 구성 요소를 준비하는 과정에 대해 실습할 예정이다.

 

글이 너무 길어지니 이 내용은 다음 블로그 글에서 다룰 예정~

'Cloud > AWS' 카테고리의 다른 글

[AWS] AWS IoT SiteWise 실습  (0) 2023.01.27
[AWS] AWS IoT Greengrass V2 실습 -2  (0) 2023.01.26
[AWS] Firebase를 AWS Amplify로  (0) 2023.01.04
[AWS] re:Invent 2022 정리  (0) 2022.12.19
[AWS] Windows Server RDP 접속  (0) 2022.12.09

이번에 컨설팅 할 고객 측에서 Firebase를 사용 중이고 이를 Amplify와 같은 서비스를 활용해서 AWS로 마이그레이션이 가능한지에 대한 정보를 원했다...

해당 사항과 관련한 내용을 정리해보고자 한다!


일단 마이그레이션이 가능하긴 하다.. 단지 공수가 많이 들어갈 뿐이다;;

 

먼저 Firebase, Amplify 두 서비스 모두 Backend 개발에 도움을 주는 느낌이다.

 

Firebase

  • 모바일 애플리케이션 개발 플랫폼

https://velog.io/@realryankim/FireBase란

 

 

Firebase - Amplify 기능 매치

Firebase Amplify
Firebase Authentication Cognito
Firebase Hosting Amplify Console
Cloud Functions Lambda Function
Cloud Firestore DynamoDB
Realtime Database AppSync(GraphQL)
Cloud Storage S3
Google ML kit SageMaker, ML Services
Crashlytics X
Performance Monitoring X
Test Lab, A/B Testing Amplify Admin UI
Google Analytics Pinpoint, Kinesis
Remote Config Amplify Admin UI
Predictions X
Cloud Messaging Pinpoint

(참고: https://bejamas.io/compare/aws-amplify-vs-firebase/#continuous-deployment)

 

[차이점]

  • Google UI Toolkit Flutter의 경우 아무래도 같은 Google 생태계라 Firebase에 유리
    • 물론 Amplify에도 Flutter 있음
  • CI/CD의 경우 Amplify가 유리
    • Firebase의 경우 delivery → deployment 과정에서 개입이 필요함(실제 배포의 경우)
    • Amplify는 알아서 실제 배포까지 적용 시켜줌
  • 비용의 경우 Amplify가 조금 더 비쌀 수 있음...(계산 필수)

 

[관련 workshop]

https://catalog.us-east-1.prod.workshops.aws/workshops/c2c0b179-6b4e-4133-8ea7-989fd2ba71a1/en-US/prepare

결국엔 다 코드 단 작업이 필수적으로 들어가게 됨.. 공수가 많이 든다.

Google의 SDK와 AWS SDK는 다르기 때문에 이 점도 생각 해봐야한다...😅


해당 과정을 간단히 정리해보자.

 

마이그레이션 과정

  • Firebase Auth → Cognito
    • Cognito의 사용자 마이그레이션 기능 사용
    • 사용자가 Cognito로 처음 로그인 시도할 때 Lambda를 사용해 사용자를 대신해 Firebase 인증으로 로그인 하는 방식
      • Firebase에 성공적으로 로그인하면 사용자의 자격 증명이 Cognito에 복사된다.
  • Data Layer: DB, Storage를 Cloud Firestore와 동기화 상태로 유지
    • Firestore Data → DynamoDB
      • 데모용으로 작은 문서 지향 스키마를 마이그레이션 해볼 것
      • 실제 상황의 경우
        • Step Functions를 사용해 인프라 배포 중 자동으로 수행되게..
        • Lambda 함수를 오케스트레이션하여 Firestore 데이터를 일괄적으로 읽고 SQS를 사용해 대기열을 통해 DynamoDB에 대한 쓰기를 하게끔
    • Google Cloud Storage → S3
      • Google Cloud SDK를 사용해 S3에 동기화
    • Firestore listener service
      • 변경사항을 DynamoDB에 전파 및 AppSync no-op 변형을 트리거 해 연결된 클라이언트에 업데이트 푸시
    • 동기화, 리스너의 경우 Docker를 사용해 컨테이너화 후 Fargate를 활용해 실행할 것
  • App Tier
    • AppSync는 GraphQL을 통한 실시간 구독 지원 → Firestore Listener 사용하던 곳에 AppSync 구독

 

 

결론적으론, 마이그레이션은 가능하지만 생각보다 귀찮은 과정이 필요하다.

Amplify와 Firebase에 익숙치 않다면 각각의 서비스 공부 과정도 필요하다.

 내가 걱정되는 부분은 Data Migration 과정에서 데이터 양이 많다면... 시간과 복잡도가 증가할 듯

(중간 중간 체크 과정이 필요하며 신중하게 진행할 것)

또, Amplify API 및 SDK로의 코드 변경이 필수.. 해당 과정 공수가 많이 들 듯?

 

 

❗ 그냥 Amplify에서 새로 구축하는 것도 하나의 방법일 듯 싶다...ㅎㅎ ❗

'Cloud > AWS' 카테고리의 다른 글

[AWS] AWS IoT Greengrass V2 실습 -2  (0) 2023.01.26
[AWS] AWS IoT Greengrass V2 실습  (0) 2023.01.26
[AWS] re:Invent 2022 정리  (0) 2022.12.19
[AWS] Windows Server RDP 접속  (0) 2022.12.09
[AWS] Serverless Service - DynamoDB 편(4)  (0) 2022.12.08

2022.11.28 ~ 12.02 까지 라스베이거스에서 진행된 re:Invent에서 다룬 내용들 중 내가 관심 있는 것들만 정리해볼까 한다.


Lambda SnapStart

https://aws.amazon.com/ko/blogs/aws/new-accelerate-your-lambda-functions-with-lambda-snapstart/?did=ap_card&trk=ap_card 

  • 특정 Lambda 함수에 대해 Lambda SnapStart를 활성화한 후 함수의 새 버전을 게시하면 최적화 프로세스 트리거
  • 프로세스는 Init 단계에서 실행되며 메모리 및 디스크 상태의 변경할 수 없는 암호화된 스냅샷을 가져와 재사용을 위해 캐시
  • 이후 함수가 호출되면 필요에 따라 캐시에서 chunk로 상태를 검색하여 실행 환경을 채우게 됨
  • → 해당 프로세스를 통해 새로운 실행 환경을 만드는데 더이상 전용 Init 단계가 필요 없음(호출 시간이 더 빨라진다)
  • Coreoot(java11) 런타임을 사용하는 Java 기능을 지원

 

Amazon CodeCatalyst

https://aws.amazon.com/ko/codecatalyst/?did=ap_card&trk=ap_card 

https://codecatalyst.aws/explore?trk=cb9f568a-9476-40f7-92d7-71dcaa59c9fc&sc_channel=newsletter 

  • 애플리케이션을 신속하게 구축하고 제공하기 위한 통합 소프트웨어 개발 서비스
    • (이슈 관리 + 코딩 + 빌드 + 테스트/배포) - 이와 같은 과정을 연결하고 자동화
  • CodeCatalyst project blueprints: CI/CD, deployable code, issue tracking 등 자동으로 셋업
  • CodeCatalyst Dev Environments: 사전 설치된 종속성 및 언어별 패키지로 자동 생성

 

Amazon CloudWatch Internet Monitor

https://aws.amazon.com/ko/cloudwatch/features/?did=ap_card&trk=ap_card 

  • 인터넷 문제가 AWS 에서 호스팅되는 애플리케이션과 사용자 간의 성능 및 가용성에 미치는 영향에 대한 가시성을 제공, 이러한 문제를 진단하는데 걸리는 시간을 줄여줌
    • ex) 다른 AWS 서비스로 전환하거나 다른 AWS 리전을 통해 워크로드 트래픽 경로를 재지정
  • EventBridge로도 상태 이벤트 전송해 알림 설정 가능
  • AWS 네트워크 문제 발생 시 Health Dashboard 알림 수신 되는데 문제에 대해 AWS 측에서 진행 중인 단계 확인 가능

 

Amazon VPC Lattice

https://aws.amazon.com/ko/blogs/korea/introducing-vpc-lattice-simplify-networking-for-service-to-service-communication-preview/

https://aws.amazon.com/ko/vpc/lattice/?did=ap_card&trk=ap_card 

  • 서비스 간의 통신을 지속적으로 연결, 모니터링 및 보호하는 애플리케이션 계층 서비스
    • 네트워크 액세스, 트래픽 관리 및 모니터링에 대한 정책을 정의
  • 모든 AWS 컴퓨팅 유형(인스턴스, 컨테이너, 서버리스 함수)에 배포 일관성을 제공 → 서비스(소프트웨어) 연결
  • 세분화되고 자세한 트래픽 제어를 적용해 blue/green, canary 스타일 배포 지원
  • 요청 유형, 트래픽 볼륨, 오류 발생률, 응답 시간 등을 수집하는 자세한 액세스 로그와 지표로 서비스 간 통신을 모니터링하고 문제 해결 가능

 

AWS Verified Access

https://aws.amazon.com/ko/verified-access/?did=ap_card&trk=ap_card 

  • VPN을 사용할 필요가 없어 최종 사용자의 원격 접속 경험을 간소화, 관리 복잡성 감소
  • 각 액세스 요청을 실시간으로 확인하고 액세스가 허용된 애플리케이션에만 사용자를 연결

 

AWS Application Composer

https://aws.amazon.com/ko/application-composer/?did=ap_card&trk=ap_card 

  • 배포 가능 IaC로 지원되는 AWS 서비스에서 서버리스 애플리케이션을 시각적으로 작성하고 구성 가능
  • CloudFormation 또는 AWS SAM 지원

'Cloud > AWS' 카테고리의 다른 글

[AWS] AWS IoT Greengrass V2 실습  (0) 2023.01.26
[AWS] Firebase를 AWS Amplify로  (0) 2023.01.04
[AWS] Windows Server RDP 접속  (0) 2022.12.09
[AWS] Serverless Service - DynamoDB 편(4)  (0) 2022.12.08
[AWS] Serverless Service - DynamoDB 편(3)  (0) 2022.12.07

https://www.serverless.com/

Serverless Framework


나의 cloud 환경은 AWS 이며, Windows 환경에서 테스트 했다.

(현재 내 windows는 AWS CLI 설치가 완료되었고, npm도 설치되어 있음)

 

Serverless Framework 설정

# serverless framework 설치
npm install -g serverless

# 새로운 서버리스 프로젝트 생성
 serverless

 

serverless framework에 로그인하고 들어가보면,

위와 같이 생성되어 있음을 알 수 있다.

후에 deploy now의 질문에 yes로 대답하면..

이렇게 뜨는데 현재 내가 설정해둔 default region과 serverless에서 제공해주는 리전이 달라서 그러는 것 같다..

(현재는 테스트용이라 AWS 계정의 region을 us-east-1으로 변경할꺼고 나중에 프로젝트를 제대로 하려면 내가 원하는 리전으로 설정하는 방향으로 진행해야겠다.)

 

AWS 자격증명 설정

https://www.serverless.com/framework/docs/providers/aws/guide/credentials/

serverless-test user를 추가하자(IAM)

테스트니까 일단 Admin으로 박자.(프로덕션이나 중요한 프로젝트의 경우 권한을 자세히 설정하는게 좋다.)

 

 

Serverless Deploy

위와 같이 잘 실행됨을 알 수 있다..!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Test

serverless invoke -f hello

# 로그 호출 및 표시: 
serverless invoke -f hello -- log

serverless logs -f hello
 
# Tail logs
serverless logs -f hello --tail


# serverless 제거
serverless remove

 

serverless framework 기준

해당 serverless framework GUI 상에서 모니터링도 가능하다.

 

serverless remove를 사용하면 알아서 또 다 지워준다.

 


생성된 프로젝트를 까보면..

이런 느낌이고 사용자가 작성해야하는 파일의 경우 handler.js, serverless.yml 정도 인듯?

handler.js는 lambda에 들어가야할 함수고 (사용자 지정 함수 느낌)

serverless.yml의 경우 아래와 같이 생성되었다.

org: realyun99
app: test-nodejs-serverless
service: test-nodejs-serverless

frameworkVersion: '3'

provider:
  name: aws
  runtime: nodejs14.x

functions:
  hello:
    handler: handler.hello

 

 

위의 테스트 환경은 예제이고 직접 내가 템플릿을 만들어보고 사용자의 입장에서 무엇을 해야하는지 파악하려 한다.

 # 어떤 명령어 옵션이 있는지 확인
 serverless create --help
 
 serverless create --template aws-go --path "C:\Users\HP\test-go"

go언어의 템플릿으로 해당 경로에 test-go 폴더를 생성하고 넣어라의 느낌!

serverless.yml 안에 어떻게 AWS 환경 구성하고 싶은지 적는 것 같다... 아무래도...? ㅋㅋㅋㅋ

https://www.serverless.com/framework/docs/providers/aws/guide/serverless.yml


(serverless.yml)

  • AWS 인프라와 Serverless Framework로 배포할 Lambda 함수의 정보 및 설정을 담은 파일
  • CloudFormation의 문법 사용 가능
  • 다양한 Serverless Framework 플러그인 사용 가능
    • ex) 500개 리소스 제한인 CloudFormation 스택을 Nested Stack으로 만들어주는 플러그인

 

 

❗ 결론적으로 serverless.yml 파일이랑 lambda 함수에 들어갈 코드만 잘 작성하면 된다! serverless 파일이 관건일 듯! ❗

'Cloud' 카테고리의 다른 글

Cloud Service Providers  (0) 2021.05.08

+ Recent posts