AMI Builder Pipeline

Triển khai AMI Builder Pipeline

Ở phần này, chúng ta sẽ tiến hành xây dựng một AMI Pipeline thông qua EC2 Image Builder.

EC2 Image Builder là dịch vụ giúp chúng ta đơn giản hoá các tác vụ từ khởi tạo, bảo trì, kiểm thử và phân phối các Linux/Windows Images.

• Có thể dùng cho AMI của EC2, container image trên Amazon ECR, cũng như VM image cho môi trường on-premises.
• Giảm thiểu thời gian và công sức thực hiện các tác vụ lặp lại.

Sau khi hoàn thành phần này, chúng ta sẽ có thể

• Tự xây dựng được một AMI Pipeline.
• Tự tạo ra các AMI mới chứa các bản vá lỗi mới nhất.
• Sẵn sàng thay thế các AMI cũ và triển khai cho môi trường ứng dụng hiện tại.

CloudFormation Stack

Để tiến hành triển khai hạ tầng, chúng ta sẽ sử dụng dịch vụ AWS CloudFormation thông qua AWS Console hoặc AWS CLI.

Bạn hãy tải template ở đây:

Template nhận các tham số sau:

AWS CLI

Sau đây là các bước khởi tạo thông qua AWS CLI:

1. Khởi tạo CloudFormation Stack.

   aws cloudformation create-stack --stack-name pattern3-pipeline --template-body file://pattern3-pipeline.yml --parameters ParameterKey=BaselineVpcStack,ParameterValue=pattern3-base --capabilities CAPABILITY_IAM --region ap-southeast-2
   

2. Chờ Stack khởi tạo xong. Bước này khá nhanh, khoảng 1 đến 2 phút, vì chúng ta chỉ đang tạo định nghĩa của pipeline chứ chưa build AMI.

   aws cloudformation wait stack-create-complete --stack-name pattern3-pipeline --region ap-southeast-2
   

3. Xác nhận CloudFormation Stack đã khởi tạo hoàn tất với StackStatus là CREATE_COMPLETE.

   aws cloudformation describe-stacks --stack-name pattern3-pipeline --region ap-southeast-2 --query "Stacks[0].StackStatus" --output text
   

4. Ghi chú lại các giá trị tại Output, đặc biệt là Pattern3ImagePipeline (ARN của pipeline) và Pattern3ParentImageId.

   aws cloudformation describe-stacks --stack-name pattern3-pipeline --region ap-southeast-2 --query "Stacks[0].Outputs" --output table
   

aws ssm get-parameter --name /aws/service/ami-amazon-linux-latest/al2023-ami-kernel-default-x86_64 --region ap-southeast-2 --query "Parameter.Value" --output text

Nếu bạn đã triển khai bằng CloudFormation, có thể bỏ qua các mục thủ công bên dưới và đi thẳng tới Thực thi Builder Pipeline.

Xây dựng thủ công từ Console

Phần này dành cho bạn muốn hiểu rõ từng thành phần của một AMI Pipeline. Chúng ta sẽ lần lượt thực hiện các bước sau đây:

1. Tạo một S3 bucket cho tác vụ logging.
2. Tạo một IAM Role dành cho EC2 Image Builder.
3. Tạo một Security Group cho build instance.
4. Tạo một Image Builder Component.
5. Tạo một Image Builder Recipe.
6. Tạo một Infrastructure Configuration.
7. Tạo một Image Builder Pipeline.

Tạo S3 Bucket

Bởi tính chất của dịch vụ S3, khi đặt tên cho S3 Bucket, chúng ta cần phải tuân theo một số quy tắc được đặc tả tại URL sau.

1. Tạo ra một chuỗi UUID đặc thù với kí tự in thường.

uuidgen | awk -F- '{print tolower($1$2$3)}'

([guid]::NewGuid().ToString('N')).Substring(0,12).ToLower()

2. Tạo S3 Bucket với tên là tổ hợp giữa chuỗi pattern3-logging và chuỗi UUID trên, rồi chặn toàn bộ truy cập public. Bucket này chỉ chứa log nội bộ nên không có lý do gì để mở ra Internet.

BUCKET="pattern3-logging-$(uuidgen | awk -F- '{print tolower($1$2$3)}')"
echo "Bucket: $BUCKET"

aws s3 mb "s3://${BUCKET}" --region ap-southeast-2

aws s3api put-public-access-block --bucket "$BUCKET" --public-access-block-configuration "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true" --region ap-southeast-2

$BUCKET = "pattern3-logging-" + ([guid]::NewGuid().ToString('N')).Substring(0,12).ToLower()
Write-Output "Bucket: $BUCKET"

aws s3 mb "s3://$BUCKET" --region ap-southeast-2

aws s3api put-public-access-block --bucket $BUCKET --public-access-block-configuration "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true" --region ap-southeast-2

Hãy ghi lại tên bucket, bạn sẽ cần nó ở bước tạo IAM Role và bước cấu hình logging cho pipeline.

Tạo IAM Role

IAM Role này sẽ được sử dụng cho EC2 Image Builder với vai trò là một instance profile cho EC2 instance được khởi tạo tạm thời. EC2 instance này sẽ thực hiện tác vụ OS Patching.

Sau đây là quá trình tạo ra một IAM Role:

1. Đăng nhập vào AWS Console và truy cập đến dịch vụ IAM theo đường dẫn - https://console.aws.amazon.com/iam/.
2. Ở thanh điều hướng bên tay trái, chọn Roles và nhấn nút Create role.

3. Ở màn hình Select trusted entity, chọn AWS service và chọn Use case là EC2, sau đó nhấn Next.

4. Ở màn hình Add permissions, tìm và chọn lần lượt các policy dưới đây:
   1. EC2InstanceProfileForImageBuilder
   2. AmazonSSMManagedInstanceCore
5. Nhấn Next để sang màn hình Name, review, and create.
6. Điền tên pattern3-recipe-instance-role cùng với miêu tả cụ thể.

7. Tiến hành tạo bằng cách nhấn Create role.
8. Sau khi tạo thành công, trong danh sách các IAM roles, chọn pattern3-recipe-instance-role.
9. Ở tab Permissions, chọn Add permissions và chọn Create inline policy.

10. Chuyển sang chế độ JSON và dùng đặc tả sau. Thay thế <S3_BUCKET_NAME> bằng tên S3 Bucket ở bước trước.

{
   "Version": "2012-10-17",
   "Statement": [
      {
         "Sid": "WriteBuildLogs",
         "Effect": "Allow",
         "Action": "s3:PutObject",
         "Resource": "arn:aws:s3:::<S3_BUCKET_NAME>/*"
      },
      {
         "Sid": "DescribeBucket",
         "Effect": "Allow",
         "Action": [
            "s3:GetBucketLocation",
            "s3:ListBucket"
         ],
         "Resource": "arn:aws:s3:::<S3_BUCKET_NAME>"
      }
   ]
}

11. Nhấn Next.
12. Điền tên policy và nhấn Create policy để hoàn tất.

Tạo Security Group

Chúng ta sẽ cần một EC2 Security Group cho EC2 instance tạm thời. Security Group không cần bất kỳ một Inbound Rule nào, tuy nhiên cần đảm bảo Outbound Rule mặc định để build instance có thể truy cập Internet qua NAT Gateway nhằm tải các bản vá.

1. Truy cập vào dịch vụ Amazon EC2.
2. Ở thanh điều hướng bên tay trái, chọn Security Groups.

3. Nhấn chọn Create security group.
4. Ở phần thông tin cơ bản, điền lần lượt tên pattern3-pipeline-instance-security-group và miêu tả.
5. Ở phần VPC, chọn VPC được tạo bởi Stack pattern3-base.
6. Đối với Inbound Rule và Outbound Rule, giữ nguyên mặc định và không thêm bất kỳ giá trị nào.
7. Nhấn Create security group để khởi tạo.

Tạo một Builder Component

Chúng ta sẽ tiến hành tạo một Component của dịch vụ EC2 Image Builder.

1. Truy cập vào dịch vụ EC2 Image Builder.
2. Tại thanh điều hướng bên tay trái, chọn Components.
3. Nhấn nút Create component.
4. Tiến hành chọn các giá trị như sau:
   1. Image Operating System (OS): Linux.
   2. Compatible OS versions: Amazon Linux 2023.
   3. Component name: pattern3-pipeline-ConfigureOSComponent.
   4. Component version: 1.0.0.
   5. Description: Component to update the OS with latest package versions.

5. Ở phần Definition document, chọn Define document content.
6. Sao chép và điền đặc tả sau:

   name: ConfigureOS
   description: Update the operating system to the latest available packages
   schemaVersion: 1.0
   phases:
     - name: build
       steps:
         - name: UpdateOS
           action: UpdateOS
   

7. Nhấn nút Create component để tiến hành khởi tạo.

Tạo một Builder Recipe

Trước khi định nghĩa Builder Pipeline, chúng ta cần phải có một Builder Recipe.

1. Truy cập vào dịch vụ EC2 Image Builder.
2. Tại thanh điều hướng bên tay trái, chọn Image recipes.
3. Nhấn nút Create image recipe.
4. Ở phần Recipe details, điền các giá trị như sau:
   1. Name: pattern3-pipeline-ImageRecipe.
   2. Version: 1.0.0.
   3. Description: Pattern3 Configure OS Recipe.
5. Ở phần Base image, chọn Select managed images, sau đó:
   1. Image operating system (OS): Amazon Linux.
   2. Image origin: Quick start (Amazon-managed).
   3. Image name: chọn dòng Amazon Linux 2023 x86.
   4. Auto-versioning options: chọn Use latest available OS version để mỗi lần build đều lấy bản AL2023 mới nhất.

6. Ở phần Instance configuration, giữ nguyên mặc định. Storage đề xuất chuyển Volume type sang gp3 để rẻ và nhanh hơn gp2.
7. Ở phần Components, chọn Component đã tạo ở bước trước. Bạn có thể tìm nhanh bằng bộ lọc Owned by me.

8. Nhấn nút Create recipe để tiến hành khởi tạo.

Tạo Infrastructure Configuration

Infrastructure Configuration mô tả nơi AMI được build: loại instance, VPC, subnet, security group và nơi ghi log. Đây là tài nguyên độc lập, phải tạo trước khi tạo pipeline.

1. Truy cập vào dịch vụ EC2 Image Builder.
2. Tại thanh điều hướng bên tay trái, chọn Infrastructure configuration, sau đó nhấn Create infrastructure configuration.
3. Ở phần General, điền:
   1. Name: pattern3-pipeline-InfraConfig.
   2. Description: Build infrastructure for pattern3 image pipeline.
   3. IAM role: chọn pattern3-recipe-instance-role đã tạo trước đó.

4. Ở phần AWS infrastructure, điền:
   1. Instance type: t3.medium.
   2. SNS topic: bỏ trống.
   3. VPC, subnet, and security groups: chọn VPC của Stack pattern3-base, chọn một Private Subnet, và chọn security group pattern3-pipeline-instance-security-group.

5. Ở phần Troubleshooting settings:
   1. Giữ Terminate instance on failure được bật.
   2. Key pair: bỏ trống, chúng ta không dùng SSH.
   3. S3 location for logs: chọn S3 bucket đã tạo ở bước trước.

6. Nhấn Create infrastructure configuration.

aws cloudformation describe-stacks --stack-name pattern3-base --region ap-southeast-2 --query "Stacks[0].Outputs" --output table

Tạo một Builder Pipeline

1. Tại thanh điều hướng bên tay trái, chọn Image pipelines, sau đó nhấn Create pipeline.

2. Mục General:

   1. Pipeline name: pattern3-pipeline-ImagePipeline.
   2. Description: Pattern 3 pipeline to update OS.

3. Mục Build schedule, Schedule type: chọn Manual.

4. Mục Recipe:

   1. Recipe name: chọn pattern3-pipeline-ImageRecipe từ danh sách.
   2. Versioning options: chọn Use latest version available để pipeline tự dùng bản recipe mới nhất. Nếu muốn cố định thì chọn Specify recipe version rồi chọn 1.0.0.

5. Mục Workflow: giữ Use default workflows.

6. Mục Infrastructure configuration: chọn Select a configuration, rồi chọn pattern3-pipeline-InfraConfig đã tạo ở bước trước.

7. Mục Distribution settings: giữ Create with default settings. AMI sẽ được tạo tại Region hiện tại là ap-southeast-2, đúng như dòng Distribution details hiển thị.

8. Mục Advanced settings, mở rộng ra nếu muốn tinh chỉnh. Với bài thực hành bạn có thể giữ nguyên toàn bộ:

   1. Image tags và Tags: tuỳ chọn. Nếu muốn dễ tìm tài nguyên về sau, thêm tag ResourceType = awsstudygroup-000099-imagebuilder.
   2. Auto-disable policy: giữ mặc định 5 consecutive failures. Chính sách này chỉ áp dụng cho lần chạy theo lịch, không áp dụng cho Run pipeline thủ công.
   3. Image log group và Pipeline log group: bỏ trống để Image Builder dùng CloudWatch log group mặc định.
   4. Enhanced metadata (AMI only): mặc định Disabled, giữ nguyên cũng được. Chọn Enabled nếu bạn muốn Image Builder thu thập metadata qua SSM Inventory để kiểm tra tính tương thích của component.
   5. EC2 image scanning: đang bị làm mờ và khoá ở Disabled. Muốn bật quét lỗ hổng thì phải kích hoạt security scanning settings ở cấp tài khoản trước, việc này dùng Amazon Inspector và nằm ngoài phạm vi bài thực hành.
   6. ECR container scanning: bỏ qua, chúng ta không build container image.

9. Nhấn Create pipeline ở cuối trang.

Thực thi Builder Pipeline

Sau khi quá trình đặc tả đã hoàn tất, chúng ta tiến hành thử nghiệm Builder Pipeline.

1. Tại danh sách Image pipelines, chọn pipeline vừa tạo, nhấn nút Actions và chọn Run pipeline.

2. Một khi thực thi hoàn tất, chúng ta sẽ kiểm tra liệu AMI mới có được khởi tạo hay không.

Nếu dùng AWS CLI, bạn có thể chạy pipeline và theo dõi trạng thái như sau:

# Lay ARN pipeline truc tiep tu Image Builder, dung duoc cho ca hai cach tao
PIPELINE_ARN=$(aws imagebuilder list-image-pipelines --region ap-southeast-2 --query "imagePipelineList[?name=='pattern3-pipeline-ImagePipeline'].arn | [0]" --output text)

BUILD_ARN=$(aws imagebuilder start-image-pipeline-execution --image-pipeline-arn "$PIPELINE_ARN" --region ap-southeast-2 --query "imageBuildVersionArn" --output text)

aws imagebuilder get-image --image-build-version-arn "$BUILD_ARN" --region ap-southeast-2 --query "image.state" --output json

aws imagebuilder get-image --image-build-version-arn "$BUILD_ARN" --region ap-southeast-2 --query "image.outputResources.amis[0].image" --output text

# Lay ARN pipeline truc tiep tu Image Builder, dung duoc cho ca hai cach tao
$PIPELINE_ARN = aws imagebuilder list-image-pipelines --region ap-southeast-2 --query "imagePipelineList[?name=='pattern3-pipeline-ImagePipeline'].arn | [0]" --output text

$BUILD_ARN = aws imagebuilder start-image-pipeline-execution --image-pipeline-arn "$PIPELINE_ARN" --region ap-southeast-2 --query "imageBuildVersionArn" --output text

aws imagebuilder get-image --image-build-version-arn "$BUILD_ARN" --region ap-southeast-2 --query "image.state" --output json

aws imagebuilder get-image --image-build-version-arn "$BUILD_ARN" --region ap-southeast-2 --query "image.outputResources.amis[0].image" --output text

Bây giờ, chúng ta sẽ sang phần kế tiếp với việc triển khai quá trình Build Automation với dịch vụ Systems Manager.