GCP on 高木のブログ

【Cloud Functions】Functions Framework for Rubyを試す（環境変数を扱う編）

Mon, 11 Oct 2021 00:00:00 +0000

今回はCloud Functionsで環境変数を扱ってみる
（パスワードなどの秘匿情報はSecret Manager を使うべし）

手順 🔗

環境変数 FUNCTION_ENV の設定を試してみる

コード 🔗

FunctionsFramework.http("env_vars") do |request|
  "FUNCTION_ENV: #{ENV['FUNCTION_ENV']}\n"
end

RubyではENVで環境変数を呼び出すことができる

ローカルで実行 🔗

$ FUNCTION_ENV=development bundle exec functions-framework-ruby --target env_vars

$ curl http://localhost:8080
FUNCTION_ENV: development

デプロイ 🔗

--set-env-varsで環境変数を設定することができる

$ gcloud functions deploy env_vars --runtime ruby27 --trigger-http --set-env-vars FUNCTION_ENV=production

$ curl https://us-central1-masamune-287217.cloudfunctions.net/env_vars
FUNCTION_ENV: production

補足 🔗

複数の環境変数を設定する 🔗

FunctionsFramework.http("env_vars") do |request|
  "ENV_VAR_A: #{ENV['ENV_VAR_A']}, ENV_VAR_B: #{ENV['ENV_VAR_B']}\n"
end

カンマ区切りで複数の環境変数を設定できる

$ gcloud functions deploy env_vars --set-env-vars ENV_VAR_A=foo,ENV_VAR_B=bar

$ curl https://us-central1-masamune-287217.cloudfunctions.net/env_vars
ENV_VAR_A: foo, ENV_VAR_B: bar

一部の環境変数を更新・追加する 🔗

--update-env-varsで更新・追加ができる

$ gcloud functions deploy env_vars --update-env-vars ENV_VAR_B=baz

$ curl https://us-central1-masamune-287217.cloudfunctions.net/env_vars
ENV_VAR_A: foo, ENV_VAR_B: baz

`--set-env-vars`だと指定していない環境変数は消えてしまう 🔗

ENV_VAR_Bだけ指定した場合、ENV_VAR_Aは消えてしまうので注意

$ gcloud functions deploy env_vars --set-env-vars ENV_VAR_B=baz

$ curl https://us-central1-masamune-287217.cloudfunctions.net/env_vars
ENV_VAR_A: , ENV_VAR_B: baz

--update-env-varsは使わず、--set-env-varsで必要な環境変数を全て記述してデプロイするのが無難なのかなと思う

参考 🔗

環境変数の使用 | Google Cloud Functions に関するドキュメント

Cloud SQL Auth Proxyを使ってCloud SQLにローカルから接続する

Fri, 24 Sep 2021 00:00:00 +0000

環境（前提条件？） 🔗

ローカル環境はCentOS 7を使用している
Cloud SQLはMySQLのインスタンスを起動している
認証周りは整っている（gcloudコマンドが使えている）

手順 🔗

Cloud SQL Auth Proxyのインストール 🔗

$ sudo wget https://dl.google.com/cloudsql/cloud_sql_proxy.linux.amd64 -O /usr/local/bin/cloud_sql_proxy
$ sudo chmod +x /usr/local/bin/cloud_sql_proxy
$ cloud_sql_proxy -version
Cloud SQL Auth proxy: 1.25.0+linux.amd64

これはCentOS 7の場合なので、他のOSはここを参照

Cloud SQL Auth Proxyを起動 🔗

$ cloud_sql_proxy -instances=hogehoge-project:asia-northeast1:hogehoge-instance=tcp:13306

# cloud_sql_proxy -instances=インスタンスの接続名=tcp:ポート番号

ポート番号は3306でも良いが、別で使っていたので13306にした

インスタンスの接続名の確認方法 🔗

Cloud SQL の [インスタンス] ページに移動
インスタンス名をクリックして [概要] ページを開く
[このインスタンスと接続] セクションで接続名をコピー（接続名のフォーマット: projectID:region:instanceID）

MySQLに接続 🔗

$ mysql -u root -h 127.0.0.1 -p -P 13306

【Cloud Functions】Functions Framework for Rubyを試す（GitHub Actionsからデプロイ編）

Mon, 20 Sep 2021 00:00:00 +0000

前回書いた「【Cloud Functions】Functions Framework for Rubyを試す（ローカルからデプロイ編）」の続きで、今回はGitHub Actionsからデプロイしてみる

手順 🔗

サービスアカウントの作成 🔗

以下URLからサービスアカウント作成し、「Cloud Functions 開発者」のロールを付与する https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts/create

サービスアカウントキーをダウンロードして、そのJSONをGitHub Secretsに「GCP_SA_KEY」というキー名で登録する

ワークフローファイルの作成 🔗

$ mkdir .github/workflows
$ vim .github/workflows/deploy.yml

mainブランチにプッシュもしくはマージされたらデプロイが走る設定

name: Deploy

on:
  push:
    branches: [ main ]

jobs:
  deploy:
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v2
    - uses: google-github-actions/deploy-cloud-functions@main
      with:
        credentials: ${{ secrets.GCP_SA_KEY }}
        name: hello
        runtime: ruby27

動作確認 🔗

デプロイができているかわかるようにコードを書き換えておく

 require "functions_framework"
 
 FunctionsFramework.http("hello") do |request|
-  "Hello, world!\n"
+  "Hello, world! (Deploy from GitHub Actions)\n"
 end

プッシュしたあと、ghコマンドで実行中のワークフローを確認する

$ git push
$ gh run watch

Refreshing run status every 3 seconds. Press Ctrl+C to quit.

✓ main Deploy · 1246588184
Triggered via push about 20 hours ago

JOBS
✓ deploy in 1m6s (ID 3640768767)
  ✓ Set up job
  ✓ Run actions/checkout@v2
  ✓ Run google-github-actions/deploy-cloud-functions@main
  ✓ Post Run actions/checkout@v2
  ✓ Complete job

✓ Run Deploy (1246588184) completed with 'success'

curlで叩いてデプロイができているか確認する

$ curl https://us-central1-masamune-287217.cloudfunctions.net/hello
Hello, world! (Deploy from GitHub Actions)

いい感じ

補足 🔗

IAM権限エラー 🔗

1回目のデプロイでは問題なかったが、2回目でエラーが出るようになった

[Missing necessary permission iam.serviceAccounts.actAs for  on the service account PROJECT_ID@appspot.gserviceaccount.com. 
Ensure that service account PROJECT_ID@appspot.gserviceaccount.com is a member of the project PROJECT_ID, and then grant  the roles/iam.serviceAccountUser role. 
You can do that by running 'gcloud iam service-accounts add-iam-policy-binding PROJECT_ID@appspot.gserviceaccount.com --member=$member --role=roles/iam.serviceAccountUser' 
In case the member is a service account please use the prefix 'serviceAccount:' instead of 'user:'.]

以下のようなコマンドで解決

$ gcloud iam service-accounts add-iam-policy-binding PROJECT_ID@appspot.gserviceaccount.com \
    --member='serviceAccount:deploy-account@PROJECT_ID.iam.gserviceaccount.com' \
    --role=roles/iam.serviceAccountUser

リポジトリ 🔗

今回やった内容のリポジトリ
https://github.com/ytkg/sample-functions-framework-ruby

参考 🔗

【Cloud Functions】Functions Framework for Rubyを試す（ローカルからデプロイ編）

Thu, 16 Sep 2021 00:00:00 +0000

前回書いた「【Cloud Functions】Functions Framework for Rubyを試す（ローカル編）」の続きで、今回はCloud Functionsにデプロイしてみる

手順 🔗

Cloud Functions APIとCloud Build APIを有効化 🔗

$ gcloud services enable cloudfunctions.googleapis.com
$ gcloud services enable cloudbuild.googleapis.com

デプロイ 🔗

gcloud functions deploy [関数の登録名] --entry-point [ソースコード内の関数またはクラスの名前] --runtime [使用するランタイムの名前] [関数のトリガーの種類]

$ gcloud functions deploy hello_function --entry-point hello --runtime ruby27 --trigger-http

Ruby 2.7のランタイムに HTTP リクエストをトリガーする hello 関数を hello_function という登録名でデプロイする

新しい関数を登録する場合は確認がある 🔗

Allow unauthenticated invocations of new function [hello_function]?
(y/N)?

動作確認 🔗

$ curl https://us-central1-hogehoge-123456.cloudfunctions.net/hello_function
Hello, world!

再デプロイ 🔗

コードを修正して再デプロイする場合、--runtimeと--trigger-httpは変更が無ければ省略できる

$ gcloud functions deploy hello_function --entry-point hello

$ curl https://us-central1-hogehoge-123456.cloudfunctions.net/hello_function
Hello, world! (Take 2)

補足 🔗

–entry-pointは省略できる 🔗

ソースコードの関数名と登録名を同じにする場合は省略できる
むしろ、–entry-pointは異なる時に使用する為のフラグかも

例) ソースコードの関数名が hello でそのまま関数の登録名にする

$ gcloud functions deploy hello --runtime ruby27 --trigger-http

これだと再デプロイはシンプルになる

$ gcloud functions deploy hello

参考 🔗

ローカルマシンからのデプロイ | Google Cloud Functions に関するドキュメント

【Cloud Functions】Functions Framework for Rubyを試す（ローカル編）

Wed, 01 Sep 2021 00:00:00 +0000

業務でCloud Functionsを触ることになったので予習をする

Ruby用にフレームワーク（Functions Framework for Ruby ）が用意されているのでそれを使う
今回はREADME.md に書いてあるQuickstartを試して、さらにテストコードも書いてみる

Quickstart 🔗

必要なファイルを作成 🔗

Gemfileとapp.rb

source "https://rubygems.org"

gem "functions_framework", "~> 1.0"

require "functions_framework"

FunctionsFramework.http("hello") do |request|
  "Hello, world!\n"
end

「Hello, world!」と返すhello関数

サーバー起動 🔗

$ bundle install
$ bundle exec functions-framework-ruby --target hello
I, [2021-08-19T02:55:33.358268 #65163]  INFO -- : FunctionsFramework v1.0.0
I, [2021-08-19T02:55:33.358312 #65163]  INFO -- : FunctionsFramework: Loading functions from "./app.rb"...
I, [2021-08-19T02:55:33.358474 #65163]  INFO -- : FunctionsFramework: Looking for function name "hello"...
I, [2021-08-19T02:55:33.358490 #65163]  INFO -- : FunctionsFramework: Starting server...
I, [2021-08-19T02:55:33.407831 #65163]  INFO -- : FunctionsFramework: Serving function "hello" on port 8080...

8080番ポートでhello関数のサーバーが立ち上がった

リクエストを投げる 🔗

$ curl http://localhost:8080
Hello, world!

「Hello, world!」と返ってきた

テスト 🔗

テストはRSpecを使う
ちゃんとテスト用のモジュール（FunctionsFramework::Testing）が用意されている

RSpec追加 🔗

 source "https://rubygems.org"

 gem "functions_framework", "~> 1.0"

+gem "rspec", group: "test"

$ bundle install
$ bundle exec rspec --init

テストコード 🔗

ステータスコードが200で返ってくること
文字列「Hello, world!\n」が返ってくることをテストする

require "rspec"
require "functions_framework/testing"

describe "hello function" do
  include FunctionsFramework::Testing

  let(:response) do
    load_temporary "app.rb" do
      request = make_get_request "http://example.com:8080/"
      call_http("hello", request)
    end
  end

  it 'return status code 200' do
    expect(response.status).to eq 200
  end

  it 'return hello message' do
    expect(response.body.join).to eq "Hello, world!\n"
  end
end

テスト実行 🔗

$ bundle exec rspec
..

Finished in 0.02075 seconds (files took 0.10026 seconds to load)
2 examples, 0 failures

オプション 🔗

helpを見たらオプションがいくつかあったので、SOURCEとTARGETだけ追加で試す

$ bundle exec functions-framework-ruby -h
Usage: functions-framework-ruby [options]
    -t, --target TARGET              Set the name of the function to execute (defaults to function)
    -s, --source SOURCE              Set the source file to load (defaults to ./app.rb)
        --signature-type TYPE        Asserts that the function has the given signature type. Supported values are 'http' and 'cloudevent'.
    -p, --port PORT                  Set the port to listen to (defaults to 8080)
    -b, --bind BIND                  Set the address to bind to (defaults to 0.0.0.0)
    -e, --environment ENV            Set the Rack environment
        --min-threads NUM            Set the minimum threead pool size
        --max-threads NUM            Set the maximum threead pool size
        --[no-]detailed-errors       Set whether to show error details
        --verify                     Verify the app only, but do not run the server.
    -v, --verbose                    Increase log verbosity
    -q, --quiet                      Decrease log verbosity
        --version                    Display the framework version
        --help                       Display help

`SOURCE`オプション 🔗

起動するファイル名を指定する（デフォルトはapp.rb）

ファイル名をhello.rbにしてみる

$ mv app.rb hello.rb

$ bundle exec functions-framework-ruby --target hello --source hello.rb
I, [2021-08-31T23:40:47.222034 #2693]  INFO -- : FunctionsFramework v1.0.0
I, [2021-08-31T23:40:47.222080 #2693]  INFO -- : FunctionsFramework: Loading functions from "hello.rb"...
I, [2021-08-31T23:40:47.222342 #2693]  INFO -- : FunctionsFramework: Looking for function name "hello"...
I, [2021-08-31T23:40:47.222361 #2693]  INFO -- : FunctionsFramework: Starting server...
I, [2021-08-31T23:40:47.344302 #2693]  INFO -- : FunctionsFramework: Serving function "hello" on port 8080...

$ curl http://localhost:8080
Hello, world!

Cloud Functionをよくわかっていないけど、ファイル名を変更したい時ってどんな時なんだろ

`TARGET`オプション 🔗

実行する関数名を指定する（デフォルトはfunction）

デフォルトを試したいので、httpメソッドの引数を無くす

require "functions_framework"

FunctionsFramework.http do |request|
  "Hello, world!\n"
end

$ bundle exec functions-framework-ruby
I, [2021-08-31T23:43:32.529982 #2770]  INFO -- : FunctionsFramework v1.0.0
I, [2021-08-31T23:43:32.530042 #2770]  INFO -- : FunctionsFramework: Loading functions from "./app.rb"...
I, [2021-08-31T23:43:32.530205 #2770]  INFO -- : FunctionsFramework: Looking for function name "function"...
I, [2021-08-31T23:43:32.530225 #2770]  INFO -- : FunctionsFramework: Starting server...
I, [2021-08-31T23:43:32.580118 #2770]  INFO -- : FunctionsFramework: Serving function "function" on port 8080...

$ curl http://localhost:8080
Hello, world!

何もオプションを指定せずシンプルに起動できる

参考 🔗

Cloud FunctionsのRubyがベータ公開されたので使ってみた - Qiita

【GCP】Secret Managerを試す

Thu, 26 Aug 2021 00:00:00 +0000

GCPのサービス内でパスワードやAPIキーなどの機密情報を扱うなら必須のSecret Manager
とりあえず最低限必要な機能を試してみた記録

コマンドラインからシークレットの追加と取得と更新 🔗

Secret Manager APIを有効化 🔗

$ gcloud services enable secretmanager.googleapis.com

シークレットの追加 🔗

secret-sampleという名前で、値はP@ssw0rdを追加する

$ echo "P@ssw0rd" | gcloud secrets create secret-sample --data-file=-
Created version [1] of the secret [secret-sample].

シークレットの取得 🔗

$ gcloud secrets versions access latest --secret='secret-sample'
P@ssw0rd

シークレットの更新（バージョンの追加） 🔗

シークレットの更新は、バージョンを追加する

$ echo "p@SSw0RD" | gcloud secrets versions add secret-sample --data-file=-
Created version [2] of the secret [secret-sample].

$ gcloud secrets versions access latest --secret='secret-sample'
p@SSw0RD

過去バージョンのシークレットの取得 🔗

latestの部分を取得したいバージョンに変更（例では1）

$ gcloud secrets versions access 1 --secret='secret-sample'
P@ssw0rd

Rubyのコードからシークレットの取得 🔗

実際に使うのはCloud Functionsだったりのアプリケーション内なので、Rubyのコードからシークレットの取得を試す

サービスアカウントの作成 🔗

以下URLからサービスアカウント作成し、「Secret Manager のシークレットアクセサー」のロールを付与する https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts/create

サービスアカウントキーをダウンロードして、そのパスを環境変数にセットする

$ export GOOGLE_APPLICATION_CREDENTIALS="/path/to/service-account-file.json"

Rubyのコードを作成 🔗

source "https://rubygems.org"

gem "google-cloud-secret_manager"

require "google/cloud/secret_manager"

client = Google::Cloud::SecretManager.secret_manager_service
name = client.secret_version_path(project: "project-id",
                                  secret: "secret-sample",
                                  secret_version: "latest")
response = client.access_secret_version(name: name)
puts response.payload.data

実行して確認 🔗

$ bundle exec ruby app.rb
p@SSw0RD

最後に追加した値が取れている

過去バージョンのシークレットの取得 🔗

もちろんバージョンを指定してあげたら過去の値も取得できる

name = client.secret_version_path(project: "project-id",
                                  secret: "secret-sample",
                                  secret_version: "1")

$ bundle exec ruby app.rb
P@ssw0rd

参考 🔗

【Mac】gcloudコマンドのインストール

Mon, 23 Nov 2020 00:00:00 +0000

GCPも触っておかないといけないので、とりあえずgcloudコマンドを使える状態にしておく。

インストール方法 🔗

インストール 🔗

$ curl https://sdk.cloud.google.com | bash

対話形式で質問に答えていけばあっという間にインストールできる。

シェルの再起動 🔗

$ exec -l $SHELL

確認 🔗

$ gcloud -v
Google Cloud SDK 319.0.0
bq 2.0.62
core 2020.11.13
gsutil 4.55

環境の初期化 🔗

$ gcloud init

ブラウザが開くので認証などを済ませる。

参考 🔗

Google Cloud SDK インストーラの使用 | Cloud SDK のドキュメント

GCP on 高木のブログ

【Cloud Functions】Functions Framework for Rubyを試す（環境変数を扱う編）

手順 🔗

コード 🔗

ローカルで実行 🔗

デプロイ 🔗

補足 🔗

複数の環境変数を設定する 🔗

一部の環境変数を更新・追加する 🔗

--set-env-varsだと指定していない環境変数は消えてしまう 🔗

参考 🔗

Cloud SQL Auth Proxyを使ってCloud SQLにローカルから接続する

環境（前提条件？） 🔗

手順 🔗

Cloud SQL Auth Proxyのインストール 🔗

Cloud SQL Auth Proxyを起動 🔗

インスタンスの接続名の確認方法 🔗

MySQLに接続 🔗

【Cloud Functions】Functions Framework for Rubyを試す（GitHub Actionsからデプロイ編）

手順 🔗

サービスアカウントの作成 🔗

ワークフローファイルの作成 🔗

動作確認 🔗

補足 🔗

IAM権限エラー 🔗

リポジトリ 🔗

参考 🔗

【Cloud Functions】Functions Framework for Rubyを試す（ローカルからデプロイ編）

手順 🔗

Cloud Functions APIとCloud Build APIを有効化 🔗

デプロイ 🔗

新しい関数を登録する場合は確認がある 🔗

動作確認 🔗

再デプロイ 🔗

補足 🔗

–entry-pointは省略できる 🔗

参考 🔗

【Cloud Functions】Functions Framework for Rubyを試す（ローカル編）

Quickstart 🔗

必要なファイルを作成 🔗

サーバー起動 🔗

リクエストを投げる 🔗

テスト 🔗

RSpec追加 🔗

テストコード 🔗

テスト実行 🔗

オプション 🔗

SOURCEオプション 🔗

TARGETオプション 🔗

参考 🔗

【GCP】Secret Managerを試す

コマンドラインからシークレットの追加と取得と更新 🔗

Secret Manager APIを有効化 🔗

シークレットの追加 🔗

シークレットの取得 🔗

シークレットの更新（バージョンの追加） 🔗

過去バージョンのシークレットの取得 🔗

Rubyのコードからシークレットの取得 🔗

サービスアカウントの作成 🔗

Rubyのコードを作成 🔗

実行して確認 🔗

過去バージョンのシークレットの取得 🔗

参考 🔗

【Mac】gcloudコマンドのインストール

インストール方法 🔗

インストール 🔗

シェルの再起動 🔗

確認 🔗

環境の初期化 🔗

参考 🔗

`--set-env-vars`だと指定していない環境変数は消えてしまう 🔗

`SOURCE`オプション 🔗

`TARGET`オプション 🔗