Aws-Cli on 高木のブログ

AWS CLI で S3 からワイルドカードで指定してファイルをダウンロードしたい

Mon, 24 Oct 2022 00:00:00 +0000

S3 に yyyy-mm-dd.csv という名前の形式で CSV ファイルが保存されている

$ aws s3 ls s3://path/to/
2017-01-20 18:03:55      47968 2014-10-16.csv
2017-01-20 18:02:47      71855 2014-10-17.csv
2017-01-20 18:02:45      73806 2014-10-18.csv
...
2022-10-24 03:21:43    7162892 2022-10-21.csv
2022-10-24 03:21:40    6656291 2022-10-22.csv
2022-10-24 03:21:39    5379009 2022-10-23.csv

不具合の調査で4月分の CSV ファイルをダウンロードしたかった

$ aws s3 ls s3://path/to/2022-04
2022-04-04 03:19:20    8364026 2022-04-01.csv
2022-04-05 03:20:20    8394353 2022-04-02.csv
2022-04-06 03:18:53    8243473 2022-04-03.csv
...
2022-05-01 03:18:09    8029591 2022-04-28.csv
2022-05-02 03:18:00    7992829 2022-04-29.csv
2022-05-03 03:18:49    7502806 2022-04-30.csv

ls コマンドで絞り込みできるなら cp コマンドでもできるだろうと思ったらできなかった

$ aws s3 cp s3://path/to/2022-04 .
fatal error: An error occurred (404) when calling the HeadObject operation: Key "path/to/2022-04" does not exist

–recursive オプションと –exclude オプションと –include オプションを使うと絞り込みができた

$ aws s3 cp s3://path/to/ . --recursive --exclude "*" --include "2022-04-*.csv

–recursive: ディレクトリ配下を再帰的にコピーする
–exclude: 指定した文字列を除外する
–include: –include で除外したものの中から指定した文字列を対象に戻す

–exclude で全ファイルを除外したあと、–include で必要なだけ対象に戻している

参考 🔗

[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO

AWS CLIでアクセスキーとシークレットキーからアカウントとユーザーを確認する方法

Thu, 17 Jun 2021 00:00:00 +0000

システムで使われているキーの棚卸しで、キーがどのアカウントとユーザーのものなのか確認したかった

バージョン 🔗

$ aws --version
aws-cli/2.2.9 Python/3.9.5 Darwin/19.6.0 source/x86_64 prompt/off

確認方法 🔗

aws sts get-caller-identityで確認することができる

$ aws sts get-caller-identity
{
    "Account": "123400006789", 
    "UserId": "AIDAHOGEHOGEFOOBARBAR", 
    "Arn": "arn:aws:iam::123400006789:user/hoge.user"
}

キーの指定 🔗

$ AWS_ACCESS_KEY_ID=AKIAIOSFODNN7EXAMPLE AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY aws sts get-caller-identity
{
    "Account": "123400006789", 
    "UserId": "AIDAHOGEHOGEFOOBARBAR", 
    "Arn": "arn:aws:iam::123400006789:user/hoge.user"
}

おわり 🔗

おかげでルートアカウントのキーが使われている箇所を見つけることができた

【Mac】pipでAWS CLIをインストールする

Tue, 03 Mar 2020 00:00:00 +0000

AWS CLIにはバージョン1とバージョン2があるらしい。今回はバージョン1を入れた時のメモ。

バージョン 🔗

$ sw_vers
ProductName:    Mac OS X
ProductVersion: 10.13.6
BuildVersion:   17G11023

$ pip3 --version
pip 19.3.1 from /usr/local/lib/python3.7/site-packages/pip (python 3.7)

手順 🔗

pip3でAWS CLIをインストール 🔗

pip3 install awscli --upgrade --user

PATHを通す 🔗

インストールしただけだとそんなコマンドないよと怒られる

$ aws
-bash: aws: command not found

# vim ~/.bash_profile
export PATH=~/Library/Python/3.7/bin:$PATH

source  ~/.bash_profile

正しくイントールをされたか確認する 🔗

$ aws --version
aws-cli/1.18.11 Python/3.7.6 Darwin/17.7.0 botocore/1.15.11

完璧だね！

参考 🔗

macOS に AWS CLI バージョン 1 をインストールする - AWS Command Line Interface