中島です。
AWS CLI Tips第一弾。

CLI操作によるS3からのオブジェクトダウンロードの際のワイルドカードの使用方法について

# 単純なワイルドカードは使用できない！
以下のようなアプリの各種ログを永続化しているS3バケットがあったとします。
(例えばですのでサーバ毎にプレフィックス分ければ？？のツッコミはいったんなしで笑）
```
$ aws s3 ls s3://kokoro-nakajima-test/log/ 
2022-10-14 12:13:56          0 access_log_web1.log
2022-10-14 12:13:56          0 access_log_web2.log
2022-10-14 12:13:56          0 app_log_web1.log
2022-10-14 12:13:56          0 app_log_web2.log
2022-10-14 12:13:56          0 error_log_web1.log
2022-10-14 12:13:56          0 error_log_web2.log
```
このうち今回取得したいのは **web1** サーバのみ。
ということでワイルドカード指定でコピーを試みると、、

```
 aws s3 cp s3://kokoro-nakajima-test/log/*web1* ./local_log/ --recursive
zsh: no matches found: s3://kokoro-nakajima-test/log/*web1*
```

 のようにコケてしまいます。

## **--recursive** オプションについて
バケット確認すると/log/ のようにディレクトリ階層構造を持ってるように見受けられます。
※特にAMCで確認するとFinder/Explorerのように階層を深掘りして対象ファイルにたどり着くので

しかしながら、S３において実際は階層というものは存在せず
こちらあくまで利便性の面で見せかけ上階層風になっているだけなのです。
[キープレフィックスとネストされたフォルダの違い](https://aws.amazon.com/jp/premiumsupport/knowledge-center/s3-prefix-nested-folders-difference/)

つまりaccess_log_web1.logというオブジェクトの実体としてのオブジェクト名は、
プレフィックスである"log/"とオブジェクトファイル名を組み合わせた **log/ access_log_web1.log** であり、
各オブジェクトはs3://kokoro-nakajima-test/配下に並列に格納されています。

**誤**
```
kokoro-nakajima-test/
└log/
└access_log_web1.log
└access_log_web2.log
```                            
**正**
```
kokoro-nakajima-test/
└log/access_log_web1.log
└log/access_log_web2.log
```

前提としてS3 cpではオブジェクトは完全名(バケット＋プレフィックス＋ファイル名)で指定しなくてはなりません。
ということでlog/配下を全てコピーしようとしても
```
$ aws s3 cp s3://kokoro-nakajima-test/log/ ./local/log/
fatal error: An error occurred (404) when calling the HeadObject operation: Key "log/" does not exist
```

そんなオブジェクト(log/)は存在しないぞ！と怒られてしまいます。

**--recursive** オプションを利用することで再帰的にlog/のプレフィックスがついたオブジェクトをまるっとダウンロードしてくれます。(今回はここでワイルドカードを使用したい！）
```
$ aws s3 cp s3://kokoro-nakajima-test/log/ ./local_log/ --recursive
download: s3://kokoro-nakajima-test/log/access_log_web1.log to local_log/access_log_web1.log
download: s3://kokoro-nakajima-test/log/error_log_web2.log to local_log/error_log_web2.log
download: s3://kokoro-nakajima-test/log/access_log_web2.log to local_log/access_log_web2.log
download: s3://kokoro-nakajima-test/log/app_log_web1.log to local_log/app_log_web1.log
download: s3://kokoro-nakajima-test/log/app_log_web2.log to local_log/app_log_web2.log
download: s3://kokoro-nakajima-test/log/error_log_web1.log to local_log/error_log_web1.log

```

# --exclude/--includeオプションを使用しワイルドカード風に
前述の--recursiveオプションと--exclude、--includeオプションを組み合わせることでUNIXでのワイルドカードと同等の処理ができます。

**--exclude**
指定パターンにマッチするファイルを対象から除外

**--include**
指定パターンにマッチするファイルを対象から含む

**--exclude/--includeで利用できるパターン記号**
|記号|意味|
|-|-|
|*|任意の文字列にマッチ|
|?|任意の1文字にマッチ|
|[sequence]	|sequence の任意の1文字にマッチ|
|[!sequence]|sequence にない任意の1文字にマッチ|

**--exclude/--includeの前提条件**
* 各オプションとも複数指定可能
* 後ろに記述されたオプションが優先される
* includeはexcludeと併用されなければならない

ということでやってみましょう！
s3://kokoro-nakajima-test/log/に対して
--exclude "*"
└log/配下全てを対象外
--include "*web1*"
└log/配下のweb1にマッチするものは対象(優先される）

```
$ aws s3 cp s3://kokoro-nakajima-test/log/ ./local_log/ --recursive --exclude "*" --include "*web1*"
download: s3://kokoro-nakajima-test/log/app_log_web1.log to local_log/app_log_web1.log
download: s3://kokoro-nakajima-test/log/access_log_web1.log to local_log/access_log_web1.log
download: s3://kokoro-nakajima-test/log/error_log_web1.log to local_log/error_log_web1.log

$ ls ./local_log/
access_log_web1.log	app_log_web1.log	error_log_web1.log
```
取得したいweb1系のファイルのみダウンロードできました！

ちなみに--exclude/--includeの順序を入れ替えて実施してみると
```
$ aws s3 cp s3://kokoro-nakajima-test/log/ ./local/log/ --recursive --include "*web1*" --exclude "*"
$ _
```
exclude(＝全て対象外）が優先され、ダウンロードはなされません！
(コマンド的には間違っていないのでエラーにはなりません）

また今回のような単純ケースの場合はもちろん--excludeのみでの対応も可能です。
```
$ aws s3 cp s3://kokoro-nakajima-test/log/ ./local_log/ --recursive --exclude "*web2*"
download: s3://kokoro-nakajima-test/log/access_log_web1.log to local_log/access_log_web1.log
download: s3://kokoro-nakajima-test/log/error_log_web1.log to local_log/error_log_web1.log
download: s3://kokoro-nakajima-test/log/app_log_web1.log to local_log/app_log_web1.log

$ ls ./local_log/
access_log_web1.log	app_log_web1.log	error_log_web1.log
```

実際は日付やファイル識別子プレフィックスで指定する要素はもっと複雑かと思うので、
必要に応じてオプションを組み合わせてご活用ください！


Amazon S3