파일이 있는데.. 없다구요?
회사 서비스 중 S3 와 관련된 서비스가 있어요. 기능은 간단해요.
- 저장: Local 에서 Upload 한 파일을 S3에 저장 → 파일 목록 JSON 만들기
- 불러오기: 파일 목록 가져오기 → 목록에 따라 S3 파일 불러오기
위 기능과 관계됬던 저번주 사건부터 정리해보죠.
사건의 발단
파일이름에 발음기호를 넣어서 S3에 업로드하게 되었어요.
파닉스 음원 구분을 위해서 사용했고, "æ.mp3", "ɛ.mp3" 같은 이름을 가지고 있었죠.
저장과정은 순조롭게 이루어졌어요. JSON 도 잘 만들어졌구요.
문제상황 발생
문제는 발음을 들려주는 부분에서 발생했어요.
파일 목록을 가져온 후, S3 파일들을 가져오는 과정에서 몇몇 파일이 없다고 오류가 나기 시작하더라구요? (아니 그 파일이 분명히 S3 와 JSON 에 잘 있는걸 내 두 눈으로 봤는데? 파일이 없다고?)
급하게 제가 할 수 있는 선에서 확인하기 시작했죠.
- S3에서 파일을 직접 다운로드 받아서 제대로 실행되는지 확인
- 업로드시에 문제가 없는지 지웠다가 다시 업로드도 해보기
- Network확인
- API Client 호출체크
- JSON 목록 확인
그 어느곳에서도 이상을 찾지 못했고, 결국 전 미지의 세계로 떠나게 되었죠.
(저는 Front-end 개발자이지만, 간단한 서비스는 전체 다 볼 때가 있어요... 이번이 그래서 back-end 를 들여다봐야 했죠.)
원인 파악
문제는 API 서버에 있었는데요. API 에서 S3 파일을 찾는 과정에서 403 Not Found 가 생기더라구요.
(이 오류 메시지에 힌트가 있는데, 보이시나요?)
네, URL Encoding 과정에서 생기는 문제였지요.
파일 이름은 "æ.mp3" 이지만 S3 를 호출하는 과정에서 %c3%a6.mp3 로 바뀌어서 전달됬고, S3 는 두 이름이 다르다고 생각해서 찾지 못했던 거에요.
S3 호출시 content-type 을 json 으로 변경해주고 수정하면 되겠지만, 동시에 문득 궁금해졌어요.
파일 이름에 대한 가이드라인이 있을까?
Object key naming guidelines (AWS S3 파일 이름 가이드라인)
.... 네 있더라구요.
여기 보면 Safe characters 와 Characters that might require special handling, Characters to avoid 로 나누어서 엄청 자세히 설명해주고 있어요.
링크에서 보는게 가장 정확하지만, 간단하게 아래 정리해볼께요.
Safe characters
| Type | Detail |
|---|---|
| Alphanumeric characters | • 0-9 • a-z • A-Z |
| Special characters | • Forward slash (/)• Exclamation point ( !)• Hyphen ( -)• Underscore ( _)• Period ( .)• Asterisk ( *)• Single quote ( ')• Open parenthesis ( ()• Close parenthesis ( )) |
Characters that might require special handling
여기 있는 문자를 쓰게 되면, URL encoded 이나 HEX 를 사용해서 파일을 핸들링할수 있대요.
- Ampersand (
&) - Dollar (
$) - ASCII character ranges 00–1F hex (
0–31 decimal) and 7F (127 decimal) - 'At' symbol (
@) - Equals (
=) - Semicolon (
;) - Colon (
:) - Plus (
+) - Space – Significant sequences of spaces might be lost in some uses (especially multiple spaces)
- Comma (
,) - Question mark (
?)
Characters to avoid
당연하겠지만, 안쓰는게 좋습니다.
- Backslash (
\) - Left curly brace (
{) - Non-printable ASCII characters (128–255 decimal characters)
- Caret (
^) - Right curly brace (
}) - Percent character (
%) - Grave accent / back tick (```)
- Right square bracket (
]) - Quotation marks
- 'Greater Than' symbol (
>) - Left square bracket (
[) - Tilde (
~) - 'Less Than' symbol (
<) - 'Pound' character (
#) - Vertical bar / pipe (
|)
느낀점
이번 사건으로 이틀정도 삽질을 했지만, 정리할 내용이 많지 않아서 다행이다 싶기도 하고.. 동시에 좀 씁쓸해지네요.
마지막으로 제 느낀 점을 짧게 적을께요.
- 모든 것에 대해선 공식 문서나 가이드가 있는지 찾아보고 진행하자.
- 앞으로는 파일명 및 변수명을 지을때, safe characters 에 맞춰서 짓도록 하자. 언제 내 파일이 s3 에서 문제를 일으킬지 모른다.
출처
