[TIL_Carrotww] 46 - 22/11/07

📝Carrotww의 코딩 기록장

🧲 Django rest framework

🔍 backend 부분은 serializer로 json 형태의 데이터 처리가 쉽게 가능하다는 것을 알게 되었고 backend server, front server 를 분리하여 웹 개발을 처음 해보니 javascript도 나름 재밌다고 생각했다. 물론 조금만 더 지식이 있었다면 더욱 수월하게 프로젝트를 진행했을 텐데 생각보다 시간이 오래 걸렸다.
json으로 back -> front, front -> back 데이터 전달은 쉬웠지만 javascript 에서 받은 데이터를 html 로 보여주는 것이 시간이 걸렸다..
html을 못해서... ㅠㅠ

api와 크롤링을 동시에 하고 db에 저장까지 하는 로직이다.
이렇게하면 엄청 시간이 오래걸려 크롤링은 하지 않는것이 좋다. 미니 프로젝트이기도 하고 이미지를 가져와 보여주는게 좋을 것 같아서 last_fm api 에서는 제공해 주지 않는 이미지를 url 링크를 타고 들어가 이미지만 가져왔다.

🧲 Crawling

def get_youtube_url(url):
    headers = {'User-Agent': 'Mozilla/5.0'}
    default_url = 'https://www.youtube.com'
    default_img = ''
    response = requests.get(url, headers=headers)

    if response.status_code == 200:
        html = response.text
        soup = BeautifulSoup(html, 'html.parser')
        try:
            result_url = soup.find('a', {'class': "image-overlay-playlink-link js-playlink"})['data-youtube-url']
        except:
            result_url = default_url
        try:
            result_image_url = soup.find('img', {'class': "video-preview"})['src']
        except:
            result_image_url = default_img
        return result_url, result_image_url
    else:
        return default_url, default_img

헤더를 굳이 안 붙여도 되기는 하지만 보안 엔지니어 일을 할때 ips 장비에서 크롤링 접근을 차단했던 기억이 있어 헤더를 그냥 붙여주었다.
크롤링이 되지 않는다면 헤더를 붙여보자. 보안장비에서 차단될 수 있다.

위 코드에서 api로 불러온 음악 url을 넣어주면 해당 음악의 youtube url과 image를 다시 크롤링 하여 불러온다.
try except를 사용하여 youtube url, image가 없으면 default로 넣어주었다. -> default image는 api 호출 함수에서 넣어주었다.

🧲 수정된 api search 기능

def lookup_track_search(tag:list):
    # tag가 5개 들어옴
    recommend_music_list = []
    default_img = 'https://www.shutterstock.com/image-vector/picture-icon-image-photo-600w-1672289161.jpg'

    if len(tag) >= 2:
        tag_list = list(combinations(tag, 2))
        for i in tag_list:
            temp = ' '.join(i)
            response = lastfm_get({
            'method': 'track.search',
            'track': temp})
            music_list = [(x['artist'], x['name'], x['url']) for x in response.json()['results']['trackmatches']['track']]
            if music_list:
                recommend_music_list.append(random.choice(music_list))
        recommend_result_music = [(x[0], x[1], x[2]) for x in recommend_music_list]

        result_music = []
        for x in recommend_result_music:
            try:
                youtube_url, music_image = get_youtube_url(x[2])
                if music_image == '':
                        music_image = default_img
            except:
                result_music.append(x[0], x[1], x[2], 'https://youtube.com', default_img)
                continue
            try:
                youtube_url = youtube_url.replace('watch?v=','embed/')
            except:
                pass
            result_music.append((x[0], x[1], x[2], youtube_url, music_image))

        return result_music

    elif len(tag) == 1:
        result_music = []
        response = lastfm_get({
        'method': 'track.search',
        'track': tag})
        music_list = [(x['artist'], x['name'], x['url']) for x in response.json()['results']['trackmatches']['track']][0:5]
        if music_list:
            for x in music_list:
                try:
                    youtube_url, music_image = get_youtube_url(x[2])
                    if music_image == '':
                        music_image = default_img
                except:
                    result_music.append(x[0], x[1], x[2], 'https://youtube.com', default_img)
                    continue
                try:
                    youtube_url = youtube_url.replace('watch?v=','embed/')
                except:
                    pass
                result_music.append((x[0], x[1], x[2], youtube_url, music_image))

            return result_music

자꾸 예외가 발생해서 너무 힘들었다 ㅠㅠㅠㅠㅠㅠㅠㅠ
api 호출도 하고 크롤링도 한 후 return 하는 함수여서 오래 걸리기는 하지만 예외처리를 모두 해주었고 기본값도 넣어주어서 너무 기분이 좋다.

저번에 썼던 len == 1 과 >= 2로 if 문이 나뉜것은
음악 카테코리 추천 시 여러 값이 들어오면 split 해줘서 2개씩 조합하고 검색하여 랜덤으로 음악을 추천하고, 검색어가 하나면 해당 검색어의 음악 상위5개를 뽑아오는 로직이다.
유튜브 링크가 없는 음악도 있고, 검색이 안되는 카테고리도 있으며, 이미지가 없는 음악도 있어 하나하나 예외처리 해줬다.

지금은 except 문에 정확히 에러 핸들링을 해주지 않았지만 시간이 되면 어떤 에러에 대한 except 문인지 추가해야 할 것 같다.