애플의 생셩형 AI, Apple Intelligence로 차세대 AI 경험 설계하기

이재은 - 아마존 웹 서비스

AI학과 전공이지만 생소한 용어들이 많았다.
일단 용어라도 열심히 받아적자는 생각에 받아적은 것(?)

LLM

foundation모델: 범용적인 인공지능 모델 (GPT), 특별히 잘하는 건 없지만 전반적으로 똑똑한 아이

창발성: 예측할수없는

호모지니제이션

임베딩

언어를 컴퓨터가이해할 수 있는 컴퓨터 수학적으로 바꿔 표시

언어의 관계를 3차원에서 표현 - 벡터 임베딩

파인튜닝

굉장히 크게 만들어진 사전학습 모델 LLM에 특별한 정보를 더 넣어 학습시키는 것

토큰

LLM이 이해할 수 있도록 만들어진 텍스트 단위 중 가장 기본적인 단위

RAG: 파인튜닝과 비슷하지만 다름, 추가학습을 시키진 않으나 답변할때 어떤 문서를 참고해서 답변(오픈북시험)

파인튜닝: 추가학습시키는것(열심히 공부한 학생)

비슷하면서도 다름

공통점: LLM성능향상, 특정도메인에 대해서 답을 내릴 수 있도록 도와줌

다른점: 모델조정방식이 다름, 레그는 모델자체는 건드리지 않음, 파인튜닝은 시간과 리소스가 엄청나게 들어감, 레그는 동적과정, 확장성 레그가 더 좋음, 파인튜닝은 빠르고 추가비용이 없으나 레그는 바뀜

LoRA

• apple intelligence 핵심 기술
• Low level Ranking
• 모델의 성능을 유지
• 파라미터 갯수 유지
• 딥러닝 최적화 기술
• 파인튜닝
• 치명적인 망각/간섭이 발생하지 않도록 함
• 사전학습된 가중치 모델과 새로 학습할 부분을 나눠서 전체 파인튜닝 성능을 올림

adaptor

PCC

우리는 이걸로 뭘 해야하는가?

개인적인 맥락을 바탕으로 답을 해줄 수 있다

서버없이 단말에서 처리하다보니 복잡한 내용을 처리할 순 없다

보안이나 속도, 데이터 환경은 최적화

하이브리드 아키텍쳐이기 때문에 복잡한 내용도 처리할 수 있다

구글의 바드나 챗지피티가 해줄 수 없는 차별점: 개인 기반!

Personal Context

지능형 알림, 리마인더

사용자 일정 시간을 분석하여 알아서 알람 맞춰주기

Apple Intelligence에 대비한 앱 준비하기

Kosir Klemen - Betashares

외국인이 설명해서 생각보다 해석이 쉽지 않았다.
물론 플리토가 열심히 실시간 번역을 해주었지만 음...엄...하면서 한 문단을 오래 끌 때마다 번역도 그만큼 늦어져서 조금 답답했다.
이것도 조금 어려워서 용어를 열심히 받아적었던 것 같다.
이론적인 설명도 하셨지만 너무 이론보다는 자신의 개인적인 경험 이야기를 중점적으로 하셨던 것 같다.

사용자 경험 향상

개인화 AI

siri를 보면 이전 메모리를 가져와 다시 정보제공하지않고도 꺼내와 말해줌

프라이빗 클라우드 컴퓨팅이란?

apple intelligence를 위해 특별히 만들어진 것

데이터가 저장되지 않는 것

기본적으로 모든 것이 메모리에 있으며 다른 사람이 검색할 수 있는 디스크나 다른 곳에 저장되지 않음

샌드박스 같은 것

사용자의 개인 기기만이 가능

보안이 좋다

18.2 버전에서 사용할 수 있을 것

Genmoji(젠모지) 사용 가능

sirikit을 사용한다면 별도 설정없이도 앱에서 siri를 사용할 수 있음

siri지원을 추가해라 좋다

siri지원을 추가하면 내 휴대폰이 어디에 있는지, 내 주식투자가 어떻게 진행되고 있는지 개인적인 질문을 해도 대답해줄 수 있어서 편리함

App Intent 지원 추가해라

이 강연을 다 듣고 느낀점은 영어공부 해야겠다...
영어 회화라도 연습해야하나 생각했다.

macOS 자동화의 A to Z

김수빈- 당근마켓 소프트웨어 엔지니어

launchd

• apple이 개발한 데몬 및 에이전트 관리 도구
• 운영체제 부팅과 함께 실행되어야 하는 프로세스
• 백그라운드에서 계속 실행되고 있어야하는 프로세스
• plist파일로 관리됨
• Caffeinate: 절전모드 방지를 위해 백그라운드에 유지, 이런 앱에 대한 macOS 내장 대안
• yabai, skhd

defaults

• macOS 시스템 설정 및 사용자 설정을 CLI command로 설정 가능
• appearance 다크모드 변경 시 한줄만 적으면 바뀜
• clock
• dock
• keyboard

applescript

• apple이 만든 automation을 위한 macOS 접근가능
• apple 파일을 열 수 있는 command
• 다른 프로그래밍 언어들과 다른 점은 자동화를 위한 언어인만큼 말하듯이 적기 때문에 코드의 표현력이 풍부하다
• 다른 사람들이 applescript를 어떻게 사용했는지 보려면 깃허브에 검색하면 다 나온다

결론

• GUI로는 금방 설정할 수 있지만, CLI와 스크립트로는 오래 걸림
• 나중의 시간을 아껴줄 수 있지만, 나중에 쓸 일이 없을 수도?
• 그래서 여유가 있고, 이미 반복적으로 하고 있는 일이 있다면 그것부터 차근차근 자동화해나가기