wandb 1회 밋업: intro, Chris Van Pelt, FriendliAI

1회 서울 밋업에 대한 후기이자 내용 정리

 

 

 

 

 

 

도착하면 추첨을 통해 준다는 wandb 티셔츠(XL이 최대)와 간단한 식사를 준다. 

참가자가 예상보다 많아 선착순으로 제공되고 이후에 못받은 사람을 고려하여 피자와 콜라도 제공되었다.

 

 

 

 

 

 

아무래도 창업자 chris는 미국인이고 이번에 한국을 처음으로 방문했다는데..

번역기는 자기가 개발한 실시간 번역 AI를 쓰라고 홍보(?)하는 시간이 있었다.

근데 그 홍보를 영어로 함.. (대체 왜...인지는 몰?루?)

 

근데 그 영어로 된 홍보를 알아들을 사람은 솔직히 저 AI 번역기가 필요없음

 

-> 홍보가 좀 이상한듯?

 

 

그리고 wandb 모임이 일본에서는 매달 도쿄에서 열렸기에 일본인 직원들(아키라 등)도 3명 정도 있었다. 

 

 

 

 

 

 

네 그렇답니다. 근데 학생들도 있는듯 

 

 

 

 

 

 

wandb를 쓰면 확실히 모델 훈련에 편리한 점이 많긴하다..

 

 

자동 하이퍼파라미터 조정 기능인 Sweep도 제대로 써봐야지 해놓고 안써본게 아쉬운 수준..

 

 

 

 

 

 

일본은 기존부터 밋업 행사를 진행했으니 저런 사례가 들어갔고

유명한 OpenAI, 메타, 구글 nvidia, 허깅페이스가 다 쓴다고 어필한 것은 엄청나보이긴 하다.

 

 

 

 

 

 

한국어 LLM 모델 리더보드 호랑이를 만든 김기현 연구위원이 있기에 호랑이에 대한 이야기가 나왔다.

 

근데 이게 wandb랑 같이 만든 것인 줄은 몰랐음

 

 

 

 

 

 

 

 

 

 

백서도 제공하는데.. 평가 방법에 대한 내용만 한글이고 LLM 튜닝 방법 관련 양쪽 문서는 영어만 제공되는 듯 하다.

그리고 난 wandb 회원인데 따로 이름이랑 이메일 주소 입력해야해서 불편했던 것은 있다 😒

 

 

 

 

 

 

 

 

 

---

Weave, new frontend AI by Chris Van Pelt

 

 

 

첫 1회 한국 밋업이라 본사의 크리스 사장님이 직접 강의하는 시간이 있었다. 

당연히 영어로 진행! (영어 못하면 슬플 것이다.)

내용은 wandb에서 새로 개발(?)한 프론트엔드 AI 자동화 기능에 대한 것이다.

 

 

 

 

AI 서비스를 제공하는 스타트업 홈페이지를 weird하고 colorful하게 만들어줘! 의 결과이다.

 

이런식으로 JS와 CSS 디자인을 자동화된 것을 보여줌. tailwind와 관련이 있다.

만들고나서 부분적 수정을 자연어 입력 혹은 지정된 옵션 설정으로 가능하다.

 

 

 

 

 

 

흥미로웠던 점: 생성된 웹페이지가 잘 만들어졌는지 평가하는 방법의 예시를 보여주었다.

 

예를들어 웹페이지를 만들었으면 해당 웹페이지를 다크모드로 보았을 때 가시성이 그대로 잘 살아있는지

 

이런 부분을 평가한다.

 

AI로 만들었어도 이게 제대로 만들었는지에 대한 검증 과정을 위와 같은 wandb 평가기능으로

웹페이지의 요소별로 하나하나 평가가 가능하다고 한다. (근데.. 유료..겠지?)

 

 

 

 

근데 이 weave가 vercel에서 공개한 v0과 거의 똑같...다고 한다. 만들고보니까 vercel에서 v0만들어서 

"어 완전 똑같은걸 하고있었네!.." 라고 탄식했다고..

 

심지어 v0도 tailwind를 사용하여 JS와 CSS를 만들기 때문에 더더욱 똑같다.

v0도 그래서 나중엔 wandb랑 연결하겠다고 한다. (언제인진 몰?루?)

 

 

 

 

 

 

---

Friendli AI by 전병곤 CEO

 

Friendli AI는 샌프란시스코 실리콘밸리에 있는 스타트업이다.

그래서 샌프란 근황(LLM 관련) 이야기해줌

 

 

 

 

모델 파인튜닝하고 개발할때 FriendliAI쓰면 빠르고 효율적으로 할 수 있다는 내용이다. 물론 돈을 지불해야한다.

 

 

 

보면 vLLM보다 성능이 매우 안정적이고 시간이 덜 든다. 

비법에 대한 힌트는 결국 자체 혁신 기술, 자체 개발 라이브러리 사용, 최적화, iteration batch 등을 사용하였기 때문이라고 슬쩍 말을 해 주었는데...

 

 

unsloth도 그런 류이다. Unsloth은 무료 서비스도 있지만 유료도있는데 그 유료가 이거랑 비슷해보인다.

즉, 모델 훈련에서 복잡한 계산과정을 효율적으로 개선하고, 불필요한 부분을 줄여 효율성을 높였다는 말이랑 비슷해보임

 

 

 

 

wandb랑 연동된지 2개월정도밖에 안되었다고 한다.(4월달에 연동한 듯)

아키라랑 이것저것해서 연결했다고 함

 

 

 

쓰면 물론 좋겠지만.. unsloth이 무료라는 측면에서 접근성이 더 좋아서 과연 사람들이 많이 쓸까..? 에 대해선 의문

물론 샌프란에선 많이들 쓴다고 하는데.. 글쎄..?