https://modulabs.co.kr/blog/introducing-mamba/
Mamba : 트랜스포머를 대체할 차세대 아키텍처의 등장
트랜스포머의 대항마라 볼 수 있는 Mamba 모델이 나왔습니다. Mamba는 State Space Model을 기반으로 만들어진 아키텍쳐라 볼 수 있습니다. 비록 아직은 미흡하긴 하지만 추후에 발전의 여지가 충분히
modulabs.co.kr
읽은 포스트 저장
포인트: 선택적 저장 (기존 트랜스포머는 모두 저장.. )으로 효율성을 높임
728x90
반응형
'Programming > Python' 카테고리의 다른 글
| GELU, Gaussian Error Linear Unit (0) | 2024.11.22 |
|---|---|
| [torch] 모델 저장하고 경고문없이 로드하기 (2) | 2024.11.14 |
| 240424강의자료 제안 (0) | 2024.04.24 |
| Generative Models(생성 모델), GAN (3) | 2024.02.27 |
| Recurrent Neural Networks(RNN), Transformer (1) | 2024.02.27 |
