트랜스포머 대체재 mamba?

Programming/Python

HTleaf 2024. 6. 21. 08:48

Mamba : 트랜스포머를 대체할 차세대 아키텍처의 등장

트랜스포머의 대항마라 볼 수 있는 Mamba 모델이 나왔습니다. Mamba는 State Space Model을 기반으로 만들어진 아키텍쳐라 볼 수 있습니다. 비록 아직은 미흡하긴 하지만 추후에 발전의 여지가 충분히

modulabs.co.kr

읽은 포스트 저장

포인트: 선택적 저장 (기존 트랜스포머는 모두 저장.. )으로 효율성을 높임

728x90