1/ “AI, 인간처럼 경험을 통해 학습하고 장기 기억을 유지한다구?”
원래는 트랜스포머란 모델의 한계로
길이가 길어지면 계산 비용이 늘어나,
긴 문장 처리에는 한계가 있었어.

그러나 4일에 출시된 구글 리서치의 '타이탄스'는
AI모델이 실행되는 동안 오프라인 재훈련 없이
스스로 지식을 업데이트 하고 적용해!

2/ 이게 어떻게 가능한건데?
'타이탄스'는 인간 두뇌의 단기 기억과 장기 기억 분리를 모방해
서로 연결되어 있지만 구별되는 기억 모듈을 가져.

단순 저장 이해이던 기존 RNN의 고정된 메모리와 달리
딥 신경망(다층 퍼셉트론) 역할을 하는 새로운 장기 기억 모듈을 도입한거야.

3/ 기술의 핵심은 뭐야?
바로 '놀라움 지표'야

낮은 놀라움은 모델이 예상하던 정보라면 (예: '꽃'이 예상되는 맥락에 등장') 장기 기억에 저장하지 않아.
오직 현재 기억과 새로운 입력이 차이가 크다면 (예: 사업 계획서 사이 이어폰 사진) 장기 기억에 저장 하는거지.
가장 새롭고 문맥을 깨트리는 정보만 효율적으로 업데이트 하는거야.

4/ 이 기술이 들어오면 좋은점은 뭐야?
이젠 극도록 긴 문맥을 처리할 수 있는거지.
실제로, GPT-4와 같이 큰 모델보다 적은 매개변수로
기준 모델을 모두 넘어섰어

또 토큰 200만 개 이상 확장할 수 있는 능력도 보여줬대.

핵심은
“모든 기억을 단순히 저장”이 아니라
“필요한 것만 잘 꺼내 쓰는 능력”이 가장 중요해진거지.