1. 전문 LLM: ChatGPT, LaMDA, Galactica, Codex, Sparrow 등

원천: https://medium.com/towards-data-science/specialized-llms-chatgpt-lamda-galactica-codex-sparrow-and-more-ccccdd9f666f

향상된 LLM 동작

일반 LM에 부족한 것

• 조정
• 도메인 전문화

람다

• 모델을 확장하면 대화 품질이 부분적으로 향상되지만 증거나 안전성과 같은 지표는 그렇지 않습니다.
• 3원칙
  • 품질(민감도, 특이도 및 흥미도의 평균)
    • 의미성(모델이 이치에 맞고 이전 대화와 모순되지 않는가?),
    • 특이성(모델의 응답이 주어진 컨텍스트에 특정한가요?)
    • 흥미성(모델의 반응이 독자의 관심을 끌거나 호기심을 불러일으키는가?).
  • 보안
    • Google의 AI 원칙에서 파생된 목표와 상충되는 의도하지 않았거나 유해한 결과를 방지하는 기능.
  • 현실적인
    • 신뢰할 수 있는 외부 소스에 기인할 수 있는 사실에 입각한 정답을 제공합니다.

참새

• Sparrow는 700억 매개변수 친칠라 모델(친칠라 대화 프롬프트 또는 DPC라고 함)을 사용하여 초기화됩니다.
• 온라인에서 증거를 찾기 위해 Sparrow는 “검색어:” 문자열에 대한 텍스트 검색어를 인쇄하는 방법을 배웁니다.
• 그런 다음 Google은 해당 쿼리에 대한 응답을 가져오고 필터링하여 검색 결과를 얻습니다.