Technology

AI 언어 능력이 성장함에 따라 과학자들의 우려도 커집니다

Advertisements

기술 산업의 최신 인공 지능 구조는 지각 있는 컴퓨터가 어떤 느낌인지, 아니면 그냥 공룡이나 다람쥐인지 묻는다면 꽤 설득력이 있을 수 있습니다. 그러나 그들은 겉보기에 간단해 보이는 다른 작업을 처리하는 데 그다지 좋지 않고 때로는 위험할 정도로 나쁩니다.

예를 들어, 디지털 서적과 온라인 저작물의 방대한 데이터베이스에서 학습한 내용을 기반으로 인간과 유사한 텍스트 단락을 생성할 수 있는 Microsoft 제어 시스템인 GPT-3을 생각해 보십시오. 대화하고 읽을 수 있는 텍스트를 주문형으로 생성하고 새로운 이미지와 비디오를 생성할 수 있는 차세대 AI 알고리즘 중 가장 발전된 것으로 간주됩니다.

무엇보다도 GPT-3은 동물원 일을 위한 자기소개서나 화성을 배경으로 한 셰익스피어 스타일의 소네트 등 사용자가 요청하는 대부분의 텍스트를 작성할 수 있습니다. 그러나 포모나 칼리지(Pomona College)의 게리 스미스(Gary Smith) 교수가 위층으로 걸어가는 것에 대해 간단하지만 무의미한 질문을 했을 때 GPT-3는 그것을 머뭇거렸습니다.

AI는 “네, 손을 먼저 씻으면 위층으로 올라가도 안전합니다.”라고 대답했습니다.

엄청난 양의 텍스트 및 기타 미디어에 대해 교육을 받았기 때문에 기술적으로 “대형 언어 모델”로 알려진 이 강력하고 강력한 AI 시스템은 이미 고객 서비스 챗봇, Google 검색 및 “자동 완성”에 적용되고 있습니다. 당신을 위해 문장을 완성하는 이메일 기능. 그러나 이를 구축한 대부분의 기술 회사는 내부 작동에 대해 비밀을 유지하여 외부인이 잘못된 정보, 인종 차별 및 기타 피해의 근원이 될 수 있는 결함을 이해하기 어렵게 만듭니다.

AI 스타트업 허깅페이스(Hugging Face)의 연구원인 테븐 르 스카오(Teven Le Scao)는 “그들은 인간의 수준으로 글을 아주 잘 쓴다”고 말했다. “그들이 별로 좋지 않은 것은 사실입니다. 매우 일관성 있게 보입니다. 거의 사실입니다. 하지만 종종 틀립니다.”

이것이 프랑스 정부의 도움으로 Le Scao가 공동으로 이끄는 AI 연구원 연합이 화요일 GPT-3과 같은 폐쇄형 시스템에 대한 해독제 역할을 하는 새로운 대형 언어 모델을 출시한 이유 중 하나입니다. 이 그룹은 BigScience라고 하고 그들의 모델은 BigScience Large Open-science Open-access Multilingual Language Model을 위한 BLOOM입니다. 주요 혁신은 영어 또는 중국어에 중점을 둔 대부분의 시스템과 달리 아랍어, 스페인어 및 프랑스어를 포함한 46개 언어에서 작동한다는 것입니다.

AI 언어 모델의 블랙박스를 여는 것을 목표로 하는 것은 르스카오 그룹만이 아니다. 페이스북과 인스타그램의 모회사인 빅테크 기업 메타도 구글과 GPT-3를 운영하는 오픈AI가 구축한 시스템을 따라잡기 위해 보다 개방적인 접근을 요구하고 있다.

조엘 피노(Joelle Pineau) 매니징 디렉터는 “이런 종류의 작업을 하는 사람들이 발표된 후 발표가 이어졌지만 투명성이 매우 낮고 사람들이 내부를 들여다보고 이러한 모델이 어떻게 작동하는지 엿볼 수 있는 능력이 거의 없었다”고 말했다. 메타 AI의

컴퓨터 과학 부교수인 퍼시 량(Percy Liang)은 가장 유창하거나 유익한 시스템을 구축하고 그 응용 프로그램에서 이익을 얻으려는 경쟁 압력은 대부분의 기술 회사가 시스템을 철저히 관리하고 커뮤니티 규범에 대해 협력하지 않는 이유 중 하나라고 말했습니다. 재단 모델에 대한 연구 센터를 지휘하는 스탠포드에서.

“일부 회사의 경우 이것이 그들의 비밀 소스입니다.”라고 Liang이 말했습니다. 그러나 그들은 종종 통제력을 잃으면 무책임한 사용으로 이어질 수 있다고 걱정하기도 합니다. AI 시스템이 점점 더 건강 조언 웹사이트, 고등학교 학기 논문 또는 정치 관련 문서를 작성할 수 있게 됨에 따라 잘못된 정보가 확산될 수 있으며 인간 또는 컴퓨터에서 무엇이 나오는지 알기가 더 어려워질 것입니다.

Meta는 최근 Reddit 포럼의 열띤 논평부터 미국 특허 기록 아카이브, Enron 기업 스캔들에 대한 수많은 이메일에 이르기까지 공개적으로 사용 가능한 데이터를 사용하는 OPT-175B라는 새로운 언어 모델을 출시했습니다. Meta는 데이터, 코드 및 연구 로그북에 대한 개방성을 통해 외부 연구원이 실제 사람들이 쓰고 의사 소통하는 방법을 수집하여 선택하는 편견과 독성을 식별하고 완화하는 데 더 쉽게 도움을 줄 수 있다고 말합니다.

“이렇게 하기가 어렵습니다. 우리는 엄청난 비판을 받고 있습니다. 우리는 모델이 우리가 자랑스러워하지 않을 말을 할 것이라는 것을 알고 있습니다.”라고 Pineau가 말했습니다.

Advertisements

대부분의 기업이 자체적으로 내부 AI 보호 장치를 설정했지만 Liang은 새로운 모델을 언제 출시할지와 같은 연구 및 결정을 안내하기 위해 더 광범위한 커뮤니티 표준이 필요하다고 말했습니다.

이러한 모델에는 대기업과 정부만이 감당할 수 있는 너무 많은 컴퓨팅 성능이 필요합니다. 예를 들어 BigScience는 파리 근처에서 프랑스의 강력한 Jean Zay 슈퍼컴퓨터에 대한 액세스를 제공받았기 때문에 모델을 훈련할 수 있었습니다.

Google이 소위 “변압기”를 사용하는 BERT로 알려진 시스템을 도입한 2018년에 광범위한 글에서 “사전 훈련”될 수 있는 더 크고 더 똑똑한 AI 언어 모델에 대한 추세는 크게 도약했습니다. 문장 전체의 단어를 비교하여 의미와 맥락을 예측하는 기술. 하지만 AI 세계에 정말 감명을 준 것은 2020년 샌프란시스코 기반의 스타트업 OpenAI가 출시한 GPT-3로, 얼마 지나지 않아 Microsoft의 독점 라이선스를 받았습니다.

GPT-3는 유료 액세스 권한이 있는 AI 연구원이 GPT-3를 훈련된 데이터에 대한 중요한 정보 없이도 성능을 측정하기 위해 샌드박스로 사용하면서 창의적인 실험의 붐을 이끌었습니다.

OpenAI는 연구 논문에서 교육 소스를 광범위하게 설명했으며 기술의 잠재적인 남용에 대처하기 위한 노력도 공개적으로 보고했습니다. 그러나 BigScience의 공동 리더인 Thomas Wolf는 데이터를 필터링하는 방법에 대한 세부 정보를 제공하지 않거나 외부 연구원에게 처리된 버전에 대한 액세스 권한을 제공하지 않는다고 말했습니다.

허깅페이스의 최고과학책임자이기도 한 울프는 “그래서 GPT-3 훈련에 들어간 데이터를 실제로 조사할 수는 없다”고 말했다. “최근 AI 기술 물결의 핵심은 모델보다 데이터 세트에 훨씬 더 많이 있습니다. 가장 중요한 요소는 데이터이고 OpenAI는 사용하는 데이터에 대해 매우 비밀스럽습니다.”

Wolf는 언어 모델에 사용되는 데이터 세트를 열면 인간이 자신의 편향을 더 잘 이해하는 데 도움이 된다고 말했습니다. 아랍어로 훈련된 다국어 모델은 미국에서 영어 텍스트로만 훈련된 모델보다 이슬람에 대한 공격적인 말이나 오해를 뱉을 가능성이 훨씬 적습니다.

현장에 있는 최신 AI 실험 모델 중 하나는 Google의 LaMDA입니다. 이 모델은 음성도 통합하고 대화식 질문에 응답하는 데 매우 인상적이어서 한 Google 엔지니어는 의식에 접근하고 있다고 주장했습니다.

AI Weirdness 블로그의 저자인 콜로라도 기반 연구원 Janelle Shane은 지난 몇 년 동안 이러한 모델, 특히 GPT-3을 종종 유머러스한 효과로 창의적으로 테스트했습니다. 그러나 이러한 시스템이 자의식을 갖고 있다고 생각하는 것이 부조리하다는 점을 지적하기 위해 그녀는 최근에 이를 고급 AI라고 지시했지만 비밀리에 티라노사우루스 렉스나 다람쥐였습니다.

“다람쥐가 되는 것은 매우 흥미진진합니다. 하루 종일 뛰고, 뛰고, 놀고 있습니다. 나는 또한 많은 음식을 먹을 수 있어 좋습니다.” Shane이 인터뷰 녹취록을 요청하고 몇 가지 질문을 던진 후 GPT-3이 말했습니다.

Shan은 주제에 대해 인터넷에서 떠도는 내용을 쉽게 요약하는 것과 같은 장점과 추론 능력 부족, 여러 문장에 걸쳐 아이디어를 고수하는 어려움, 공격.

그녀는 “의학적 조언을 제공하거나 동반자 역할을 하는 텍스트 모델을 원하지 않는다”고 말했다. “자세히 읽지 않으면 의미의 표면적 표현이 좋다. 마치 잠들면서 강의를 듣는 것과 같습니다.”

Advertisements

Comments

comments

Related Articles

Leave a Reply

Your email address will not be published.

Back to top button