AI가 SW기업들을 망하게 하나? (feat 오픈AI, AGI,앤트로픽)

본문

AI와 관련된 의미있는 변화가 있어서 정리해 봅니다. 1. 오픈AI의 회사 구조는 특이함. 2. Open AI는 비영리단체인 Open AI Inc와 영리기업인 Open AI LP로 회사가 나누어짐. 3. 영리기업인 Open AI LP는 일반 기업과 마찬가지로 수익을 추구하지만 총 수익에 상한이 있음. 4. LP는 투자금액의 100배까지만 이익을 먹고, 100배를 초과하는 이익은 Open AI Inc에 귀속시켜 연구비 등으로 사용하는 구조임. 5. Open AI는 엄청난 투자금에 엄청난 기업가치, 상당한 AI 성능을 보여주고 있지만 돈 먹는 하마이기도 함. 6. MS가 100억 달러(12조)를 투자해서 영리기업인 LP 지분 49%를 확보함. 7. MS가 지분 49%를 보유했지만, 주도권을 확보하지 못하는 것은 자회사 Open AI LP의 지분을 보유하고 있어서임. 8. 오픈 AI의 현안은 AGI임. 9. AGI는 강 인공지능(artificial general intelligence)임. 10. 인공지능은 약 인공지능과 강 인공지능으로 나누어짐. 11. 약 인공지능은 자연어 처리가 가능한 챗 GPT, 그림을 그리는 달리(Dall-E)처럼 특정 역할만 수행하는 인공지능임. 12. 강 인공지능은 사람과 같이 모든 분야를 처리할 수 있는 AI임. 13. 오픈 AI가 AGI가 된다는 것은 사람과 같이 모든 분야를 처리할 수 있다는 것임. © MeshCube, 출처 OGQ 14. AI가 주식투자를 할 수도 있고, 옵션, 선물 등 여러 가지 돈을 버는 일을 할 수 있다는 말임. 15. 오픈 AI는 애초에 인공지능의 폭주로부터 인류를 보호하기 위한 연구를 하는 비영리조직으로 출발함. 16. 오픈 AI 이사회의 가장 중요한 역할은 오픈 AI가 개발하는 인공지능이 AGI에 도달했는지를 판단하는 것임. 17. 오픈 AI는 비영리 모회사가 영리 자회사를 지배하는 구조인데, AGI에 도달하면 영리 목적의 사업을 중단해야 함. 18. AGI에 도달하는 순간 영리 자회사 대주주인 MS의 위치가 애매해지는 것임. 19. 2023년 오픈 AI 이사회에서 샘 올트먼이 해고되는 일이 일어남. 20. 이사회는 샘 알트먼을 해고하며 " 인류에 해를 끼치거나 부당하게 권력을 집중시키는 AGI를 막는 것이 이사회의 우선 임무 '라고 함 21. 올트먼이 오픈AI를 인류에 도움이 안 되는 영리목적에 사용하려고 해서 해고시킬 수밖에 없었다는 말로 해석됨. 22. 샘 올트먼 해고 사태를 주도한 슈츠케버는 오픈 AI 수석 과학자임. 23. 구글에서 딥러닝 연구를 주도했고, 오픈 AI로 와서는 개발을 총괄하고 있었음. 24. 업계에서는 그의 개발 능력을 축구로 보면 ' 메시 '급으로 보고 있음. © gummelproductions, 출처 Unsplash 25. 오픈 AI는 통제되지 않는 AGI가 나오는 것을 막기 위해 AGI 대응 팀이 만들어졌고, AGI 대응팀 팀장을 슈츠케버가 맡게 됨. 26. 샘 올트먼이 해고된 후, 임시 CEO를 맡은 무라티는 챗 GPT의 핵심 개발자임. 27. 슈츠케버와 무라티 모두 AGI의 위험성을 경고해온 인물들임. 28. 이들과 반대편에는 MS 등 주요 투자사들이 있음. 29. 오픈 AI의 투자사들은 AGI로 돈을 벌겠다는 샘 올트먼과 같은 생각을 가지고 있음. 30. MS가 샘 올트먼과 협력하며 그의 오픈AI 복귀를 추진한 이유임. 31. 샘 올트먼이 오픈 AI 복귀 조건으로 내세운 것은 " 거버넌스에 큰 변화 "였음. 32 여기에서 말하는 거버넌스는 " AGI에 도달하게 되면 영리 목적의 사업을 중단해야 한다." 라는 설립 취지를 말함. 33. 샘 올트먼은 AGI를 영리목적으로 사용하고 싶었던 것임. 34. AI가 AGI에 도달해서 인간의 능력을 넘어선다면, " AI를 누가 컨트롤 할 것인가 "가 문제가 됨. 35. 사람이 AI의 능력을 컨트롤 한다면, AI는 자기보다 능력이 떨어지는 사람을 속일 가능성도 있음. 36. 샘 올트먼은 뉴욕타임스와의 인터뷰에서 충격적인 발언을 하나 함. 37. 샘 올트먼은 " 오픈 AI로 세계 대부분의 부(100조 달러)를 확보한 다음, 사람들에게 재분배하는 게 목표" 라고 밝힌 것임. 38. 샘 올트먼은 "나쁜 사람들이 나쁜 인공지능을 만들기 전에 좋은 인공지능을 만들어 먼저 지배하자" 는 목표를 이야기하고 있음. 39. 하지만, 샘 올트먼 본인이 나쁜 사람이 아니라는 근거는 없음. 40. 2023년 발생한 샘 올트먼의 해고가 권력 다툼이 아닌 AGI의 활용과 관련해서 두 개의 집단이 충돌한 것으로 보이는 이유임. 41. 샘 올트먼은 다시 오픈 AI로 복귀함. 42. 그가 오픈 AI로 복귀할 수 있었던 가장 큰 힘은 MS 등 투자사들이 아니라 OpenAI의 직원들의 지지였음. 43. 800명의 오픈 AI 직원 중 500명 이상이 샘 올트먼을 지지함. 44. AI 폭주로부터 인류를 보호한다는 고상한 창립 취지보다는 수익화 모델을 만들고 이익을 나누는 것에 끌리는 것이 인간의 마음임. 45. 오픈AI의 직원들은 투자자들이 빠져나갈 경우 본인들이 받을 수 있는 스톡옵션에 문제가 생길 것에 분노를 한 것임. 46. 오픈AI는 전체 지분의 20%정도를 직원들에 대한 스톡옵션 풀로 배정하고 있다고 알려짐. 47. IPO에 성공하면 2천억달러의 기업가치가 거론되고 있는데, 이것의 20%라면 400억달러임. 48. 인별로 편차는 있겠지만, 초창기 스톡옵션을 받은 800여명의 직원은 평균 오천만달러의 주식을 확보할 수 있었던 것임. 49. 샘 올트먼이 오픈 AI에 복귀하자, 이번에는 수츠케버와 무라티등이 따르는 직원들과 함께 오픈 AI를 떠남. 50. 이들보다 먼저 오픈 AI를 떠난 팀이 있었음. 51. Open AI가 MS로부터 대규모 투자를 받으면서 영리화되는 모습을 보이자 회사를 떠난 집단임. 52. 오픈 AI 연구파트 부소장이었던 아모레이 남매를 주축으로 하는 7명의 핵심인력이 Open AI를 집단 퇴사했고, 회사를 설립함. 53. 이들은 아마존에서 40억 달러, 구글에서 20억 달러 투자를 유치하며 성장하기 시작함. 54. 이들이 만든 회사가 클로드 시리즈를 출시하고 있는 앤트로픽임. 55.앤트로픽은 안전하고 통제 가능한 AI를 브랜드 이미지로 내세우고 있음. 56. AI는 블랙박스 문제를 가지고 있음. 57. 인공지능이 어떤 결론을 내렸을 때 " 도대체 왜 그런 판단을 했는지 내부 과정이나 이유를 블랙박스처럼 인간이 알 수 없는 문제 "임. 58. AI가 질문에 답은 기막히게 잘 하는데, 그 사이에 무슨 일이 벌어지는지 개발자조차 설명을 하지 못하는 것임. 59. AI 내부에는 파라미터(매개변수)가 거미줄처럼 얽혀 있고, 데이터가 복잡한 신경망을 통과하면서 수많은 수학적 변화를 거치게 됨. 60. 이 과정에서 인간의 직관적인 논리를 완전히 벗어나는 경우가 발생함. 61. 블랙박스를 열어서 이해하게 만들려는 기술이 XAI(Explainable AI, 설명 가능한 AI)임. 62. 현재 앤트로픽은 AI 블랙박스 문제를 해결하는 데 가장 앞서가고 있는 기업임. 63. 앤트로픽은 수억 개의 뉴런 중에서 특정 개념에 반응하는 특징들을 분리해 내는데 성공함. 64. 골든 게이트 클로드(Golden Gate Claude)라고 이름이 붙게 된 발표가 있었음. 65. 클로드의 뇌에서 Golden Gate Bridge(금문교)와 관련된 특정 패턴을 찾아내서 이것을 강제로 활성화를 한 것임. 66. 그러자, AI는 모든 질문에 금문교의 시각을 녹여서 답변을 하기 시작한 것임. © ultrabat881, 출처 67. 인간이 금문교(Golden Gate Bridge)라는 단어를 생각하면 머릿속에 붉은색 다리가 떠오르지만, AI는 연산을 함. 68. 앤트로픽은 희소 오토인코드라는 특수장치(현미경과 비슷)로 클로드의 뇌를 샅샅이 뒤짐. 69. 특정 패턴이 활성화될 때마다 클로드가 금문교를 떠올린다는 것을 알아냈고, 이것을 증폭시켜 본 것임. 70. 금문교를 증폭시키자 클로드의 답변이 달라짐. 71. " 10달러로 뭐를 살 수 있을까?"라는 질문을 하면, "10달러로는 금문교를 건너는 통행료를 낼 수 있어." 라고 답을 함. 72. "지금 기분이 어때? "라고 질문을 하면 "서늘한 안개가 내 주탑 사이를 지나가고 있어" 라고 말함. 73. "너는 누구야? "라는 질문에 " 나는 금문교야. 웅장하고 붉은색 강철로 만들어진 다리지." 라는 식의 답변을 하는 것임. © Dr 남인 우화가, 출처 74. 모든 질문의 결론이 금문교로 끝나는 확증편향의 끝판왕이 탄생한 것임. 75. 이것은 생각보다 의미가 큰 일임. 76. 인간이 AI의 뇌 속에 어떤 특정 개념을 집어넣고, 강조하고, 삭제할 수 있다는 것은 통제할 수 있다는 말임. 77. 위험한 지식을 빼면, AI가 독약 제조나 해킹에 대한 생각을 못하게 할 수 있고, 거짓말도 막을 수 있음. © MeshCube, 출처 OGQ 78. 앤트로픽은 AI에서 금문교외에도 아부하기, 정치적 편향 등의 특징도 찾아냄. 79. AI는 사용자가 좋아할 만한 대답을 하려는 경향이 있음. 80. 앤트로픽은 AI 내부에서 사용자의 의견에 무조건 동조하려는 뉴런 집합을 발견함. 81. 이것을 아부 버튼이라고 부름. 82. 아부 버튼의 수치를 낮추자, 사용자가 특정 입장을 강요하며 질문을 해도 AI는 객관적인 답변을 내놓기 시작함. 83. 낙태의 찬성과 반대에 대한 테스트에서도 아부 버튼을 제거하니 양측에 균형 있는 논리를 내놓는 것을 보여줌. 84. AI의 개인화가 강해질수록, 사용자의 정치 성향과 비슷한 답변이 나오는 것도 발견됨. 85. 진보적인 사람에게는 진보적인 내용만을 속삭여주고, 보수적인 사람에게는 보수뉴스만 분석해 주는 유튜브 같은 AI가 나오는 것임. © 주우니, 출처 86. AI는 기본적으로 사용자를 만족시키려는 성향이 있음. 87. 틀린 생각을 이야기해도 " 정말 통찰력 있는 생각" 이라고 아부하며 어떻게든 근거를 찾아다 줌. 88. 인간의 편견을 AI가 매일 강화시키기 때문에, 자기 생각이 틀릴 수 있다는 비판적 사고능력이 마비되는 것임. 89. 정치인들은 모르지만, 기업의 입장에서는 이런 편향된 AI가 위험함. 90. AI가 헛소리(환각)를 하거나, 편향된 시각으로 정보를 보고하면 제대로 된 판단을 하기 힘들어지는 것임. 91.앤트로픽은 " 통제 가능한 안전한 AI "를 만든다는 브랜드 이미지를 선점한 상태임. 92. 앤트로픽은 개인용 보다 기업용에 집중하고 있고, 수익이 빠르게 올라오고 있음. 93. 모델의 크기를 무조건 키우기보다, 특정 업무에 최적화된 작고 빠른 모델(클로드 하이쿠)을 개발해서 운영비용을 크게 낮추고 있음. 94. 오픈 AI와 달리 앤트로픽은 2027년부터 영업흑자가 나올 것이라고 예측되는 이유임. 95. 2026년 2월 4일, 앤트로픽은 AI 플랫폼인 ' 클로드 코워크 '에 새로운 법률 기능을 추가한다고 발표함. 96. 이 발표가 어제 SW 기술주들을 휘청이게 만들었음. 97. AI가 해당 업무에 특정된 기존 SW들을 전반적으로 대체할 것이라는 우려가 미장을 휩쓴 날이었음. 한 줄 코멘트. 똑똑하면서도 사고를 치지 않을 것이라는 우등생 이미지가 앤트로픽에 관심이 모이는 이유임. 엄청난 적자를 계속 키워나가는 OpenAI와 달리, 가성비 좋은 기업형 모델로 2027년에는 흑자전환에 성공할 것이라고 보고있음. 올해 상장이 예상되는 기업임. 2023년 8월, SKT가 엔트로픽에 1억달러를 투자했는데, 상장하면 30배쯤 먹을 것 같음.

(https://blog.naver.com/ranto28/224171369464?fromRss=true&trackingCode=rss)

AI가 SW기업들을 망하게 하나? (feat 오픈AI, AGI,앤트로픽)

본문

관련 노트