virtual-insanity
매크로 가격 공시 펀더 테크 섹터 뉴스 볼트 채권
← 뒤로

x.com

evergreen literature 2026-03-12

@vitahyoso (70대자유인) 🔥와 ~~~~ 마이크로소프트가 노트북 하나로 100B AI 돌리는 ‘불가능’을 현실로 만들었다.

“Microsoft가 단일 CPU에서 100B(1,000억) 파라미터 LLM을 돌리는 inference framework를 오픈소스했다.

이름은 BitNet이다. 그리고 ‘불가능하다’고 여겨졌던 일을 실제로 해냈다.

GPU 필요 없음. 클라우드 필요 없음. 1만 달러짜리 고가 하드웨어도 필요 없음. 그냥 당신의 노트북 하나로 1,000억 파라미터 모델을 사람이 읽는 속도로 돌릴 수 있다.

작동 원리: 기존 모든 LLM은 가중치를 32비트나 16비트 float으로 저장한다. BitNet은 1.58비트만 쓴다.

가중치가 삼진법(ternary)이다. -1, 0, +1. 그게 전부. float도 없고, 복잡한 행렬 연산도 없다. CPU가 원래 잘하는 순수 정수 연산만 사용한다.

결과:

  • 100B 모델이 단일 CPU에서 5~7 tokens/sec로 돌아감 (사람 읽기 속도)

  • x86 CPU에서 llama.cpp 대비 2.37~6.17배 빠름

  • x86 CPU에서 에너지 소비 82% 감소

  • ARM (맥북)에서 1.37~5.07배 속도 향상

  • 메모리 사용량 full-precision 대비 16~32배 감소

가장 미친 점:

정확도가 거의 떨어지지 않는다.

그들의 플래그십 모델 BitNet b1.58 2B4T는 4조 토큰으로 학습됐고, 같은 크기의 full-precision 모델과 벤치마크에서 경쟁력 있는 성능을 보인다. 양자화가 품질을 망가뜨린 게 아니라, 그냥 불필요한 부풀림을 제거한 것뿐이다.

이게 실제로 의미하는 것:

  • 완전 오프라인 AI 실행 → 데이터가 기계 밖으로 절대 안 나감

  • 스마트폰, IoT 기기, 엣지 하드웨어에 LLM 배포 가능

  • 클라우드 API 비용 완전 사라짐

  • 인터넷이 불안정한 지역에서도 AI 사용 가능

ARM과 x86 모두 지원. 맥북, 리눅스, 윈도우 다 됨.

GitHub 스타 27.4K, 포크 2.2K. Microsoft Research 제작.

100% 오픈소스, MIT 라이선스.

[[260312_llm_xcom_9579_b3d64a_ref|링크 참조]]

관련 노트

  • [[260618_한화시스템_시장]]
  • [[260324_Intel_기술]]
  • [[260323_대덕전자]]
  • [[260327_sapiens_앤스로픽 CEO 다리오 아모데이 인터뷰 AGI로 벌어들일 수조 달러의 매출, Extremely fast,]]
  • [[260312_Lumentum_기술]]
  • [[260317_sapiens_260310110254734nx]]
  • [[_daily_147]]
  • [[260319_상위권_체인지와_금리유동성_민감도_변화]]
  • [[260324_Broadcom_기술]]
  • [[260327_AMD_시장]]
  • [[260324_ASML_시장]]
  • [[260319_17111_카타르_한국과_천궁-II_구매_협상_급물살중동_사태_여]]
  • [[260328_Lumentum_시장]]
  • [[260323_AMD_기술]]
  • [[한화솔루션-펀더멘탈]]
  • [[260311_NVDA]]
  • [[실리콘포토닉스-CPO-테마]]
  • [[260321_dline1secret_2026년 세계경기침체오나]]
  • [[AMD-펀더멘탈]]
  • [[260331_17302_NVIDIA-Marvell_NVLink_Fusion_통]]
  • [[260312_삼성전자_경쟁]]
  • [[260605_Tesla_시장]]
  • [[260321_TSMC.dup-200atomic-b01af37f]]
  • [[260323_공급망_노드별_취약성_점검_프레임]]
  • [[260318_삼성전자_리스크]]
  • [[260317_SK하이닉스_기술]]
  • [[MOC-NVDA]]
  • [[260325_17197_NVIDIA_CEO_젠슨_황_인터뷰_중_-_Lex_Fr]]
  • [[MOC-산업분석]]
  • [[260612_현대제철-반도체팹-철강수요-연결검증]]
  • [[260321_TSMC_기술]]
  • [[260322_AMD_기술]]
  • [[260305_analysis_좋은_답변_고마워요_그렇다면_광통신이_더욱_활성화되면_전력_소모량은_줄어_4446a6]]
  • [[260317_황대진_전달-일일-317-화-마감정리-DS증권-황대진]]
  • [[260324_Broadcom_시장]]
  • [[260327_TSMC_실적]]
  • [[260327_pop_상상인증권_리서치_상상인_반도체IT_정민규_326목_-_오늘도_6시_54_767d30]]
  • [[260321_TSMC]]
  • [[260325_17206_NVIDIA_CEO_젠슨_황_인터뷰_중_-_Lex_Fr]]
  • [[260331_17297_네비우스Nebius_핀란드_라펜란타에_310MW_규모_]]
  • [[260316_NVIDIA_리스크]]
  • [[260328_ASML_기술]]
  • [[260710_SK하이닉스_시장]] -- AI인프라수요
  • [[260829_Coherent_기술]] -- AI인프라부품
  • [[sedaily_stock_investment_85269]] -- AI인프라공통
  • [[260706_NVIDIA_시장]] -- AI인프라공통
  • [[260716_TSMC_기술]] -- AI반도체기반
  • [[Cloudflare, Inc.-펀더멘탈]] -- AI인프라기업
  • [[260329_삼성전자_시장]] -- 온디바이스AI
  • [[260312_16983_미중과_과학기술_격차_줄인다K문샷_확정]]
  • [[CPO-실리콘포토닉스-기술진화-리서치]] -- AI인프라배경
  • [[260622_ServiceNow, Inc._시장]] -- AI인프라공통
  • [[260311_전기전자_1]] -- AI인프라
  • [[Intel-프로필]] -- CPU추론인프라
  • [[250624_analysis_httpsxcomAlisvolatprop12status202_5]] -- AI서버인프라
  • [[HANAchina_62754]] -- AI인프라수요
  • [[260305_x_twitter_httpsxcomrklb_investstatus2029415]] -- 동일출처AI인프라
  • [[260629_Micron Technology_시장]] -- AI반도체인프라
  • [[260625_Broadcom_시장]]
  • [[260317_삼성전자]] -- AI인프라공통
  • [[260323_삼성전자_시장]] -- AI인프라공통
  • [[260702_hypothesis_S10_반도체기술_AI반도체_수요_지속성_vs_피크아웃_리스크_판단]] -- 반도체기술가설
  • [[260321_NVIDIA_기술]] -- AI인프라연결
  • [[260311_llm_오픈클로의_개발자_44d01a_ref]] -- 동일주제참조
  • [[TSMC-프로필]]
  • [[260321_AMD_시장]] -- 인공지능인프라
  • [[AMD-프로필]] -- AI서버수요
  • [[ASML-프로필]] -- AI칩공급망
  • [[260604_한화에어로스페이스_기술]] -- AI인프라태그
  • [[Meta Platforms, Inc.-펀더멘탈]] -- 대형AI기업
  • [[260321_sapiens_OFC 2026 광학이 중요해지고 있는 이유들, 태풍의 눈에 있는 두 가지 기업 분석]] -- 광학AI인프라
  • [[260311_한화투자증권_c744c4]]
  • [[NVIDIA-프로필]]
  • [[260626_NVIDIA_시장]] -- 엔비디아수요논리
  • [[TheChipLetter_Arm-the-UK-and-Apple]] -- 서버전력인프라
  • [[260625_삼성전자_시장]] -- 삼성인공지능인프라
  • [[260324_상상인증권_리서치_반도체산업_OFC_2026_참관후기_빛과_반도체_상상인증권_IT반도체_정민규_AI_데이터센]] -- 자료센터인프라
  • [[260309_llm_wwwinstagramcom_41633d]] -- 엘엘엠공통
  • [[260313_llm_텔레그램_500_재미있게_사용하는_꿀팁_모음_by_미주인_2026]]
  • [[260222_analysis_HDD도_부족하다_고용량_제품_가격_급등_기사_httpsz_7]]
  • [[Visa Inc.-펀더멘탈]]
  • [[260312_llm_httpsxcomDeepDive_KRst]]
  • [[260324_pop_서울경제_산업뉴스_신현송_막중한_책임_물가성장금융안정_균형_찾을_것_ht_cebd27]]
  • [[260325_insights_httpsxcomhoneyjamtesla_2]]
  • [[260313_analysis_양밍Yang_Ming_13000TEU급_]]
  • [[Amazon.com, Inc.-펀더멘탈]]
  • [[260327_llm_xcom_61e915]]
  • [[260310_thesis_ideas_httpsxcommin_anko38status20312527]]
  • [[260323_참조_260323_pop_롱숏삼천당제약_6cf829]]
  • [[260324_llm_529769_ref_2]]
  • [[260312_정성_리포트를_정량_데이터로_변환하는_LLM_방법론]]
  • [[CreditMacroResearch_전달-Morning-Credit-Earnings-resilience-and-AI-capex-offset-geopolitical]]
  • [[260226_llm_wwwyoutubecom_bed57d]]
  • [[260310_llm_xcom_71cc9c]]
  • [[260310_thesis_xcom_f83ebb]]