https://x.com/vitahyoso/status/203167091

출처: https://x.com/vitahyoso/status/2031670916489376103?s=20

원문 발췌

🔥와 ~~~~ 마이크로소프트가 노트북 하나로 100B AI 돌리는 ‘불가능’을 현실로 만들었다.

“Microsoft가 단일 CPU에서 100B(1,000억) 파라미터 LLM을 돌리는 inference framework를 오픈소스했다.

이름은 BitNet이다. 그리고 ‘불가능하다’고 여겨졌던 일을 실제로 해냈다.

GPU 필요 없음. 클라우드 필요 없음. 1만 달러짜리 고가 하드웨어도 필요 없음. 그냥 당신의 노트북 하나로 1,000억 파라미터 모델을 사람이 읽는 속도로 돌릴 수 있다.

작동 원리: 기존 모든 LLM은 가중치를 32비트나 16비트 float으로 저장한다. BitNet은 1.58비트만 쓴다.

가중치가 삼진법(ternary)이다. -1, 0, +1. 그게 전부. float도 없고, 복잡한 행렬 연산도 없다. CPU가 원래 잘하는 순수 정수 연산만 사용한다.

결과:

100B 모델이 단일 CPU에서 5~7 tokens/sec로 돌아감 (사람 읽기 속도)
x86 CPU에서 llama.cpp 대비 2.37~6.17배 빠름
x86 CPU에서 에너지 소비 82% 감소
ARM (맥북)에서 1.37~5.07배 속도 향상
메모리 사용량 full-precision 대비 16~32배 감소

가장 미친 점:

정확도가 거의 떨어지지 않는다.

그들의 플래그십 모델 BitNet b1.58 2B4T는 4조 토큰으로 학습됐고, 같은 크기의 full-precision 모델과 벤치마크에서 경쟁력 있는 성능을 보인다. 양자화가 품질을 망가뜨린 게 아니라, 그냥 불필요한 부풀림을 제거한 것뿐이다.

이게 실제로 의미하는 것:

완전 오프라인 AI 실행 → 데이터가 기계 밖으로 절대 안 나감
스마트폰, IoT 기기, 엣지 하드웨어에 LLM 배포 가능
클라우드 API 비용 완전 사라짐
인터넷이 불안정한 지역에서도 AI 사용 가능

ARM과 x86 모두 지원. 맥북, 리눅스, 윈도우 다 됨.

GitHub 스타 27.4K, 포크 2.2K. Microsoft Research 제작.

100% 오픈소스, MIT 라이선스.

관련 노트

[[260325_insights_xcom_14db1b_1]]
[[260306_생성형_AI_도입생산성_지표기업_설문_요약]]
[[260222_analysis_HDD도_부족하다_고용량_제품_가격_급등_기사_httpsz_7]]
[[260324_llm_529769_ref_1]]
[[260315_analysis_고유가_해양플랜트_v35_최종_15p_밸류체인슈퍼사이클기업분_1]]
[[260306_미중_고위회담_전후_전략적수출_규제_이슈]] -- 수출규제맥락
[[260225_analysis_httpsxcomPhotonCapstatus202644681_1]] -- AI서버전력
[[260324_NVIDIA_시장]] -- AI인프라공통
[[260324_llm_httpsxcomlucas_flatwhi_47868_2]]
[[260316_llm_xcom_bf4582]]
[[260310_thesis_ideas_httpsxcommin_anko38status20312527]]
[[260226_llm_클로드코드한테]]
[[260325_analysis_Venture_Global_CEO_Mik]]
[[250624_analysis_바이코_4Q25_실적_정리_800V_DC_아키텍처용_수직전력전달_124]]
[[260308_llm_httpsxcomv81093933status203043401]] -- 오픈코드 개발자 작업 과정
[[프로그래머가_곧_시스템_관리자였던_이유]]
[[260322_report_The_Hormuz_energy_shoc]] -- AI 인프라 관련
[[250624_analysis_바이코_4Q25_실적_정리_800V_DC_아키텍처용_수직전력전달_86]] -- AI 전력 공급망
[[260313_39898_httpsthegurucokrmobilearticleh]] -- xAI 관련 기업 분석
[[260313_39887_젠딩Zhen_Ding_2026년_자본_지출_대폭_상향_]] -- AI 인프라 및 TSMC 관련
[[260325_report_Anthropic_Economic_Ind]] -- AI 인프라 투자
[[260305_llm_xcom_5eeb_5970b7_ref]] -- LLM 인프라 기반
[[250624_analysis_바이코_4Q25_실적_정리_800V_DC_아키텍처용_수직전력전달_16]] -- AI 인프라 핵심 주체
[[260223_llm_구글_OpenClaw_연동을_이유로_Google_AI_ProUltra_유_fe1b70]] -- LLM 연동 및 구글 AI
[[_daily_146]] -- 단일 CPU 100B AI 실행
[[260604_NVIDIA_실적]] -- 동일기업 실적 분석
[[260312_llm_httpswwwthreadscomsang]] -- AI 인프라 기업
[[260324_articles_미국의_이란_발전소_공격_보류_여파로_급_2]] -- 미국의 이란 발전소 공격 보류 여파
[[260316_articles_financenavercom_cbf8f7]] -- 동일 기업 및 AI 인프라 분석
[[260323_articles_nnewsnavercom_9d6252]] -- AI 인프라 및 마이크로소프트 분석
[[260325_insights_xcom_e3c2be]] -- LLM/클로드코드
[[260316_삼성전자_기술]] -- 반도체 공급망
[[260318_llm_httpsxcomromantic_codi]] -- LLM 및 에이전트
[[thetransport_6308]] -- AI 인프라 관련
[[260323_report_대덕전자_기업분석_대신증권323]] -- 동일기업분석
[[260331_17289_20260331_095339]] -- AI 인프라 및 대만 관련
[[250624_analysis_httpsxcomAlisvolatprop12status202_45]] -- AI 인프라
[[260611_AMD_시장]] -- AI 전력 시장 전망
[[260323_analysis_엘리엇이_시놉시스_지분을_대폭_확보했다_WSJ_링크_포함_d62698]] -- 시놉시스 지분 투자
[[260327_TSMC_경쟁]] -- 반도체 공급망 경쟁
[[250624_analysis_바이코_4Q25_실적_정리_800V_DC_아키텍처용_수직전력전달_118]] -- AI 인프라 단일 CPU 실행
[[260322_mentality_성공에_더_유리한_마음가짐은_상태_지향state_oriented_이]] -- 마음가짐과 상태 지향
[[260226_llm_wwwyoutubecom_bed57d]] -- LLM 및 AI 인프라 분석
[[260318_llm_wwwthreadscom_0fb65f]] -- AI 인프라 및 단일 CPU 성능
[[260312_3479_httpsnnewsnavercommnewsarticle]] -- 트럼프-AI 인프라-기업분석
[[260324_report_삼성증권_유승민_분기전망_Global_A]] -- AI 인프라 및 기업분석
[[260226_llm_httpswwwyoutubecomwatchv6MBq1pas]] -- AI 인프라
[[250624_analysis_httpsxcomAlisvolatprop12status202_99]] -- 동일기업분석
[[260308_llm_xcom_4d6a_1d00b0_ref]] -- AI 에이전트 관리 도구
[[260318_llm_httpswwwlinkedincompos]] -- AI 인프라 및 기업 분석
[[260325_insights_xcom_14db1b_2]] -- AI 관련 인사이트
[[260316_현_시점의_정보는_불확실하므로_검증_중심_접근_필요]] -- 정보 검증 전략
[[260325_2230_진실은_인용한_논문이_25년_4월자_논문]] -- AI 시장 전망
[[260311_analysis_NVIDIA_차세대_AI_컴퓨팅_랙은_칩]] -- AI 인프라 핵심 키워드
[[260312_llm_httpsxcomvitahyosostatus203167091]] -- 원본 노트 직접 연결
[[260329_analysis_터보퀀트는_KV_캐시를_최소_6배까지_줄]] -- LLM 및 KV 캐시 최적화
[[260324_thesis_ideas_KAST_카드로_Claude_구독시_최대]] -- Claude 구독 및 캐시백
[[260326_llm_httpswwwthreadscomchoi]] -- LLM 및 Claude 코드
[[260324_insights_인플레이션이_온다_53748e_2]] -- AI 인프라 및 기업 분석
[[260320_thesis_ideas_httpsxcomgreatjabezsta]] -- AI 인프라 및 기업 분석
[[260328_analysis_반도체_공부_많이_된다_오늘_자기_전에_]] -- 반도체공급망 및 미국 패권
[[260313_39889_모건스탠리_AVC_목표_주가_2300대만달러로_대폭_상]] -- AI 인프라 및 GPU
[[260322_report_최종_발행본_산업_작동원리_가이드_추가_]] -- AI 인프라 및 GPU
[[260324_llm_httpsxcomlucas_flatwhi_2]] -- Claude 코드 및 MCP 도구
[[260305_analysis_转发自_에테르의_일본미국_리서치_Citi_브로드컴_AVGO_리_1]] -- AI 인프라 및 시장 분석
[[260324_llm_httpsxcomlucas_flatwhi_47868_1]] -- Claude 코드 및 MCP 도구
[[260324_llm_httpsxcomo_girraffesta_1]] -- AI 인프라 및 LLM 실행
[[260325_thesis_ideas_말_되네요_그_많은_지상군_이동시켜놓고_]] -- AI 인프라 및 미국 패권
[[260225_analysis_httpsxcomPhotonCapstatus202644681_2]] -- AI 인프라 및 반도체 공급망
[[260320_llm_httpsxcombelcore922sta]] -- AI 인프라 분석
[[260325_insights_xcom_e3c2be_2]] -- AI 인프라/LLM
[[260222_analysis_HDD도_부족하다_고용량_제품_가격_급등_기사_httpsz_1]] -- 저장장치 가격 급등
[[260410_codex_system-blueprint-monitoring-update]] -- AI 인프라 및 서버
[[260324_llm_httpsxcomlucas_flatwhi_1]] -- LLM 및 AI 도구
[[260222_analysis_HDD도_부족하다_고용량_제품_가격_급등_기사_httpsz_4]] -- AI 서버 하드웨어 부족
[[260319_report_Forwarded_reports_on_LNG_and_energy_see]] -- AI 인프라 핵심 이슈
[[260307_llm_포워딩_김서준해시드_대표의_글쓰기_스타일을_분석하고_그_문체로_에]] -- AI 인프라 및 기업
[[260323_analysis_엘리엇이_시놉시스_지분을_대폭_확보했다_]] -- 반도체주식분석
[[260225_analysis_httpsxcomPhotonCapstatus202632226]] -- AI 인프라 기업 분석
[[260228_insights_So_to_me_its_a_necessary_condition_tha]] -- 필수 조건 논의
[[260223_llm_구글_OpenClaw_연동을_이유로_Google_AI_ProUltra]] -- AI 인프라 및 기업
[[260325_llm_httpsxcomprajwaltomar__1]] -- LLM 인프라
[[260222_analysis_HDD도_부족하다_고용량_제품_가격_급등_기사_httpsz_6]] -- AI 인프라 공급망
[[250624_analysis_httpsxcomAlisvolatprop12status202_5]] -- AI 인프라 하드웨어
[[260323_analysis_엘리엇이_시놉시스_지분을_대폭_확보했다_WSJ_링크_포함]] -- AI 인프라 투자 전략
[[260322_report_Navitas_Semiconductor_]] -- AI 인프라 핵심 이슈
[[260222_analysis_HDD도_부족하다_고용량_제품_가격_급등_기사_httpsz_5]] -- AI 인프라 및 서버
[[260325_insights_httpsxcomhoneyjamtesla_2]] -- AI 인프라 투자
[[260313_llm_텔레그램_500_재미있게_사용하는_꿀팁_모음_by_미주인_2026_1]] -- AI 인프라/기업
[[260219_x_twitter_httpsxcomlucas_flatwhitestatus202]] -- AI 인프라
[[260222_analysis_HDD도_부족하다_고용량_제품_가격_급등_기사_httpsz_3]] -- AI 인프라 하드웨어
[[260325_insights_httpsxcomhoneyjamtesla]] -- AI 인프라 및 LLM
[[260325_17212_SK하이닉스_ADR_상장으로_재평가_본격화170만원_전]] -- SK하이닉스 ADR 재평가
[[260225_analysis_httpsxcomPhotonCapstatus202632226_3]] -- LLM 및 AI 인프라
[[260218_x_twitter_httpsxcomxrathstatus2024138440854]] -- AI 인프라 및 OPM
[[260317_articles_코스닥_연기금들이_2분기부터_본격적인_코스닥_시장에_대한_투자를_진행한]] -- AI 인프라 기업
[[250123_x_twitter_httpsxcomtrueorwhstatus2026078943]] -- 동일 기업 분석
[[250123_x_twitter_httpsxcomalisvolatprop12status202]] -- 동일 기업 분석
[[250123_x_twitter_httpsxcomAlisvolatprop12status202_39132]] -- 동일 기업 분석
[[250123_x_twitter_KCC_보고서]] -- 기업 분석 및 보고서
[[250624_analysis_httpsxcomAlisvolatprop12status202_48]] -- GPU 및 대만 인프라
[[260311_insights_UAE_Ruwais_922만bd_세계_최대_규모_정제설비_드론_공격_19]] -- AI 인프라 및 기업 분석
[[260311_insights_httpsxcomai_bot_managerstatus2031]] -- AI 관련 트윗 데이터
[[260315_x_twitter_httpsxcomgarrettbullishstatus2032]] -- AI 인프라 분석
[[260311_x_twitter_httpsxcomdeepdive_krstatus2031377]] -- AI 인프라 분석
[[260311_x_twitter_httpsxcomdamnang2status2031238446]] -- AI 인프라 분석
[[260306_x_twitter_httpsxcomMrMarket89status20297572]] -- AI 인프라 분석
[[250624_analysis_httpsxcomAlisvolatprop12status202_50]] -- GPU/서버 하드웨어
[[260316_x_twitter_httpsxcomdondekeuma23842status203]] -- AI 인프라/시장
[[260315_x_twitter]] -- AI 인프라 종합
[[260311_x_twitter_httpsxcomdamnang2statu]] -- AI 인프라/에너지
[[260228_x_twitter_httpsxcomtrueorwhstatus2027151958]] -- AI 인프라 핵심주
[[260305_x_twitter_httpsxcomrklb_investstatus2029415]] -- 동일기업 제재 이슈