구축 방법

방법

• 정적 HTML·CSS·JavaScript. 규칙표 계산, JSONL 검사, 작은 신경망 학습과 SVD를 모두 브라우저에서 직접 계산한다.
• 탭 구성: 1 Prompt, RAG, or Fine-tune · 2 Dataset Construction · 3 Transfer Learning · 4 LoRA · 5 Catastrophic Forgetting.
• Prompt, RAG, or Fine-tune — 질문 5개, 답마다 세 방법에 −2~+2점(정한 값). 합계 최댓값을 고르고 동점은 Prompt → RAG → Fine-tune 순. 1점 이내는 함께 검토 후보.
• Dataset Construction — 줄별 JSON.parse, messages·role·content·차례 검사, 공백 정리 후 중복·같은 입력 다른 답, 길이 분포(content 글자 수), 라벨 분포(모든 답 24자 이하일 때), 정규식 4개(휴대전화·지역번호·이메일·주민등록번호 형태), mulberry32 시드 분할.
• 신경망 — 16 → 64 → 64 → 작업별 출력층(Task A 8, Task B 4), ReLU, 교차 엔트로피, 역전파와 Adam(학습률 0.003, β₁ 0.9, β₂ 0.999, 미니배치 32)을 직접 구현. He 초기화. Float64.
• Transfer Learning — Task A 4,000개로 3,000 step 사전 학습. Task B n_B = 8·16·32·64·128·256·512개로 처음부터 / 이어서 각 300 step. 25 step마다 평가 600개.
• LoRA — W_1·W_2에 rank r 어댑터(α = r, B = 0 시작). r = 1·2·4·8·16·32와 출력층만·전체 미세 조정을 n_B = 256, σ = 0.5에서 비교. ΔW_2의 SVD는 one-sided Jacobi(최대 80 sweep, 수렴 기준 1e-13).
• Catastrophic Forgetting — Task B 512개, 600 step, replay ρ = 0·0.1·0.2·0.3·0.5(Task A 256개 보관, 미니배치 32 중 round(32ρ)개).
• 학습: 브라우저에서 직접 학습(Web Worker, Worker를 쓸 수 없으면 본 스레드). 사전 학습 모델 없음. KaTeX 0.16.9로 수식 표시.
• LLM: 서비스 안 호출 없음. 본문·코드 초안 작성 보조 Claude, 사람이 검수.

데이터

• 합성: Task A·B 입력과 라벨. 생성식은 Transfer Learning 탭 Concept. 시드 1–9999, 기본 42. Task A 학습 4,000 · 평가 600, Task B 학습 최대 512 · 평가 600. 학습·평가는 서로 다른 시드로 따로 뽑는다.
• 손으로 작성: 가상 사고 보고서 분류 JSONL 정상 예시 24줄, 문제 포함 예시 27줄. 전화번호·이메일·주민등록번호 형태 문자열은 검사용 가짜 값. 실제 기록·개인정보 없음.
• 사용자 입력 저장: 없음. 글씨 크기·테마만 localStorage 사용. 붙여 넣은 JSONL을 상태 링크에 담는 것은 사용자가 선택.

검증

• 역전파 미분 검사: 수치 미분(중앙 차분, ε = 1e-5)과 비교한 최대 상대 오차 1.4e-8(전체 신경망 156개 원소), 8.5e-9(LoRA 어댑터 포함 204개 원소).
• 시드 재현: 같은 시드의 데이터·사전 학습 가중치·학습 곡선이 비트 단위로 같다. Task A는 σ와 무관하게 같다.
• SVD: NumPy 2.5.4의 특잇값과 4개 행렬(64×64 무작위·rank 3·실제 ΔW, 10×6)에서 최대 차이 5.6e-15(최대 특잇값 대비). 재구성 오차 1.1e-14 이하. 2×2·대각·rank 1 정답 사례 일치. rank r 상대 오차는 직접 계산한 Frobenius 오차와 1e-10 안에서 같다.
• JSONL 검사: 정상·오류·중복·엇갈린 답·개인정보 형태·라벨 치우침 31개 사례가 기대 결과와 일치. 문제 포함 예시에서 형식 오류 6, 중복 1, 같은 입력 다른 답 1, 개인정보 형태 3을 찾는다.
• 시드 42 결과(평가 600개, 우연 수준 Task A 12.5%, Task B 25%): Task A 사전 학습 80.2%. σ = 1, n_B = 8에서 이어서 46.3% / 처음부터 38.2%, n_B = 512에서 79.5% / 78.7%. σ = 0, n_B = 32에서 39.5% / 53.2%(이어서가 낮다).
• 시드 42 LoRA: 출력층만 70.5%(260개), r = 4 75.7%(1,092개), r = 16 80.0%(3,588개), 전체 77.5%(5,508개). ΔW rank 8 상대 오차 0.448, 같은 노름 무작위 행렬 0.794. W_2+ΔW_r 정확도는 r = 4에서 76.5%, ΔW를 빼면 62.7%.
• 시드 42 망각: Task A 80.2% → 600 step 뒤 ρ = 0에서 56.8%, ρ = 0.2에서 70.7%. Task B는 80.3% / 81.7%.
• Chromium(Playwright) 390px·1280px에서 5개 탭 조작, 영어판 전환 시 수치 동일, 탭·절 주소 직접 열기, 콘솔 오류·가로 넘침 없음을 확인했다.

범위

• 규칙표: 질문 5개, 조합 144가지(Prompt 27, RAG 70, Fine-tune 47). 점수는 정한 값.
• JSONL: 최대 200,000자 · 2,000줄. 검증 비율 0.1–0.5. 분할 시드 1–999999. 라벨 치우침 경고 50% 초과(정한 값).
• 신경망: σ = 0·0.25·0.5·0.75·1, n_B 8–512, rank 1–64, ρ 0–0.5, 시드 1–9999. 학습 step과 학습률은 정한 값.

출처

• Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS.
• Howard & Ruder (2018). Universal Language Model Fine-tuning for Text Classification. ACL.
• Ouyang et al. (2022). Training language models to follow instructions with human feedback. NeurIPS.
• Lee et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL.
• Zhou et al. (2023). LIMA: Less Is More for Alignment. NeurIPS.
• Yosinski et al. (2014). How transferable are features in deep neural networks? NeurIPS.
• Kingma & Ba (2015). Adam: A Method for Stochastic Optimization. ICLR.
• He et al. (2015). Delving Deep into Rectifiers. ICCV.
• Hu et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
• Aghajanyan, Zettlemoyer & Gupta (2021). Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning. ACL.
• Eckart & Young (1936). The approximation of one matrix by another of lower rank. Psychometrika.
• Demmel & Veselić (1992). Jacobi's Method is More Accurate than QR. SIAM J. Matrix Anal. Appl.
• McCloskey & Cohen (1989). Catastrophic Interference in Connectionist Networks. Psychology of Learning and Motivation.
• Robins (1995). Catastrophic Forgetting, Rehearsal and Pseudorehearsal. Connection Science.
• Rolnick et al. (2019). Experience Replay for Continual Learning. NeurIPS.
• Kirkpatrick et al. (2017). Overcoming catastrophic forgetting in neural networks. PNAS.
• JSON Lines. jsonlines.org.
• KaTeX 0.16.9 · MIT · KaTeX

이력

• 2026-10-27 · v1.0 · 공개