SOOBIN LIM
→ 전체 프로젝트
03

TADAC

Vision AI 기반 개인화 집중 학습 서비스

역할
Sole Backend / AI Integration / Infrastructure
주요 기술
Python, C++, OpenCV, MediaPipe, DeepFace, FastAPI, Django, Django REST Framework, AWS EC2, S3, Linux, Nginx, Whisper, LLM
저장소
Backend ↗
TADAC 서비스 화면

Soobin's scope

직접 구현한 부분

Sole Backend / AI Integration / Infrastructure

  1. 01팀 내 Backend 단독 담당 — API 설계부터 AI Server 연동과 배포 인프라까지 전담
  2. 02Backend API 개발 — 자연어 기반 일정 등록, 집중 세션 및 성취 데이터 API
  3. 03JWT Cookie 인증
  4. 04FastAPI AI Server 연동 및 AI 서버와 웹 Backend 사이 추론 흐름 설계
  5. 05MediaPipe / DeepFace 기반 집중도 분석 연동, OpenCV / C++ 기반 프레임 처리

01 — 프로젝트 개요

어떤 서비스인가

영상 학습 중 카메라로 학습자의 얼굴과 집중 상태를 분석하고, 자막을 기반으로 AI 요약과 Quiz를 제공해 학습이 끊기지 않도록 돕는 서비스입니다.

팀에서 백엔드를 단독 담당하며 웹 Backend, FastAPI AI Server 연동과 배포 인프라까지 연결했습니다.

02 — 제품 흐름

직접 살펴보는 제품 사용 흐름

TADACINTERACTIVE FIXTURE
집중 학습 세션 / 08:24

Lecture 03 / Attention

주의 집중과 작업 기억의 관계

영상의 핵심 자막을 기반으로 실시간 학습 활동이 생성됩니다.

SOOBIN'S BACKEND / 01

자막, Whisper, 챕터 요약

SOOBIN'S BACKEND / 02

반응시간, 정확도, 미스율 기록

SOOBIN'S BACKEND / 03

개인화 난이도와 퀴즈 생성

03 — 담당 범위

SOOBIN'S SCOPE

  • 팀 내 Backend 단독 담당 — API 설계부터 AI Server 연동과 배포 인프라까지 전담
  • Backend API 개발 — 자연어 기반 일정 등록, 집중 세션 및 성취 데이터 API
  • JWT Cookie 인증
  • FastAPI AI Server 연동 및 AI 서버와 웹 Backend 사이 추론 흐름 설계
  • MediaPipe / DeepFace 기반 집중도 분석 연동, OpenCV / C++ 기반 프레임 처리
  • S3 Pre-signed URL 기반 업로드
  • Chrome 차단 Extension 연동
  • AWS / Linux 배포, Nginx / HTTPS 구성, CORS 문제 해결
  • Backend–AI Server 간 통신 오류 및 응답 지연 로그 디버깅

04 — 기술 구조

구조와 데이터 흐름

AI Flow

  1. Camera Frame
  2. OpenCV / MediaPipe / DeepFace
  3. FastAPI AI Server
  4. Django Backend
  5. Learning Feedback

Content Flow

  1. Video SubtitleVTT / Whisper
  2. LLM요약 / Quiz 생성
  3. Django Backend

Infrastructure

  1. Client
  2. NginxReverse Proxy / HTTPS
  3. AWS EC2 / LinuxDjango / FastAPI
  4. S3Pre-signed URL 업로드

SOOBIN'S SCOPE / 직접 구현하고 구성한 구간

OpenCV / C++로 Frame을 처리하고 MediaPipe와 DeepFace 기반 집중도 분석을 FastAPI AI Server로 분리한 뒤, 웹 Backend가 AI Server를 호출하는 추론 흐름을 설계했습니다.

JWT를 Cookie로 전달하는 인증 방식을 적용하고, 집중 세션과 성취 데이터를 API로 제공했습니다.

파일 업로드는 S3 Pre-signed URL 방식으로 Backend를 거치지 않고 S3에 직접 업로드하도록 구성했습니다.

AWS EC2 / Linux 환경에 배포하고 Nginx Reverse Proxy와 HTTPS를 적용했으며, 배포 과정에서 발생한 CORS 문제를 해결했습니다.

05 — 문제 해결

무엇이 어려웠나

Resolution

OpenCV / C++로 Frame을 처리하고 MediaPipe와 DeepFace 기반 집중도 분석을 FastAPI AI Server로 분리한 뒤, 웹 Backend가 AI Server를 호출하는 추론 흐름을 설계했습니다.

06 — 장애 대응

Debugging

실시간 Frame 처리 과정에서 발생하는 응답 지연과 통신 오류를 분석했습니다.

  1. 응답 지연, 통신 오류 발생Detect

    실시간 Frame 처리 구간

  2. Backend ↔ AI Server 로그 확인Analyze
  3. 병목 구간과 오류 발생 위치 추적Analyze
  4. 원인 구간 수정Respond

07 — 결과

결과와 성과

단순 서비스 프로젝트에서 끝나지 않고, 연구 결과까지 확장된 프로젝트입니다.

  • 출원Patent FiledTADAC 연구 결과를 바탕으로 관련 기술 특허를 출원했습니다.
  • Under ReviewJournal SubmittedTADAC 연구 내용을 논문화해 정보처리학회논문지: 소프트웨어 및 데이터 공학(KIPS)에 투고, 현재 심사 중
  • TADAC 관련 기술 특허 출원
  • 제1저자 학술 저널 투고, 현재 심사 중

AI 모델 구현에서 끝나지 않고, 서비스 개발과 연구 결과까지 연결했습니다.