프로젝트 개요
한 줄 요약
Springer/IEEE/ACM 논문 메타데이터를 수집·정제해 키워드/인용/연도 트렌드를 시각화하는 연구동향 분석 플랫폼.
주요 역할
3명 | 데이터 수집·전처리, DB 설계, 백엔드 API 개발
사용 기술
PythonDjangoMariaDBSeleniumPandasJavaScriptChart.jsBootstrap
핵심 기능
- Selenium/Requests 기반 크롤링 파이프라인으로 제목·저자·기관·국가·키워드·연도 메타데이터 수집
- Pandas로 중복 제거, 결측치 처리, 컬럼 표준화 등 정제 파이프라인 구축
- 논문/저널/키워드/연도별 조회 REST API 설계 및 제공
- Chart.js로 연도별 트렌드, 키워드 분포, 인용 추세 대시보드 구현
- 논문/저자 상세 페이지 및 워드클라우드 시각화
트러블슈팅
- 페이지 로딩 실패/세션 만료로 인한 누락 → 랜덤 딜레이 + 세션 재생성 + 재시도 로직
- 대용량 조인 쿼리 성능 저하 → EXPLAIN 분석, 인덱스 설계, 불필요 컬럼 제거
- 동시 Ajax 요청으로 차트 렌더링 오류 → 요청 분리, AbortController로 이전 요청 취소
성과 및 개선
- ERD 기반 다대다 관계(논문-키워드) 중간 테이블 설계
- 조회 성능 개선으로 대시보드 응답 안정화
- 데이터 수집~시각화까지 풀스택 분석 파이프라인 구축
참고 링크
데모/영상 링크를 확인해 주세요.