Patent Intelligence Agent #3

 

"Anomaly Detection 특허를 어떻게 수집할 것인가"

지난 글에서는 AI가 특허를 읽기 전에 알아야 할 특허 데이터 구조를 정리했다. 특허 문서는 하나의 긴 텍스트가 아니라 Title, Abstract, Claims, Description, IPC/CPC, Citation, Applicant 등 여러 층위의 데이터로 구성되어 있다. 그리고 초기 MVP에서는 Title과 Abstract를 중심으로 특허 텍스트를 벡터화하는 것이 가장 현실적인 접근이라고 정리했다.

 

이번 글에서는 실제 분석을 위한 첫 번째 기술 도메인을 선정하고, 특허 데이터를 어떻게 수집할 것인지 정리한다.

첫 번째 실험 도메인은 Anomaly Detection으로 설정한다.

---

1. 왜 Anomaly Detection인가

Patent Intelligence Agent의 첫 번째 실험 도메인을 정할 때 중요한 기준은 다음과 같다.

도메인 선정 기준
1. 특허 데이터가 충분히 존재하는가
2. 특정 산업에 과도하게 종속되지 않는가
3. AI/ML 방법론과 직접 연결되는가
4. 기술평가·기술금융 관점에서 해석 가능성이 있는가
5. 향후 경영·경제 분석으로 확장 가능한가

 

이 기준에서 Anomaly Detection은 좋은 출발점이 된다.

 

Anomaly Detection은 이상탐지, 고장진단, 이상상태 감지, 예지보전, 품질검사, 금융 이상거래 탐지, 의료 이상징후 감지 등 다양한 분야에 적용된다. 즉, 하나의 산업에 갇힌 기술이 아니라 제조, 금융, 의료, 에너지, 모빌리티, 반도체, 우주항공 등 여러 산업에서 공통적으로 등장하는 기술 문제다.

 

또한 AI/ML과 직접적으로 연결된다. 이상탐지는 지도학습, 비지도학습, 시계열 분석, Autoencoder, One-Class SVM, Isolation Forest, Transformer 기반 시계열 모델 등 다양한 머신러닝 방법론과 연결될 수 있다.

 

즉, Anomaly Detection은 이 프로젝트에서 다루려는 세 가지 축을 모두 포함한다.

• 기술 관점
  • 센서 데이터
  • 시계열 분석
  • 머신러닝
  • 비정상 패턴 탐지
• 경영 관점
  • 설비 고장 감소
  • 품질 비용 절감
  • 운영 효율 향상
  • 서비스 차별화
• 금융/경제 관점
  • 기술기업의 사업화 가능성
  • 산업별 도입 수요
  • 기술금융 평가 보조지표
  • 리스크 관리 기술

따라서 첫 번째 데이터셋은 Anomaly Detection 관련 특허로 구성한다.

---

2. 검색 키워드는 하나로 충분하지 않다

특허 검색에서 가장 먼저 부딪히는 문제는 표현의 다양성이다.

 

우리는 보통 “이상탐지”라고 부르지만, 특허 문서에서는 같은 개념이 여러 표현으로 등장할 수 있다.

 

예를 들어 다음 표현들은 서로 다르지만 기술적으로 유사한 문제를 다룰 수 있다.

Anomaly Detection
Fault Detection
Fault Diagnosis
Abnormal State Detection
Failure Prediction
Predictive Maintenance
Condition Monitoring
Outlier Detection
Defect Detection
Equipment Monitoring
Machine Health Monitoring

 

문제는 키워드 하나만 쓰면 관련 특허를 놓칠 수 있다는 점이다.

 

예를 들어 “Anomaly Detection”으로만 검색하면 “Fault Diagnosis”라는 표현을 사용한 특허는 검색 결과에서 빠질 수 있다. 반대로 “Fault Detection”만 검색하면 금융 이상거래 탐지나 의료 이상징후 탐지 관련 특허를 놓칠 수 있다.

 

이 프로젝트의 목적은 단순 키워드 검색이 아니라, 나중에 의미 기반 검색과 비교할 수 있는 데이터셋을 만드는 것이다. 따라서 초기 검색 단계에서부터 동의어와 유사 개념을 넓게 잡아야 한다.

---

3. Anomaly Detection 검색어 확장

검색어는 크게 네 그룹으로 나눌 수 있다.

Anomaly Detection Keyword Map

1. Core Concept - anomaly detection - abnormal detection - outlier detection 2. Fault/Failure Concept - fault detection - fault diagnosis - failure prediction - failure diagnosis 3. Maintenance Concept - predictive maintenance - condition monitoring - equipment monitoring - machine health monitoring 4. Inspection/Quality Concept - defect detection - quality inspection - abnormal pattern detection - process monitoring

 

한국어 키워드도 함께 정리해두는 것이 좋다.

한국어 검색어 후보

- 이상탐지 - 이상 상태 감지 - 비정상 상태 감지 - 고장진단 - 고장 예측 - 결함 검출 - 예지보전 - 상태 모니터링 - 설비 모니터링 - 품질 검사 - 공정 이상 감지

 

다만 처음부터 한국어·영어 데이터를 모두 섞으면 전처리 난이도가 올라간다. 초기 MVP에서는 영어 특허를 중심으로 시작하고, 이후 한국어 특허로 확장하는 것이 현실적이다.

---

4. 검색식은 어떻게 구성할 것인가

특허 검색에서는 단순히 키워드를 나열하는 것보다 검색식을 설계하는 것이 중요하다.

초기 검색식은 다음과 같이 구성할 수 있다.

("anomaly detection" OR "fault detection" OR "fault diagnosis" 
 OR "failure prediction" OR "predictive maintenance" 
 OR "condition monitoring" OR "outlier detection")

 

이 검색식은 Anomaly Detection과 관련된 넓은 후보군을 확보하기 위한 것이다.

조금 더 제조·설비 중심으로 좁히고 싶다면 다음과 같이 작성할 수 있다.

("anomaly detection" OR "fault diagnosis" OR "predictive maintenance")
AND
("equipment" OR "machine" OR "manufacturing" OR "sensor")

 

AI/ML 기반 특허를 중심으로 보고 싶다면 다음 조건을 추가할 수 있다.

("anomaly detection" OR "fault diagnosis" OR "predictive maintenance")
AND
("machine learning" OR "neural network" OR "deep learning" OR "artificial intelligence")

 

이렇게 검색식을 나누는 이유는 데이터셋의 범위를 통제하기 위해서다.

 

너무 넓게 검색하면 관련 없는 특허가 많이 섞인다. 너무 좁게 검색하면 충분한 데이터가 모이지 않는다. 따라서 처음에는 넓게 수집한 뒤, 포함/제외 기준으로 정제하는 방식이 적절하다.

---

5. 포함 기준과 제외 기준을 먼저 정해야 한다

데이터셋을 만들 때 가장 중요한 것은 “무엇을 포함할 것인가”보다 “무엇을 제외할 것인가”다.

 

Anomaly Detection이라는 표현은 넓기 때문에, 검색 결과에는 다양한 특허가 섞일 수 있다. 예를 들어 네트워크 보안, 금융 거래, 의료 영상, 제조 설비, 배터리 상태 감지, 차량 진단 등 여러 분야가 동시에 검색될 수 있다.

 

초기 MVP에서는 범위를 너무 넓히지 않기 위해 다음 기준을 적용한다.

포함 기준
1. 특허 제목 또는 초록에 anomaly, fault, failure, defect, abnormal 중 하나가 포함될 것
2. 데이터 기반 감지 또는 진단 방법을 포함할 것
3. 센서 데이터, 시계열 데이터, 이미지 데이터, 로그 데이터 중 하나를 활용할 것
4. 기계학습 또는 통계적 판단 로직이 포함될 것
5. 실제 시스템, 장비, 공정, 서비스에 적용 가능한 기술일 것

 

제외 기준은 다음과 같이 잡는다.

제외 기준
1. 단순 알람 장치 수준의 특허
2. AI/ML 또는 데이터 분석과 무관한 기계적 고장 감지 장치
3. 이상탐지가 핵심이 아니라 부수적으로만 언급된 특허
4. 법률 상태나 데이터 필드가 지나치게 부족한 특허
5. 분석 목적과 무관한 생물학적, 화학적 검출 특허

 

이 기준은 완벽하지 않아도 된다. 중요한 것은 이후 분석 결과를 해석할 수 있도록 데이터셋 구축 기준을 명시하는 것이다.

 

논문으로 확장하려면 이 포함/제외 기준이 매우 중요해진다. 데이터셋이 어떻게 구성되었는지 명확해야 실험 결과의 재현성이 생기기 때문이다.

---

6. 초기 데이터셋은 작게 시작한다

처음부터 수천 건의 특허를 모으려고 하면 데이터 정리 단계에서 막힐 가능성이 높다.

 

초기 MVP는 30건에서 50건 정도면 충분하다.

 

목표는 대규모 모델 학습이 아니라, 다음 구조가 가능한지 확인하는 것이다.

특허 검색
   ↓
Title / Abstract 수집
   ↓
CSV 또는 Excel 정리
   ↓
analysis_text 생성
   ↓
TF-IDF 벡터화
   ↓
유사 특허 검색
   ↓
기술 클러스터링 실험

 

이 단계에서 중요한 것은 모델 성능이 아니라 파이프라인 검증이다.

즉, “특허 데이터를 수집해서 AI 모델이 읽을 수 있는 형태로 만들 수 있는가”가 첫 번째 실험 목표다.

 

---

7. 초기 CSV 데이터 구조

이번 프로젝트의 첫 데이터셋은 다음 필드로 구성한다.

patent_id
title
abstract
applicant
filing_date
publication_date
ipc_cpc
source
analysis_text

 

각 필드의 의미는 다음과 같다.

patent_id
- 특허를 구분하기 위한 고유번호

title
- 발명의 제목

abstract
- 발명의 요약문

applicant
- 출원인 또는 권리자

filing_date
- 출원일

publication_date
- 공개일

ipc_cpc
- 기술분류코드

source
- 데이터를 가져온 검색원

analysis_text
- title과 abstract를 결합한 분석용 텍스트

 

초기 분석에서는 analysis_text를 다음과 같이 구성한다.

analysis_text = title + " " + abstract

 

이렇게 하면 Title의 핵심 키워드와 Abstract의 기술 설명을 함께 반영할 수 있다.

---

8. 데이터 정제에서 가장 중요한 것

특허 데이터는 생각보다 지저분하다. 같은 기업 이름이 다르게 표기될 수 있고, 초록이 비어 있는 경우도 있으며, 중복 특허가 섞일 수도 있다.

따라서 초기 데이터셋을 만들 때는 다음 정제 기준을 둔다.

Data Cleaning Rule
1. title이 비어 있는 데이터는 제외한다.
2. abstract가 비어 있는 데이터는 제외한다.
3. 동일한 patent_id가 중복되면 하나만 남긴다.
4. applicant 명칭은 가능한 한 통일한다.
5. analysis_text 길이가 너무 짧은 데이터는 제외한다.
6. 검색 키워드와 무관한 특허는 수작업으로 제거한다.

 

여기서 중요한 것은 자동화보다 기준이다.

 

처음에는 수작업으로 정리해도 된다. 데이터가 30~50건 수준이라면 직접 보면서 정제하는 것이 오히려 낫다. 이후 데이터가 500건, 1,000건으로 늘어나면 정제 규칙을 코드로 자동화하면 된다.

---

9. 검색 데이터와 학습 데이터는 다르다

이번 단계에서 만드는 데이터셋은 아직 모델 학습용 데이터셋이 아니다.

 

정확히는 검색 및 분석용 Corpus에 가깝다.

Search Corpus
- 특허 검색 결과를 정리한 문서 집합
- 유사도 검색, 클러스터링, RAG에 활용

Training Dataset
- 입력값과 정답 라벨이 있는 데이터
- 분류, 회귀, 예측 모델 학습에 활용

 

초기 프로젝트에서는 Search Corpus를 만든다.
나중에 고도화 단계에서 라벨을 붙이면 Training Dataset으로 확장할 수 있다.

예를 들어 다음과 같은 라벨을 붙일 수 있다.

향후 라벨링 후보
- 기술분야: 제조 / 의료 / 금융 / 에너지 / 모빌리티
- 모델 유형: 통계 기반 / 머신러닝 / 딥러닝 / 규칙 기반
- 데이터 유형: 센서 / 이미지 / 로그 / 시계열 / 거래 데이터
- 목적: 고장진단 / 품질검사 / 이상거래탐지 / 예지보전
- 사업화 가능성: 높음 / 중간 / 낮음

 

이렇게 라벨이 쌓이면 이후에는 분류 모델이나 기술성 평가 모델로 확장할 수 있다.

---

10. Anomaly Detection 특허를 어떻게 분류할 것인가

검색된 특허는 단순히 모으는 것에서 끝나면 안 된다.
분석을 위해서는 기술적 관점에서 분류 기준을 만들어야 한다.

 

초기 분류 기준은 다음 네 가지로 잡는다.

1. Application Domain
   - 제조 설비
   - 의료
   - 금융
   - 에너지
   - 모빌리티
   - 네트워크 보안

2. Data Type
   - 센서 데이터
   - 이미지 데이터
   - 로그 데이터
   - 시계열 데이터
   - 거래 데이터

3. Method Type
   - Rule-based
   - Statistical
   - Machine Learning
   - Deep Learning
   - Hybrid

4. Output Type
   - 이상 여부 판단
   - 고장 원인 진단
   - 고장 시점 예측
   - 위험 점수 산출
   - 유지보수 의사결정 지원

이 분류 기준은 나중에 클러스터링 결과를 해석하는 기준이 된다.

 

예를 들어 임베딩 기반 클러스터링을 수행했을 때 특정 클러스터가 “센서 기반 예지보전” 특허로 묶인다면, 해당 클러스터를 기술적으로 해석할 수 있다.

---

11. 첫 번째 실험의 성공 기준

이번 단계의 성공 기준은 모델 성능이 아니다.
데이터셋을 만들고, 다음 단계인 TF-IDF 유사도 분석으로 넘어갈 수 있으면 성공이다.

 

첫 번째 실험의 성공 기준은 다음과 같이 정의한다.

MVP Success Criteria
1. Anomaly Detection 관련 특허 30건 이상 수집
2. Title, Abstract, Applicant, IPC/CPC 필드 확보
3. 중복 데이터 제거
4. analysis_text 생성
5. 기술분야 또는 데이터 유형 기준으로 수작업 분류
6. CSV 또는 Excel 형태로 저장
7. 다음 단계에서 Python으로 불러올 수 있는 구조 완성

이 정도면 충분하다.

 

완벽한 데이터셋보다 중요한 것은 재현 가능한 데이터셋이다.
어떤 기준으로 검색했고, 어떤 기준으로 포함/제외했으며, 어떤 필드를 남겼는지 기록해야 한다.

---

12. 정리: 데이터 수집은 모델링의 일부다

많은 사람들이 AI 프로젝트를 모델 선택에서 시작한다고 생각한다. 하지만 실제로는 데이터 수집과 데이터 구조 정의가 모델링의 절반 이상을 차지한다.

 

Patent Intelligence Agent도 마찬가지다.
처음부터 BERT, RAG, GNN을 적용하는 것이 중요한 게 아니다. 먼저 특허 데이터를 어떤 기준으로 수집하고, 어떤 필드를 남기고, 어떤 텍스트를 분석 대상으로 삼을지 정의해야 한다.

 

이번 글에서는 첫 번째 실험 도메인으로 Anomaly Detection을 선정하고, 검색 키워드, 포함/제외 기준, 초기 데이터셋 구조를 설계했다.

핵심은 다음과 같다.

핵심 요약

1. 첫 실험 도메인은 Anmoaly Detection으로 설정한다. 2. Anomaly Detection은 제조, 금융, 의료, 에너지 등 다양한 산업에 적용 가능하다. 3. 검색 키워드는 anomaly detection 하나로 부족하며, fault diagnosis, predictive maintenance 등으로 확장해야 한다. 4. 초기 데이터셋은 Title + Abstract 중심으로 구성한다. 5. 처음에는 30~50건 수준의 작은 Corpus로 시작해도 충분하다. 6. 데이터 수집 기준과 포함/제외 기준을 기록해야 나중에 논문형 프로젝트로 확장할 수 있다. 7. 다음 단계의 Python으로 CSV를 불러오고 TF-IDF 기반 유사도 분석을 수행하는 것이다.

 

다음 글에서는 실제로 수집한 특허 데이터를 Python에서 불러오고, Title과 Abstract를 결합한 analysis_text를 만든 뒤, TF-IDF 기반으로 유사 특허를 검색하는 첫 번째 실험을 진행할 예정이다.

---

다음 글 예고

"TF-IDF로 유사 특허를 찾아보기"

 

다음 글에서는 Python을 사용해 특허 CSV 데이터를 불러오고, Title + Abstract 기반 분석 텍스트를 만든 뒤, TF-IDF와 Cosine Similarity를 활용해 유사 특허 Top-K 검색을 구현해볼 예정이다.