Diffbot의 AI 모델은 추측하지 않고, 방대한 지식 그래프 덕분에 정확한 정보를 가지고 있다고 VentureBeat의 "Diffbot’s AI model doesn’t guess—it knows, thanks to a trillion-fact knowledge graph"라는 기사에서 설명하고 있습니다.

주요 내용은 다음과 같습니다.

자율 지식 그래프 구축
Diffbot은 기계 학습, 자연어 처리(NLP), 컴퓨터 비전 기술을 활용하여 아마도 가장 큰 지식 그래프를 자동으로 생성하고 있습니다. 다른 지식 그래프가 인간의 검토에 의존하는 반면, Diffbot의 시스템은 공용 웹, 심층 웹, 다크 웹을 포함한 전체 웹을 자동으로 크롤링하여 데이터를 수집합니다.

규모와 복잡성
Diffbot 지식 그래프(DKG)는 100억 개 이상의 엔티티와 1조 개 이상의 사실로 구성되어 있습니다. 이 엔티티는 사람, 회사, 제품, 기사 및 논의 등으로, 모두 상호 연결되어 인류 지식의 포괄적인 지도를 제공합니다. 이 규모는 구글의 지식 그래프보다 약 500배 더 큽니다.

데이터 수집 및 처리
Diffbot의 AI는 수정된 크롬 브라우저를 사용하여 인간처럼 웹 페이지를 읽습니다. 페이지를 비디오, 이미지, 기사 등 20가지 유형으로 분류하고, 제목, 저자, 제품 설명 등 주요 요소를 추출합니다. AI는 스크롤, 탭 전환, 팝업 처리 등을 통해 웹을 탐색하여 인간이 볼 수 있는 사실을 포착합니다.

다국어 지원
이 시스템은 모든 언어로 정보를 추출하고 이해할 수 있어, 글로벌 지식 저장소로 기능합니다. 이로 인해 특정 용어가 텍스트에 없더라도 다양한 언어로 된 기사에서 사실을 사용하여 질문에 답할 수 있습니다.

지속적인 업데이트
지식 그래프는 데이터가 신선하고 정확하며 포괄적으로 유지되도록 매 4~5일마다 재구성됩니다. 이 과정에서는 새로운 엔티티를 추가하고 기존 엔티티를 업데이트하며, AI는 새로운 사실을 기존 사실과 융합하고 구식 정보를 덮어씁니다.

애플리케이션 및 고객
DKG는 기업들이 비즈니스를 수행하는 방식을 혁신할 수 있도록 설계된 검색 가능한 지식 데이터베이스를 제공합니다. Bing, eBay, Amazon, Walmart를 포함한 450개 이상의 기업이 이 지식 그래프에 접근하기 위해 비용을 지불합니다. 이를 통해 지식 근로자가 데이터 수집에 소요하는 시간을 줄이고 보다 전략적인 작업에 집중할 수 있도록 도와줍니다.

요약하자면, Diffbot의 AI 모델은 방대하고 정확하며 지속적으로 업데이트되는 지식 그래프를 구축하고 유지할 수 있는 능력으로 돋보이며, 포괄적이고 신뢰할 수 있는 데이터를 원하는 기업들에게 강력한 도구가 됩니다.