Scrapling

Karim Shoair는 탄력적인 요소 추적, 현대적인 페처, 브라우저 스크래핑, 스파이더 크롤링, 세션, 프록시 및 확장 가능한 데이터 추출 워크플로우에 초점을 맞춘 오픈소스 적응형 Python 웹 스크래핑 프레임워크인 Scrapling의 제작자입니다.

Scrapling은 현대적인 웹사이트에서 보다 탄력적인 데이터 추출을 필요로 하는 Python 개발자를 위한 오픈소스 적응형 웹 스크래핑 프레임워크입니다. 페이지 구조가 변경되면 쉽게 망가지는 전통적인 스크래퍼와 달리, Scrapling은 선택자(selector)가 더 이상 일치하지 않을 때 요소를 추적하고 재위치시키는 적응형 스크래핑 기능을 포함하고 있습니다. 이 프레임워크는 단순 요청, 브라우저 기반 페칭, 스텔스 페처 워크플로우, 세션, 프록시, 파싱, 선택자, 스파이더 스타일 크롤링, 동시성, 일시 중지 및 재개, 확장 가능한 추출 파시프라인을 지원합니다. Scrapling은 선택자 유지보수 비용을 줄이면서 신뢰할 수 있는 스크래핑이 필요한 개발자, 데이터 엔지니어, AI 에이전트 빌더, 자동화 팀, 연구 워크플로우 및 웹 데이터 프로젝트에 특히 유용합니다.