C# 웹 스크래핑 라이브러리

Name: IronWebScraper
Brand: Iron Software
Availability: InStock
Rating: 4.72 (37 reviews)

기본 HTML 파싱을 넘어서 .NET 10을 위한 멀티스레딩을 사용하여 대규모로 구조화된 데이터를 추출하고 내보내세요.

스크랩 CSS 셀렉터, XPath 및 JavaScript 렌더링을 사용하여
수백 개의 동시 요청이 가능한 멀티스레딩
스로틀링, 프록시, 사용자 에이전트 및 robots.txt의 지원
30일 무료 체험, 모든 기능 사용 가능, 신용카드 필요 없음

C# 웹 스크래퍼

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM >Install-Package IronWebScraper

Install-Package IronWebScraper

새로운 소식을 확인하세요:변경 로그

크로스 플랫폼 지원

.NET 10, 9, 8, 7, 6, 5, Core, Standard 또는 Framework 에서 실행되는 C#, F#, VB.NET 용으로 설계되었습니다.

왜 IronWebScraper인가

하나의 C# 클래스로 수천 페이지를 가져옵니다. CSS 셀렉터, XPath, JavaScript 렌더링, 가상 아이덴티티 및 매너 컨트롤이 하나의 라이브러리에서 제공됩니다.

광범위한 스크래핑 기능

CSS 셀렉터 또는 XPath 표현식으로 구문 분석; jQuery 스타일 문법.
정적 HTML뿐만 아니라 JavaScript 페이지 렌더링.
C# 클래스 인스턴스, JSON 또는 다운로드된 파일로 출력.

결과: 하나의 라이브러리로 앱이 필요로 하는 모든 스크래핑 워크플로우를 처리합니다.

5분 만에 설치 및 작동 가능

PM > Install-Package IronWebScraper
```
Install-Package IronWebScraper
```
→ 5분 빠른 시작.
간단한 API:Request(url, Parse), response.Css(".selector"), Scrape(data).
스마트 기본값: 멀티스레딩, 친절, 캐싱은 프레임워크에 의해 처리됩니다.

결과: 이 스프린트에 스크래퍼 전송, 다음 분기가 아닌.

Enterprise 성능

.NET 10, Core, Standard, or Framework
C#, VB.NET, F# 지원. DigiCert 서명 바이너리.
어디서나 배포 가능: Windows, Linux, macOS, Docker, Azure, AWS.

결과: 스레딩 모델을 다시 작성하지 않고도 단일 블로그 크롤에서 백만 페이지까지 확장.

친절하고 탄력적이며 감사에 친화적

스로틀링, 프록시 지원, 사용자 에이전트, robots.txt 준수 내장.
가상 사용자 신원: 요청당 사용자 에이전트, 쿠키, 로그인, IP.
예외, 크래시, 정전 후 자동 저장된 작업 재개.

View Code Examples

개발자 우선 지원 및 라이선싱

영구 라이선스: 한 번 구매하여 영원히 사용. 선택적 업데이트 및 갱신.
24/5 엔지니어 지원(프리미엄에서는 24/7). 실제 사람, 평균 채팅 응답 시간 <1분.
30일 환불 보장. 맞지 않나요? 전액 환불, 질문 없음.

Chat With an Engineer

건축업자를 위한 정보

실제로 사용할 기능들:
- CSS 선택자 & XPath
- multithreaded crawling
- 프록시 및 사용자 에이전트 회전
- 가상 사용자 신원
- auto-resume on crash
- JavaScript 렌더링
- 스로틀링 및 친절
- robots.txt 준수
- 액션 리플레이 (오프라인)
- JSON 또는 클래스 출력
모든 곳에서 작동: Windows, Linux, macOS, Docker, Azure, AWS.

(30 days, fully-functional product)

구매자 여러분께

수백만의 엔지니어들이 Iron Suite에서 신뢰합니다.
실제 작업 부하를 위해 구축: 시스템 이주, 경쟁 분석, 검색 색인, 데이터 마이닝.
조달 친화적: 영구 라이선스, 선택적 갱신, 송장 가능, 다양한 결제 옵션(지역 포함: Amazon Pay, Alipay, Apple Pay, IDEAL, SEPA, ACH).
30일 환불 보장.

See Licensing

전 세계 수백만 명의 엔지니어가 신뢰하는

시작하기: C# 코드 예제

C# 웹 스크래퍼

using IronWebScraper;

public class Program
{
    private static void Main(string[] args)
    {
        var ScrapeJob = new BlogScraper();
        ScrapeJob.Start();
    }
}

public class BlogScraper : WebScraper
{
    public override void Init()
    {
        LoggingLevel = LogLevel.All;
        Request("https://www.zyte.com/blog/", Parse);
    }

    public override void Parse(Response response)
    {
        foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
        {
            string strTitle = title_link.TextContentClean;
            Scrape(new ScrapedData() { { "Title", strTitle } });
        }

        if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
        {
            string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
            Request(next_page, Parse);
        }
    }
}

Imports IronWebScraper

Public Class Program
    Private Shared Sub Main(args As String())
        Dim ScrapeJob = New BlogScraper()
        ScrapeJob.Start()
    End Sub
End Class

Public Class BlogScraper
    Inherits WebScraper

    Public Overrides Sub Init()
        LoggingLevel = LogLevel.All
        Request("https://www.zyte.com/blog/", AddressOf Parse)
    End Sub

    Public Overrides Sub Parse(response As Response)
        For Each title_link As HtmlNode In response.Css(".oxy-post-title")
            Dim strTitle As String = title_link.TextContentClean
            Scrape(New ScrapedData() From {{"Title", strTitle}})
        Next

        If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
            Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
            Request(next_page, AddressOf Parse)
        End If
    End Sub
End Class

PM > Install-Package IronWebScraper

Install-Package IronWebScraper

IronWebScraper는 C# 코드를 사용하여 웹사이트에서 데이터와 파일을 추출하는 강력한 프레임워크를 제공합니다.

NuGet 사용하여 프로젝트에 IronWebScraper를 설치합니다.
WebScraper을(를) 확장하는 클래스를 생성합니다.
최소한 하나의 URL을 구문 분석하기 위해 Request 메서드를 사용하는 Init 메서드를 만드세요.
요청을 처리하기 위한 Parse 메서드를 생성하고, 확실히 Request 페이지를 더 만듭니다. response.Css을(를) 사용하여 jQuery 스타일의 CSS 선택자로 HTML 요소를 조작하세요.
응용 프로그램에서 웹 스크래핑 클래스의 인스턴스를 생성하고 Start(); 메서드를 호출합니다.
우리 C# 웹 스크래핑 튜토리얼을 읽고, IronWebScraper를 사용하여 고급 웹 크롤러를 만드는 방법을 배워보십시오.

C#을 사용하여 온라인 영화 웹사이트에서 데이터를 추출하는 방법을 알아보세요.

개발팀에서 직접 제공하는 인적 지원

제품, 통합 또는 라이선스 관련 문의 사항이 있으시면 Iron 제품 개발팀이 언제든지 지원해 드립니다. 지금 바로 Iron에 연락하여 프로젝트에 Iron 라이브러리를 최대한 활용하는 방법을 알아보세요.

질문하기

강력한 스크래핑 엔진을 당신의 제어 아래에

단일 C# 웹-스크래퍼 클래스를 작성하여 수천 개에서 수백만 개의 웹 페이지를 C# 클래스 인스턴스, JSON 또는 다운로드된 파일로 스크래핑하십시오. IronWebScraper는 인간의 브라우징 행동을 시뮬레이션하여 간결하고 직선적인 워크플로우를 코드화할 수 있도록 합니다. IronWebScraper는 가상의 웹 브라우저 무리처럼 실행되어 대규모 병렬 처리이면서도 정중하고 오류에 저항력 있습니다.

문서와 함께 시작하기

간단하고 유연한 로직

IronWebScraper는 만나는 각 '페이지 유형'을 처리하는 방법을 프로그래밍해야 합니다. 이는 CSS 선택자나 XPath 표현식을 사용하여 매우 간결한 방식으로 달성할 수 있으며 C#에서 완전히 사용자 정의할 수 있습니다. 이러한 자유는 웹 사이트 내에서 어떤 페이지를 스크래핑할 것인지 그리고 추출된 데이터를 어떻게 처리할 것인지 결정할 수 있게 합니다. 각 메서드는 Visual Studio에서 깔끔하게 디버깅되고 감시될 수 있습니다.

튜토리얼 따라하기

빠르고 정중한 행동

IronWebScraper는 멀티스레딩과 웹 요청을 처리하여 개발자가 이를 관리할 필요 없이 수백 개의 동시 스레드를 허용합니다. 정중함은 요청의 속도를 늦출 수 있어 대상 웹 서버에 과도한 부하가 걸릴 위험을 줄입니다.

WebScraper로 시작하고 실행하는 방법

가상 사용자 신원 생성

IronWebScraper는 하나 또는 여러 개의 ‘신원’ - 실세계의 인간 요청을 시뮬레이션하는 세션을 사용할 수 있습니다. 각 요청은 프로그래밍적으로 또는 무작위로 자신의 신원, 사용자 에이전트, 쿠키, 로그인 및 심지어 IP 주소를 할당할 수 있습니다. 요청은 URL, 구문 분석 메서드 및 포스트 변수를 결합하여 자동 고유로 설정됩니다.

See API Reference

액션 리플레이

IronWebScraper는 개발자가 ‘온더플라이’로 코드를 변경하고 이전 요청을 인터넷에 접속하지 않고도 재생할 수 있도록 고급 캐싱을 사용합니다. 모든 스크래핑 작업은 자동으로 저장되며 예외나 정전이 발생하면 다시 실행될 수 있습니다.

WebScraper 설치 지침

PDF 생성 및 콘텐츠 편집을 위한 Visual Studio 라이브러리입니다.

Microsoft Visual Studio로 빠르게 설치

IronWebScraper는 Visual Studio 설치 프로그램으로 웹 스크래핑 도구를 신속하게 제공합니다. Visual Studio 내에서 직접 NuGet을 통해 설치하거나 DLL을 다운로드하든지 간에 금방 설치할 수 있습니다. 단 하나의 DLL 및 종속성 없음.

PM > Install-Package IronWebScraper DLL 다운로드