Üretim ortamında su yas cızlar olmadan test edin.
İhtiyacınız olan her yerde çalışır.
30 gün boyunca tam işlevli ürün alın.
Dakikalar içinde çalışır hale getirin.
Ürün deneme sürecinizde destek mühendislik ekibimize tam erişim
30DAYFREE
using IronWebScraper;
public class Program
{
private static void Main(string[] args)
{
var ScrapeJob = new BlogScraper();
ScrapeJob.Start();
}
}
public class BlogScraper : WebScraper
{
public override void Init()
{
LoggingLevel = LogLevel.All;
Request("https://www.zyte.com/blog/", Parse);
}
public override void Parse(Response response)
{
foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
{
string strTitle = title_link.TextContentClean;
Scrape(new ScrapedData() { { "Title", strTitle } });
}
if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
{
string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
Request(next_page, Parse);
}
}
}
Install-Package IronWebScraper
.NET 10, 9, 8, 7, 6, 5, Core, Standard veya Framework üzerinde çalışan C#, F# ve VB.NET için tasarlanmıştır
using IronWebScraper;
public class Program
{
private static void Main(string[] args)
{
var ScrapeJob = new BlogScraper();
ScrapeJob.Start();
}
}
public class BlogScraper : WebScraper
{
public override void Init()
{
LoggingLevel = LogLevel.All;
Request("https://www.zyte.com/blog/", Parse);
}
public override void Parse(Response response)
{
foreach (HtmlNode title_link in response.Css(".oxy-post-title"))
{
string strTitle = title_link.TextContentClean;
Scrape(new ScrapedData() { { "Title", strTitle } });
}
if (response.CssExists("div.oxy-easy-posts-pages > a[href]"))
{
string next_page = response.Css("div.oxy-easy-posts-pages > a[href]")[0].Attributes["href"];
Request(next_page, Parse);
}
}
}
Imports IronWebScraper
Public Class Program
Public Shared Sub Main(ByVal args() As String)
Dim ScrapeJob = New BlogScraper()
ScrapeJob.Start()
End Sub
End Class
Public Class BlogScraper
Inherits WebScraper
Public Overrides Sub Init()
LoggingLevel = LogLevel.All
Request("https://www.zyte.com/blog/", AddressOf Parse)
End Sub
Public Overrides Sub Parse(ByVal response As Response)
For Each title_link As HtmlNode In response.Css(".oxy-post-title")
Dim strTitle As String = title_link.TextContentClean
Scrape(New ScrapedData() From {
{ "Title", strTitle }
})
Next title_link
If response.CssExists("div.oxy-easy-posts-pages > a[href]") Then
Dim next_page As String = response.Css("div.oxy-easy-posts-pages > a[href]")(0).Attributes("href")
Request(next_page, AddressOf Parse)
End If
End Sub
End Class
Install-Package IronWebScraper
IronWebScraper, C# kodunu kullanarak web sitelerinden veri ve dosyaları çıkarmak için güçlü bir çerçeve sunar.
WebScraper'yi genişleten bir sınıf oluşturun.Request yöntemini kullanan bir Init yöntemi oluşturun.Parse yöntemi ve aslında Request daha fazla sayfa oluşturun. jQuery tarzı CSS seçicileri kullanarak HTML öğeleriyle çalışmak için response.Css kullanın.Start(); yöntemini çağırın.Çevrimiçi Film Web Sitelerini C# ile Nasıl Kazıyacağınızı Keşfedin
Ürün, entegrasyon veya lisanslama soruları olsun; Iron ürün geliştirme ekibi tüm sorularınızı desteklemek için hazır. Projenizde kütüphanemizin en iyi şekilde kullanılmasını sağlamak için iletişime geçin ve Iron ile bir diyalog başlatın.
Soru SorBinlerce hatta milyonlarca web sayfasını C# Sınıf Örnekleri, JSON veya İndirilen Dosyalar haline kazımak için sadece tek bir C# web kazıyıcı sınıfı yazın. IronWebScraper, insan tarayıcı davranışı simüle eden kapsamlı, lineer iş akışlarını kodlamanıza olanak tanır. IronWebScraper, kodunuzu büyük ölçüde paralel çalışan, ama yine de nazik ve hataya toleranslı bir sanal web tarayıcısı sürüsü olarak çalıştıracaktır.
Belgelendirme ile Başlayın
IronWebScraper, karşılaştığı her "tür" sayfayı nasıl ele alacağını bilmek için programlanmalıdır. Bu, CSS Seçicileri veya XPath ifadeleri kullanılarak çok özlü bir şekilde gerçekleştirilir ve C#'te tamamen özelleştirilebilir. Bu özgürlük, bir web sitesinde hangi sayfaların kazınacağını ve çıkarılan verilerle ne yapılacağını sizin belirlemenize olanak tanır. Her yöntem, Visual Studio'da düzgün bir şekilde izlenebilir ve hata ayıklanabilir.
Bir Öğreticiyi Takip EdinIronWebScraper, geliştiricinin yönetmesine gerek kalmadan yüzlerce eşzamanlı iş parçacığına olanak sağlamak için çok iş parçacıklı ve web istekleriyle ilgilenir. Naziklik, hedef web sunucularında aşırı yük riskini azaltmak için istekleri sınırlamayı ayarlayabilir.
WebScraper ile Çalışmaya Başlamak
IronWebScraper, gerçek dünya insan isteklerini simüle eden bir veya birden fazla "kimlik" - oturum kullanabilir. Her istek, programatik veya rastgele olarak kendi Kimliğini, Kullanıcı Aracısını, Çerezleri, Oturum Açma bilgilerini ve hatta IP adreslerini atayabilir. İstekler, URL, ayrıştırma yöntemi ve POST değişkenlerinin bir kombinasyonu ile otomatik benzersiz olarak ayarlanır.
See API ReferenceIronWebScraper, geliştiricilerin kodlarını "uçarken" değiştirmelerine ve internetle temas etmeden önceki her isteği tekrarlamalarına olanak tanıyan gelişmiş önbellekleme kullanır. Her kazıma işi otomatik olarak kaydedilir ve bir istisna veya elektrik kesintisi durumunda devam edilebilir.
WebScraper Kurulum TalimatlarıIronWebScraper, Visual Studio kurucusu ile Web Kazıma araçlarını kendi ellerinize hızlıca koyar. Visual Studio içinde doğrudan NuGet'ten yükleme veya DLL'i indirerek hiçbir zaman kurulma yapmazsınız. Sadece bir DLL ve bağımlılıklar yok.
PM > Install-Package IronWebScraper DLL'yi İndirin
VB Avalonia ASP.NET
Ahmed'in, IronWebScraper'ı kullanarak projelerinde bir siteden diğerine içerik taşımayı nasıl kullandığını görün. E-ticaret ve blog web sitelerini kazımak için örnek projeler ve kodlar sağlanmıştır.
Ahmed'in WebKazıma Öğreticisini Görüntüle
Team Iron .NET yazılım bileşenleri pazarında 10 yılı aşkın deneyime sahiptir.