myGully.com - Suche Crawler für Amazon / Liste aller Amazonhändler

myGully.com (https://mygully.com/index.php)

- Programmierung (https://mygully.com/forumdisplay.php?f=67)

- - Suche Crawler für Amazon / Liste aller Amazonhändler (https://mygully.com/showthread.php?t=4811607)

Suche Crawler für Amazon / Liste aller Amazonhändler

Hallo,

ich brauche die Mail Adressen aller Amazon Marktplatzhändler. Diese kann man sich beispielsweise einfach per Hand einfach aus den kompletten, öffentlich zugänglichen Listen herauskopieren. Da dies aber aufgrund der unglaublichen Masse sehr umständlich ist, würde ich das ganze gern automatisiert ablaufen lassen.

Meine frage ist ob hier evtl. jemand schonmal einen derartigen Crawler geschrieben hat, oder evtl. auch einfach eine Liste mit den Händlern inkl. Mailadressen besitzt und gegen eine Entlohnung zur Verfügung stellen würde.

Bei Interesse bitte ich um Kontaktaufnahme per eine PN.

LG

Wüsste gerne was du damit vorhast

Hi,

hier mal ein Vorschlag umgesetzt in Ruby:

Code:

require 'open-uri'

require 'nokogiri'



qid = nil

100.times do |i|

  search_doc = Nokogiri::HTML(open(

    "https://www.startpage.com/do/search?query=host%3Aamazon.de+\"Amazon.de+Verk%C3%A4uferprofil\"&cat=web&startat=#{ i * 10 }&qid=#{ qid }"))

  qid = search_doc.css('input[name=qid]').first['value']

  search_doc.css('h3 a').

    each do |a|

      doc = Nokogiri::HTML(open(a['href'] ))

      seller_name = doc.css('#sellerName').text

      doc.css('ul.a-unordered-list.a-nostyle.a-vertical li').each do |list|

        if list.text =~ /Geschäftsadresse/

          puts "Name: #{ seller_name }, Adresse: #{ list.css('li').map { |li| li.text }.join(', ') }"

        end

      end 

    end

end

Grüße,
Alex.

Zitat:

Zitat von Alex12222 (Beitrag 30236835)

Hi,

hier mal ein Vorschlag umgesetzt in Ruby:

Code:

require 'open-uri'

require 'nokogiri'



qid = nil

100.times do |i|

  search_doc = Nokogiri::HTML(open(

    "https://www.startpage.com/do/search?query=host%3Aamazon.de+\"Amazon.de+Verk%C3%A4uferprofil\"&cat=web&startat=#{ i * 10 }&qid=#{ qid }"))

  qid = search_doc.css('input[name=qid]').first['value']

  search_doc.css('h3 a').

    each do |a|

      doc = Nokogiri::HTML(open(a['href'] ))

      seller_name = doc.css('#sellerName').text

      doc.css('ul.a-unordered-list.a-nostyle.a-vertical li').each do |list|

        if list.text =~ /Geschäftsadresse/

          puts "Name: #{ seller_name }, Adresse: #{ list.css('li').map { |li| li.text }.join(', ') }"

        end

      end 

    end

end

Grüße,
Alex.

.... wie m?sste das Scipt, denn ausschauen wenn ich diese Daten alle "auslesen" wollen w?rde:

Code:

[Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...][adults]=2&pax[children]=0&pax[juveniles]=0&region=&ship=&ta=&to=

PS: Das AMAZON Skript hatte ich versucht mal hier zu starten: ttps://www.jdoodle.com/execute-ruby-online ...

Leider ohne Erfolg .... bin komplett neu in der Materie und w?rde mich da gerne mal rantasten. Danke Dir.