{"id":68,"date":"2020-12-28T19:20:09","date_gmt":"2020-12-28T18:20:09","guid":{"rendered":"http:\/\/192.168.178.38\/?p=68"},"modified":"2020-12-28T19:20:09","modified_gmt":"2020-12-28T18:20:09","slug":"ranking-on-searchmachine-with-scrapy","status":"publish","type":"post","link":"https:\/\/lpl-mind.de\/en\/ranking-on-searchmachine-with-scrapy\/","title":{"rendered":"Ranking on Searchmachine with Scrapy"},"content":{"rendered":"

Scrapy – Installation<\/strong> Zum nutzen von Scrapy wird, scrapy mittels pip installiert. Falls eine IDE wie pycharm nutzen dann kann scrapy \u00fcber die IDe interne funktion eingebunden werden.<\/p>\n

1
<\/div><\/td>
 pip install<\/span> scrapy<\/div><\/td><\/tr><\/tbody><\/table><\/div>\n

Scrapy – Projekt erstellen<\/strong> Um ein Projekt anzulegen liefert Scrapy eine Konsole mit. Hierf\u00fcr rufen sie Folgendes auf. In diesem Beispiel w\u00e4hlen wir den namen rankingtool.<\/p>\n

1
2
<\/div><\/td>
scrapy startproject rankingtool
\ncd<\/span> rankingtool\/<\/span>rankingtool\/<\/span>spiders scrapy genspider spidergoogle google.com<\/div><\/td><\/tr><\/tbody><\/table><\/div>\n

Scrapy erzeugt automatisch ein Projekt und mittels dem gensider Befehl wird ein Spider ereugt. Der Spider ist die Klasse die explizit, die spezifiziert welche Webseiten geladen werden. Dort werden auch die Informationen gefiltert und Ergebnisobjekte erzeugt.
\nF\u00fcr unser Projekt ist der Spider die stelle, in der das Ranking ausgelesen wird. Hierf\u00fcr wird zun\u00e4chst die start_requests \u00fcberschieben. Diese wird nach dem Erstellen des Spider ausgerufen. Diese Methode muss ein scrapy FormRequest zur\u00fcckliefern. Mit dessen Hilfe Scrapy den n\u00e4chsten Webseiten aufruf durchf\u00fchrt. Ist dieser durchgef\u00fchrt wird die Methode self.doSearch aufgerufen.
\nF\u00fcr unser Projekt ist es n\u00f6tig zun\u00e4chst notwenig eine Suchanfrage zu versenden. Dies kann mittels der URL=”https:\/\/www.google.de\/search?q” durchgef\u00fchrt werden.<\/searchstring><\/p>\n

1
2
3
4
5
6
7
8
9
10
<\/div><\/td>
class<\/span> SpidergoogleSpider(<\/span>scrapy.Spider<\/span>)<\/span>:
\n    name =<\/span> \\'spidergoogle\\'<\/span>
\n    allowed_domains = [\\'<\/span>google.com\\'<\/span>]
\n    def start_requests(self):
\n        URL = "https:\/\/www.google.de\/search?q="+self.SearchText
\n        self.logger.debug("Start to call google " + URL )
\n        request = scrapy.FormRequest(URL , callback=self.doSearch)
\n        return [request]
\n    def doSearch(self, response):
\n        pass<\/span><\/div><\/td><\/tr><\/tbody><\/table><\/div>\n

Das Ergebnis dieses Seitenaufrufs, ist die erste Google-Ergebnis-Seite. Diese wird mittels doSearch in Parameter response \u00fcbermittelt. Dort wird \u00fcberpr\u00fcft ob die gesuchte Seite unter den Ergbnissen ist. Falls nicht wird auf die n\u00e4chste such Seite gewechselt und dieses Ergebnis wieder auf doSearch \u00fcbermittelt. Dadurch wird die doSearch Methode solange aufgerufen bis das n\u00f6tige Seite gefunden wurde oder Google die suche abbricht.
\nGoogle erlaubt es nicht mehr alle Ergbnisse einzusehen. Typischerweise wird nach der 10 – 20 Seite keine weiteren Seiten Angeboten.
\nIm Falle das Suchergebnis ist Vorhanden wird ein neuer scrapy FormRequest erzeugt, welches ein Click simuliert. Die Methode doClick wird dann aufgerufen, sobald die Seite aufgerufen wurde.<\/p>\n

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
<\/div><\/td>
    def<\/span> doSearch(<\/span>self<\/span>,<\/span> response)<\/span>:
\n        unescaped =<\/span> response.text<\/span>
\n        if<\/span> (<\/span>self<\/span>.SiteURL<\/span> in<\/span> unescaped and<\/span> "onmousedown"<\/span> in<\/span> unescaped)<\/span>:
\n        reg =<\/span> r"<a\\\\<\/span>shref=\\"<\/span>([^\\"<\/span>]+"<\/span> + re<\/span>.escape<\/span>(<\/span>       self<\/span>.SiteURL<\/span>)<\/span> + "[^\\"<\/span>]+)\\"<\/span>\\\\<\/span>sonmousedown=\\"<\/span>return\\\\<\/span>srwt\\\\<\/span>(this,(([^\\"<\/span>),]+,){8})"<\/span>
\n        found=<\/span>re<\/span>.findall<\/span>(<\/span>reg,<\/span>unescaped)<\/span>
\n        seite=<\/span>found[<\/span>0<\/span>]<\/span>[<\/span>0<\/span>]<\/span>
\n        uact =<\/span> found[<\/span>0<\/span>]<\/span>[<\/span>1<\/span>]<\/span>.split<\/span>(<\/span>"\\'<\/span>,\\'<\/span>"<\/span>)<\/span>[<\/span>3<\/span>]<\/span>
\n        usg=<\/span>found[<\/span>0<\/span>]<\/span>[<\/span>1<\/span>]<\/span>.split<\/span>(<\/span>"\\'<\/span>,\\'<\/span>"<\/span>)<\/span>[<\/span>4<\/span>]<\/span>
\n        ved =<\/span> found[<\/span>0<\/span>]<\/span>[<\/span>1<\/span>]<\/span>.split<\/span>(<\/span>"\\'<\/span>,\\'<\/span>"<\/span>)<\/span>[<\/span>6<\/span>]<\/span>
\n
\n        params =<\/span> {<\/span>
\n        "sa"<\/span>:"t"<\/span>,<\/span>
\n        "rct"<\/span>:"j"<\/span>,<\/span>
\n        "q"<\/span>: ""<\/span>,<\/span>
\n        "esrc"<\/span>: "s"<\/span>,<\/span>
\n        "source"<\/span>: "web"<\/span>,<\/span>
\n        "cd"<\/span>: "8"<\/span>,<\/span>
\n        "cad"<\/span>: "rja"<\/span>,<\/span>
\n        "uact"<\/span>: uact,<\/span>
\n        "ved"<\/span>: ved,<\/span>
\n        "url"<\/span>: seite,<\/span>
\n        "usg"<\/span>: usg,<\/span>
\n        }<\/span>
\n        URL =<\/span> "https:\/\/www.google.com\/url?"<\/span> + urlencode(<\/span>params)<\/span>
\n        self<\/span>.ClickURL<\/span>=<\/span>URL
\n        self<\/span>.logger<\/span>.debug<\/span>(<\/span>"Start to make click "<\/span> + URL)<\/span>
\n        request =<\/span> scrapy.FormRequest<\/span>(<\/span>URL,<\/span> callback=<\/span>self<\/span>.doClick<\/span>)<\/span>
\n        return<\/span> [<\/span>request]<\/span>
\n        else<\/span>:
\n        if<\/span> (<\/span>"Es wurden keine mit deiner Suchanfrage"<\/span> in<\/span> unescaped)<\/span>:
\n            return<\/span> None<\/span>
\n        self<\/span>.SiteCount<\/span>+=<\/span>10<\/span>
\n        URL =<\/span> "https:\/\/www.google.de\/search?q="<\/span>+self<\/span>.SearchText<\/span>+"&start="<\/span>+str<\/span>(<\/span>self<\/span>.SiteCount<\/span>)<\/span>
\n        self<\/span>.logger<\/span>.debug<\/span>(<\/span>"Start to call google "<\/span> + URL)<\/span>
\n        request =<\/span> scrapy.FormRequest<\/span>(<\/span>URL,<\/span> callback=<\/span>self<\/span>.doSearch<\/span>)<\/span>
\n        return<\/span> [<\/span>request]<\/span>
\n    def<\/span> doClick(<\/span>self<\/span>,<\/span>response)<\/span>:
\n        pass<\/span><\/div><\/td><\/tr><\/tbody><\/table><\/div>\n

Das Ergbnis dieses kleinem Tools, ist das hier nun in der lange seit ein akuelles Ranking von einer oder meheren Seiten abzurufen. Dies k\u00f6nnte genutzt werden um gezielt Webseiten zu optimieren. Ferne sollte auch beachtet werden das, dass Ranking vom Agent und vom Cookie abh\u00e4ngig ist. Vorstellbar w\u00e4re ein Tool das ein Ranking einer Seite unter bestimmten Suchergebnissen erfasst.
\n Bitte beachten Sie das vortauschen von Clicks strafbar ist. <\/strong><\/p>\n","protected":false},"excerpt":{"rendered":"

Scrapy – Installation Zum nutzen von Scrapy wird, scrapy mittels pip installiert. Falls eine IDE wie pycharm nutzen dann kann scrapy \u00fcber die IDe interne funktion eingebunden werden. 1 pip install scrapy Scrapy – Projekt erstellen Um ein Projekt anzulegen liefert Scrapy eine Konsole mit. Hierf\u00fcr rufen sie Folgendes auf. In […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-68","post","type-post","status-publish","format-standard","hentry","category-allgemein"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/posts\/68"}],"collection":[{"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/comments?post=68"}],"version-history":[{"count":3,"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/posts\/68\/revisions"}],"predecessor-version":[{"id":71,"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/posts\/68\/revisions\/71"}],"wp:attachment":[{"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/media?parent=68"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/categories?post=68"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lpl-mind.de\/en\/wp-json\/wp\/v2\/tags?post=68"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}