PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Abfrage/Weiche für robots per SSI!?

maulwurf
16.01.2002, 21:23
hiho

aaalso:
ich möchte per server side include die spider diverser suchmaschinen abfangen und in für sie zugeschnittene verzeichnisse schicken. in dem entsprechenden ordner befindet sich dann eine html, die dann suchmaschinen-gerechte features enthält. z.b. 345.643.123 mal die keywords und dieser ganze schnickschnack...

leider hab ich nich sooo den plan.
ich würde nun zb gerne wissen, mit welcher variable(?) ich die robots abfragen kann....
HTTP_REFERER
REMOTE_ADDR
REMOTE_HOST
oder doch ganz was anderes?
wär cool, wenn jmd was weiß.
ich hoffe ich hab mich verständlich ausgedrückt... :rolleyes:

cya

h3r3tic
17.01.2002, 13:08
es sollte eigentlich kein problem sein auf der indexseite header abfragen einzubauen um dan entsprechende spider umzuleiten

du solltest aber wissen welche angaben die spider hinterlassen um auf diese zu reagieren und da koennte das grosse problem liegen.
maulwurf
17.01.2002, 22:00
hiho

bin jetzt schon ein paar schritte weiter. ich hab ne liste mit den bots der häufigsten suchmaschinen erstellt und weiß nun auch, mit welcher variablen ich die dinger abfrage, nämlich $REMOTE_USER_AGENT.
das bastel ich dann in so ne IFELSE-geschichte ein und frag damit die bots ab.

@ h3r3tic
welche angaben die spider hinterlassen
wie meinst du das? warum muss ich das wissen? ich will ja auf nix reagieren.. ich weiß ja ungefähr, wie die einzelnen suchmaschinen ihre rankings aufbauen. entsprechend kann ich ihnen dann per VIRTUAL INCLUDE eine HTML vorsetzen.
das ganze werd ich dann in ner robots.txt speichern, die von den dingern als erstes abgefragt wird.
werd das morgen mal zuende basteln.... bis denne.

cya


ps: wenn das ganze funzt, poste ich es mal ;)
Dominic Suter
18.01.2002, 10:48
Au ja, bitte, dann muss ich nicht die selben Überlegungen noch einmal anstellen :D
h3r3tic
18.01.2002, 11:41
An Maulwurf

steht denn in $REMOTE_USER_AGENT drinnen das es ein SPIDER ist ?
Wenn ja ist die sache ja ganz einfach wie du schon sagst.

Diese liste mit den bots wuerde mich auch mal interessieren.
Am besten per mail oder so.

Recht interessant dazu ist auch http://selfhtml.teamone.de/diverses/robots.htm

eigentlich brauchst du da gar keine schleifen sondern nur die SPIDER namen laut aussage der seite.

Freue mich ueber ein feedback deinerseits CU.
maulwurf
18.01.2002, 19:33
hiho

REMOTE_USER_AGENT ist natürlich quatsch.... hatte mich da konkret krass verlesen ;)

ich werd nochma ne runde recherchieren....

to be continued....

cya l8er evtl
maulwurf
18.01.2002, 21:21
so.. moin nochma

ich denke, ich habs jetzt *hoff*
hab mich jetzt für HTTP_USER_AGENT entschieden.
zusammen mit dieser erklärung:
HTTP_USER_AGENT The browser that the client is using to send the request. General format: software/version library/version
und dieser liste:
http://www.simplythebest.net/info/useragents/spiders.html

hab ich dann das hier gebaut:
<!-- #if expr=&quot;\&quot;$HTTP_USER_AGENT\&quot; =
\&quot;Googlebot/1.0\&quot;&quot; -->
<!--#include virtual=&quot;bot_google.html&quot; -->

<!--#elseif expr=&quot;\&quot;$HTTP_USER_AGENT\&quot; =
\&quot;KIT_Fireball/2.0\&quot;&quot; -->
<!--#include virtual=&quot;bot_fireball.html&quot; -->

<!--#elseif expr=&quot;\&quot;$HTTP_USER_AGENT\&quot; =
\&quot;Scooter/1.1\&quot;&quot; -->
<!--#include virtual=&quot;bot_altavista.html&quot; -->

<!--#elseif expr=&quot;\&quot;$HTTP_USER_AGENT\&quot; =
\&quot;Scooter/2.0\&quot;&quot; -->
<!--#include virtual=&quot;bot_altavista.html&quot; -->

<!--#elseif expr=&quot;\&quot;$REMOTE_HOST\&quot; =
\&quot;poncho.atext.com\&quot;&quot; -->
<!--#include virtual=&quot;bot_excite.html&quot; -->

<!--#elseif expr=&quot;\&quot;$HTTP_USER_AGENT\&quot; =
\&quot;Infoseek Sidewinder/0.9\&quot;&quot; -->
<!--#include virtual=&quot;bot_excite.html&quot; -->

<!--#else -->
<!--#include virtual=&quot;bot_others.html&quot; -->

<!--#endif -->

geholfen haben mir außerdem diese links:

http://www.ideenreich.com/suchmaschinen/spider.shtml
http://www.ideenreich.com/programmierung/ssi_2.shtml

ist ja jetzt doch fast eher ein tutorial geworden *g*
doof ist nur, daß man keine kontrolle darüber hat, obs funktioniert.. es sei denn, man sucht sich irgendwie die syntax von den robots und baut sie nach - höhö :P

um feedback wird gebeten!
cya
maulwurf
05.02.2002, 20:09
hiho

das thema war doch noch nicht abgeschlossen. ;)
die endgültige version sieht nun so aus:


<!--#if expr=&quot;\&quot;$HTTP_USER_AGENT\&quot; = /.*MSIE.*/&quot; -->
<!--#include virtual=&quot;./include_ie.html&quot; -->

<!--#elif expr=&quot;\&quot;$HTTP_USER_AGENT\&quot; = /.*Mozilla.*/&quot;
-->
<!--#include virtual=&quot;./include_ns.html&quot; -->

<!--#endif -->

es funzt.. aber nur mit Apache.
Falls das überhaupt noch irgendjemanden interessiert...
naja, bin jedenfalls stolz auf mich... so als Programmier-Legasteniker :D

cya