Słowniczek

Wszystkie
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
w
x
y
z

Robots.txt

Plik robots.txt ogranicza dostęp robotom wyszukiwarki przeszukującym Internet do strony www. Przed pobraniem strony witryny roboty sprawdzają, czy w witrynie jest plik robots.txt i czy blokuje on dostęp do niektórych stron. Wszystkie uznane roboty będą przestrzegać instrukcji zawartych w pliku robots.txt, jednak niektóre roboty mogą interpretować je nieco inaczej. Nie można narzucić bezwarunkowego przestrzegania zapisów pliku robots.txt, w związku z czym niektórzy spamerzy i inni oszuści mogą go zignorować.