robots.txt

Vikipediyanın robots.txt faylı üçün: https://az.wikipedia.org/robots.txt

robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilən standart olan "Robots Exclusion Protocol" protokolunu həyata keçirmək üçün istifadə edilən fayl adı.

Bu, könüllü razılığa əsaslanır. Bütün botlar standarta əməl etmir. Əksinə, təhlükəsizlik boşluqlarını skan edən e-poçt spamçıları, spam-botlar, zərərli proqramlar və robotlar veb-saytın onlardan kənarda qalmaları xahiş edilən hissələrdən (Robots Exclusion Protocol ilə) başlaya bilər.

"robots.txt" faylı veb-saytlar üçün digər robot daxiletmə standartı olan Sitemaps ilə birlikdə istifadə edilə bilər.

Tarixi

Standart Martin Koster tərəfindən 1994-cü ilin fevralında "Nexor"da işləyərkən, o zaman WWW ilə əlaqəli fəaliyyətlər üçün əsas kommunikasiya kanalı olan "www-talk" poçt siyahısında təklif edilmişdir. Çarlz Stross iddia edir ki, təsadüfən Kosterin serverinə DoS-hücum etməsinə səbəb olan bot yazdıqdan sonra Kosterə "robots.txt" yaratmağı təklif edib.

O tez bir zamanda "WebCrawler", "Lycos" və "AltaVista" kimi axtarış motorları tərəfindən idarə olunanlar da daxil olmaqla, ən çox uyğun gələn indiki və gələcək veb skanerlərinin əməl edəcəyi de-fakto standarta çevrildi.

1 iyul 2019-cu ildə "Google" IETF çərçivəsində rəsmi standart olaraq "Robots Exclusion Protocol"nu təklif etdi. Təklif olunan standart 2022-ci ilin sentyabrında RFC 9309 olaraq nəşr olundu.

Həmçinin bax

ads.txt
security.txt
Internet Archive
Nofollow
noindex

robots.txt — veb-saytlar tərəfindən axtarış botlarına və digər botlara veb-saytın hansı hissələrinə daxil olmağa icazə verildiyini göstərmək üçün istifadə edilə

Mündəricat

Tarixi

Həmçinin bax