פרוטוקול אי הכללת רובוטים

פרוטוקול אי הכללת רובוטים או robots.txt הוא מוסכמה המאפשרת למנהל אתר אינטרנט (Webmaster) להגדיר כיצד יסרק האתר על ידי מנועי חיפוש ובוטים אחרים המצייתים לפרוטוקול. הגדרה זו מתבצעת באמצעות קובץ בשם robots.txt המכיל תחביר מיוחד ונמצא בספריית השורש (root) של האתר. פרוטוקול זה משמש בעיקר להסתרה של חלקים מסוימים באתר ממנועי חיפוש.

על ידי שימוש בפרוטוקול זה אפשר להורות למנועי חיפוש לא לאנדקס דפים מסוימים באתר.

• Google Dorking
• Security.txt

מדיה וקבצים בנושא פרוטוקול אי הכללת רובוטים בוויקישיתוף

• אתר האינטרנט הרשמי של פרוטוקול אי הכללת רובוטים (באנגלית)
• קובץ robots.txt של ויקיפדיה העברית
• מה זה קובץ robot.txt ומה השימוש הנכון עבורו? באתר ZEFO

ערך זה הוא קצרמר בנושא מחשבים. אתם מוזמנים לתרום לוויקיפדיה ולהרחיב אותו.