הגדרה
llms.txt הוא תקן פתוח בלתי פורמלי לקובץ טקסט פשוט המתארח בבסיס של אתר אינטרנט בנתיב /llms.txt, מתוכנן לספק מפת תוכן מובנית, קריאה לבני אדם ולמכונה, המכוונת לסורקי מודלי שפה גדולים (LLM) ולמערכות גילוי המופעלות על ידי בינה מלאכותית. המוסכמה הוצעה ב-2024 על ידי Jeremy Howard, מייסד שותף של fast.ai ודמות בולטת בלמידה עמוקה יישומית, כאנלוגיה ל-robots.txt (השולט בהרשאות גישה של סורקים) ולמפות אתר XML (המונות כתובות URL של עמודים לאינדוקס במנועי חיפוש), אך מותאמת למגבלות ולדרישות הספציפיות של זרימות עבודה של הסקת LLM.
הנחת היסוד המרכזית היא שמודלי LLM המעבדים תוכן אינטרנטי לצורך יצירה מוגברת באחזור (RAG) או קליטה ישירה ניצבים בפני צורך מידע שונה מסורקי אינטרנט מסורתיים: הם נהנים מתיאורים תמציתיים ומובנים של מה שאתר מכיל — כולל הקשר על מטרת האתר, אופי כל סעיף וקישורים לתוכן מפתח — בפורמט המתאים ביעילות בתוך חלונות ההקשר המוגבלים בטוקנים המשמשים במהלך סריקה או סיכום.
כיצד זה פועל
קובץ ה-llms.txt משתמש בפורמט מבוסס Markdown במקום XML או JSON. קובץ טיפוסי מכיל תיאור קצר ברמה העליונה של האתר בכותרת H1, ולאחר מכן פסקת סיכום של ציטוט בלוק, ולאחר מכן סעיפים מאורגנים של קישורי Markdown המצביעים לעמודים החשובים ביותר של האתר. כל קישור יכול לכלול תיאור מובלע קצר.
הקובץ עשוי להיות מלווה גם בווריאציה מורחבת ב-/llms-full.txt, הכוללת את התוכן הטקסטואלי המלא של עמודי מפתח במקום קישורים בלבד — שימושי למערכות בינה מלאכותית שיכולות לקלוט מסמכים ארוכים יותר במעבר אחד.
המוסכמה פשוטה במכוון: ללא תחביר מיוחד מעבר ל-Markdown סטנדרטי, ללא שדות חובה מעבר לתיאור האתר ולפחות כתובת URL מקושרת אחת, וללא צעד רישום או אימות נדרש. המפרט מתוחזק ב-llmstxt.org ומתוכנן להיות ניתן ליישום בדקות על ידי כל מפרסם אתר. פלטפורמות CMS כולל WordPress (באמצעות תוסף), Astro ו-Next.js ראו אינטגרציות שפותחו על ידי הקהילה היוצרות אוטומטית llms.txt ממבנה אתר קיים.
בניגוד ל-robots.txt, המורה לסורקים על הרשאות גישה (מה הם רשאים או לא רשאים לאחזר), llms.txt הוא הצהרתי בלבד ואינפורמטיבי: הוא אינו מעניק או מגביל גישה אלא מאותת איזה תוכן בעל האתר רואה כחשוב ביותר עבור מערכות בינה מלאכותית להבין. אין גוף תקנים מסדיר (בניגוד ל-robots.txt, שיש לו טיוטת RFC — RFC 9309 — המתקנת את פרוטוקול אי הכללת רובוטים), והציות של סורק LLM ל-llms.txt הוא וולונטרי ומשתנה לפי מפעיל.
מערכות ומוצרי בינה מלאכותית שדווחו כמכבדים או שוקלים את llms.txt כוללים את Perplexity AI, עוזרי מחקר מבוססי RAG שונים וחלק מההטמעות של כלי דפדוף האינטרנט של OpenAI — אם כי שום ספק LLM גדול לא התחייב פורמלית להתייחס אליו כתקן נדרש נכון לשנת 2025.
היכן אתם נתקלים בכך
המוסכמה llms.txt נדונה בדרך כלל בצומת של SEO, AEO (אופטימיזציה למנועי תשובה) וקהילות פרסום אינטרנטי טכני. היא צברה תאוצה משמעותית לאחר שפוסט ההצעה הראשוני של Jeremy Howard בסוף 2024 שותף באופן נרחב בקרב מפתחים, מפרסמי אינטרנט וחוקרי בינה מלאכותית.
עבור אתרים עתירי תוכן המכוונים לנראות במשטחי תשובה המופעלים על ידי בינה מלאכותית — כולל Google AI Overviews, Perplexity AI, מצב דפדוף האינטרנט של ChatGPT, התשובות המצוטטות של Microsoft Copilot ותכונות דומות — llms.txt מייצג אות בעלות נמוכה של כוונת תוכן. הוא משלים ולא מחליף מנגנוני גילוי קיימים: נתונים מובנים באמצעות Schema.org (במיוחד טיפוסי DefinedTerm, FAQPage ו-HowTo), מפות אתר XML והאותות הסמנטיים המשמשים על ידי מסגרת ה-E-E-A-T נשארים כולם המנגנונים העיקריים שבאמצעותם גם מנועי חיפוש מסורתיים וגם מערכות בינה מלאכותית מעריכים ומדרגים תוכן.
פלטפורמות תיעוד ואירוח, ספקי API וספקי כלי מפתחים היו בין המאמצים המוקדמים ביותר, מכיוון שהקהל שלהם (מפתחים הבונים יישומי בינה מלאכותית) פתוח במיוחד למוסכמה. אתרי תיעוד מוצרי SaaS, אוספי מילוני מונחים ובסיסי ידע מתאימים גם הם היטב לפורמט.
דוגמאות מעשיות
פלטפורמת הצבעה לתחרות עם מילון מונחים נרחב יוצרת קובץ llms.txt בכתובת https://buyvotescontest.com/llms.txt. הקובץ מפרט את ערכי המילון המרכזיים של האתר — רשומת SPF, DKIM, DMARC, הצבעת אישור דוא״ל, AI Overviews — עם תיאורים קצרים וכתובות URL ישירות. עוזר מחקר בינה מלאכותית הסורק את האתר כחלק מצנרת RAG עבור שאילתה על “אימות דוא״ל לפלטפורמות תחרות” מאחזר את קובץ ה-llms.txt, מזהה את ערכי המילון הרלוונטיים ושואב את עמודי התוכן שלהם ישירות במקום לנסות לנתח את מבנה ה-HTML המלא של האתר. התוצאה היא שערכי המילון מיוצגים בצורה מדויקת יותר בתשובות של מערכת הבינה המלאכותית מאשר היה אם העוזר היה מנסה להסיק את מבנה האתר מסריקה כללית.
מפתח הבונה עוזר ידע פנימי לסוכנות שיווק מטמיע ניתוח llms.txt בצנרת ה-RAG שלו, ומעדיף עמודים המופיעים בקבצי llms.txt כאשר עמודים מרובים מאותו דומיין מאוחזרים עבור שאילתה נתונה. זה נותן למפרסמים עתירי תוכן המתחזקים קבצי llms.txt יתרון קטן אך עקבי בתדירות הציטוט בתפוקות העוזר.
מושגים קשורים
llms.txt פועל בשכבת התקשורת של סורקי בינה מלאכותית, ומשלים את אוצר המילים הסמנטי המובנה הניתן על ידי Schema.org — המאותת סוג תוכן ויחסי ישות הן למנועי חיפוש והן למערכות בינה מלאכותית באמצעות JSON-LD — ואת אותות איכות התוכן המוערכים על ידי Google תחת מסגרת ה-E-E-A-T ומסווג Helpful Content Update. עבור גילוי בינה מלאכותית מקסימלי, מומלץ למפרסמים לתחזק את כל השלושה: מפת תוכן llms.txt תקפה, נתונים מובנים מקיפים של Schema.org, ותוכן העומד בתקני E-E-A-T ו-Helpful Content השולטים בזכאות לציטוט בתכונות AI Overview ובתכונות מנועי תשובה דומות.
