בעמוד הזה

העמוד הזה מתורגם לעברית. עמודי המאמרים עדיין כתובים באנגלית. קראו את העמוד הזה באנגלית

תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.

RAID הוא הבנצ'מרק שעומד מאחורי רוב הטענות הרציניות על גילוי טקסט AI, ולוח המובילים שלו הוא המקום לבדוק אם הדיוק המפורסם של גלאי שורד שינוי של מודל, תחום, הגדרת פענוח או התקפה מכוונת. הרשומות מקבלות ציון על מערך הבדיקה, ויכולות להיות מוגשות בידי כל מי שעוקב אחר תהליך ההגשה של המאגר.

מה אפשר לעשות איתו

סננו לפי תחום — תקצירים, ספרים, חדשות, שירה, מתכונים, Reddit, ביקורות, ויקי — לפי אסטרטגיית פענוח (greedy או דגימה), לפי קנס חזרתיות, ולפי התקפה אדברסריאלית, כולל רווחים, הומוגליפים, החלפת מילים נרדפות, פרפרזה, רווחים ברוחב אפס ומחיקת תוויות יידוע. ואז השוו גלאי בין מדדים: AUROC, TPR בשיעור חיוביים-כוזבים של 5%, ו-TPR ב-1%.

מערך הסינון הזה הוא העיקר. גלאי שמגיע לציון מצרפי קרוב ל-1.000 יכול לצנוח ברגע שהטקסט עובר פרפרזה או שמודל המקור מתחלף, ולוח המובילים מאפשר לראות את הנפילה לפני שמוסד מבסס עליו תיק הפרת יושרה. עמודת ה-1% של חיוביים-כוזבים היא החשובה ביותר בחינוך, כי בקנה מידה מוסדי שיעור שגיאה של 1% פירושו מאות סטודנטים שהואשמו שלא בצדק.

למי זה מיועד

חוקרים המעריכים שיטות גילוי, מנהלים הכותבים מדיניות שעשויה להתייחס לגלאי, ומרצים שרוצים תשובה קונקרטית לשאלה "האם אפשר לזהות את זה?" לפני שהם אומרים זאת בסילבוס.

הערות ואזהרות

הבנצ'מרק מודד גילוי של טקסט שנוצר בידי מכונה, לא הפרת יושרה: סטודנט שמשתמש בבינה מלאכותית כדי לתכנן, לשרטט ראשי פרקים או לערוך מייצר טקסט שהגלאים לא נבנו לתפוס, וסטודנט הכותב בשפה שנייה הוא גורם סיכון ידוע לחיוביים-כוזבים, שלוח מובילים אינו יכול להציג. RAID הוא תוצר מחקרי המתוחזק בידי צוות אקדמי; הכיסוי עוקב אחר המודלים המחוללים במערך הבדיקה שלו, כך שמודלים חדשים יותר עשויים להיות מיוצגים בחסר עד שהבנצ'מרק יעבור רענון. לוח המובילים מדרג גלאים, לא את נוהלי הטיפול בנתונים של הספקים שלהם, ו-AUROC גבוה לא אומר דבר על השאלה אם הגשת עבודות סטודנטים לשירות הזה היא חוקית או אתית בתחום השיפוט שלכם.

מושגים מחוברים

הטמעת העמוד הזה

העתיקו את הקוד שלמטה כדי להטמיע את העמוד הזה במערכת ניהול למידה או באתר אחר. הגרסה המוטמעת מציגה רק את תוכן העמוד — היא מסתירה את כותרת האתר, את הניווט ואת כותרת התחתונה.