שיפור היכולת של ChatGPT לזהות הקשר בשיחות רגישות לפי OpenAI
לפי OpenAI, עדכוני בטיחות חדשים ב-ChatGPT מסייעים למערכת להבין הקשר בשיחות רגישות ולהגיב בבטחה כאשר מתעוררת סכנה לאורך זמן.
חשיבות ההקשר בשיחות רגישות
שיחות רגישות מצריכות הבנה מעמיקה של ההקשר, שכן הודעה שנראית פשוטה או עמומה יכולה לשאת משמעות אחרת כשהיא נבחנת לצד סימנים מוקדמים של מצוקה. כדי להגיב כראוי, OpenAI מאמנים את ChatGPT לזהות כוונות מזיקות פוטנציאליות מתוך ההקשר הסובב, כך שהמערכת תוכל לסרב לבקשה, להקטין את המתח ולהנחות את המשתמש לקבלת תמיכה. המאמץ הזה מתמקד בסיטואציות חריפות כמו התאבדות, פגיעה עצמית ופגיעה באחרים.
שיפור הבטיחות בשיחות
במהלך שיחות מרובות, סימני אזהרה עשויים להתעורר בהדרגה. מערכת ChatGPT פותחה כדי לספק תגובות בטוחות יותר על ידי זיהוי דפוסים של כוונה מזיקה פוטנציאלית. הסיכומים הבטיחותיים נוצרים על ידי מודל מאומן למשימות הסקת בטיחות והם מתמקדים במידע רלוונטי בלבד ורק כאשר יש צורך בבטיחות.
שיתוף פעולה עם מומחי בריאות הנפש
OpenAI פיתחה את המערכות הללו בשיתוף פעולה עם מומחי בריאות הנפש, כולל פסיכיאטרים ופסיכולוגים המתמחים במניעת התאבדויות ופגיעה עצמית. המומחים עזרו לקבוע מתי יש ליצור סיכומי בטיחות וכמה הקשר מוקדם עשוי להיות רלוונטי. התמחותם סייעה להבטיח שהתגובות יהיו מתאימות במצבים רגישים.
מדידת השיפור
העדכונים עוזרים ל-ChatGPT לזהות דפוסי כוונה מזיקה פוטנציאלית הן בתוך שיחות בודדות והן בין שיחות מרובות. השיפורים נמדדו במבחנים פנימיים שהראו שיפור של 50% בתגובות בטוחות במקרי התאבדות ופגיעה עצמית, ו-16% במקרים של פגיעה באחרים.
מבט קדימה
הזיהוי של סיכונים שמתבררים רק עם הזמן מהווה אתגר ארוך טווח. OpenAI ממשיכה לשפר את היכולת של ChatGPT לזהות את הרגעים הנדירים אך החשובים הללו ולהגיב בהתאם. בעתיד, ייתכן שהשיטות הללו יסייעו גם בתחומים נוספים בעלי סיכון גבוה.
המאמר הזה מבוסס על דיווח של OpenAI Blog.
מבוסס על OpenAI Blog: https://openai.com/index/chatgpt-recognize-context-in-sensitive-conversations