לימוד חוקיות אסוציאטיבי

לימוד חוקיות אסוציאטיבי הוא כלל המבוסס על למידה חישובית למטרת גילוי יחסים מעניינים בין משתנים במאגרי מידע גדולים. תפקידו לזהות חוקיות חזקה במאגרי המידע תוך שימוש במדידות ענייניות ^[1]. בהתבסס על רעיונות החוקיות החזקה של ראקש ארגוואל, תומאס למילנסקי וארון סוואמי מוצגים חוקים אסוציאטיביים לגילוי תדירויות בין מוצרים המופיעים בנתוני עסקאות הנאספות בנקודות המכירה (Point Of Sale - POS) בסופרמרקטים. למשל, החוק ${\displaystyle {\displaystyle \{\mathrm {onions,potatoes} \}\Rightarrow \{\mathrm {burger} \}}}$ כפי שמוצאים בנתוני המכירות בסופרמרקטים יצביעו על כך שאם לקוח ירכוש בצל ותפוח אדמה יחד, רוב הסיכויים שירצה לרכוש גם בשר טחון. מידע כזה יכול לשמש בסיס לקבלת החלטות לגבי פעילויות שיווקיות כגון, קידום מכירות, תמחור או מיקום מוצרים. בנוסף לדוגמה הנ"ל מתחום ניתוח סל מכירות, חוקיות אסוציאטיבית מיושמת כיום בהרבה ענפים כגון ייצור רציף וביואינפורמטיקה. בניגוד לרצף כרייה, חוקיות אסוציאטיבית בדרך כלל אינה מחשיבה את הסדר של פריטים בתוך העסקה או בעסקאות המעבר.

דוגמה: מאגר נתונים עם 5 עסקאות ו-5 פריטים

תעודת זהות עסקית	חלב	לחם	חמאה	בירה	חיתולים
1	1	1	0	0	0
2	0	0	1	0	0
3	0	0	0	1	1
4	1	1	1	0	0
5	0	1	0	0	0

בהתאם להגדרה המקורית של אגראוול אט-אל, בעיית כריית החוקיות האסוציאטיבית מוגדרת באופן הבא:

נגדיר ${\displaystyle {\displaystyle I=\{i_{1},i_{2},\ldots ,i_{n}\}}}$ קבוצה של תכונות בינאריות הנקראות פריטים.

נגדיר ${\displaystyle {\displaystyle D=\{t_{1},t_{2},\ldots ,t_{m}\}}}$ קבוצה של עסקאות הנקראות מאגר הנתונים.

לכל עסקה בתוך D יש תעודת זיהוי עסקית ייחודית המכילה קבוצת משנה של פריטים בתוך I.

כל חוק מורכב על ידי שני סטים של פריטים, הידועים גם בשם סט פריטים (itemsets).

${\displaystyle X\Rightarrow Y,where{\displaystyle X,Y\subseteq I}X,Y\subseteq I.}$

כדי להמחיש את המושגים, נשתמש בדוגמה קטנה מתחום הסופרמרקטים. סט הפריטים הם {חיתולים, בירה, חמאה, לחם, חלב}${\displaystyle I=}$ ובטבלה מוצג מאגר נתונים קטן המכיל את הפריטים, כאשר בכל תא הערך 1 מציין את נוכחותו של הפריט בעסקה, והערך 0 מייצג את העדר הפריט בעסקה.

דוגמה לחוק עבור סופרמרקט יכול להיות {חמאה, לחם}${\displaystyle \Leftarrow }${חלב} ופירושו: אם הלקוח רכש חמאה ולחם אזי הוא ירכוש גם חלב.

דוגמה זו היא קטנה מאוד. ביישומים מעשיים, חוק צריך להתבסס על כמה מאות עסקאות כדי שייחשב כערך סטטיסטי, ומאגרי נתונים לעיתים קרובות מכילים אלפי או מיליוני עסקאות.

על מנת לבחור חוקים מעניינים מכל סט החוקים האפשריים, נעשים שימושים באילוצים על מגוון מדידות משמעותיות ומעניינות. האילוצים הידועים ביותר הם ערכי סף מינימליים בתמיכה וביטחון.

נגדיר ${\displaystyle X}$ להיות סט פריטים, ${\displaystyle X\Rightarrow Y}$ כחוק אסוציאטיבי ו-${\displaystyle T}$ כסט של עסקאות של מאגר נתונים נתון.

תמיכה היא אינדיקציה לתדירות הופעת הפריט במאגר הנתונים.

${\displaystyle {\displaystyle \mathrm {supp} (X)={\frac {|\{t\in T;X\subseteq t\}|}{|T|}}}}$

בדוגמה של מאגר הנתונים, ל- itemset {חיתולים, בירה}=X יש תמיכה של ${\displaystyle }$0.2 מאחר שהיא מתרחשת ב-20% מהעסקאות (1 מתוך 5 עסקאות). הארגומנט הוא קבוצה של תנאים מוקדמים, ובכך הופך להיות מגביל יותר ככל שהוא גדל.^[2]

ביטחון הוא אינדיקציה לכמות הפעמים שהחוק אומת.

ערך הביטחון של החוק, ${\displaystyle ,{\displaystyle X\Rightarrow Y}}$ ביחס לסט העסקאות ${\displaystyle T}$, הוא היחס של העסקאות שמכיל X ושמכיל גם Y.

ביטחון מוגדר כ:

${\displaystyle {\displaystyle \mathrm {conf} (X\Rightarrow Y)=\mathrm {supp} (X\cap Y)/\mathrm {supp} (X)}}$.

למשל, לחוק ${\displaystyle {\displaystyle \{\mathrm {butter,bread} \}\Rightarrow \{\mathrm {milk} \}}}$ יש ביטחון של ${\displaystyle 0.2/0.2=1.0}$ בתוך מאגר הנתונים, שפירושו כי על 100% של עסקאות המכילות חמאה ולחם הכלל הוא נכון (100% מהפעמים בו הלקוח קונה חמאה, לחם, הוא קונה גם חלב).

שים לב כי ${\displaystyle {\displaystyle \mathrm {supp} (X\cap Y)}}$ משמעו התמיכה של חיתוך הפריטים ב-X ו-Y. ניסוח כזה קצת מקשה מכיוון שאנחנו בדרך כלל חושבים במונחים של הסתברויות של אירועים ולא של סט פריטים. אנחנו יכולים להתייחס למינוח ${\displaystyle {\displaystyle \mathrm {supp} (X\cap Y)}}$ כהסתברות משותפת כאשר ${\displaystyle {\displaystyle P(E_{X}\wedge E_{Y})}}$, ו -${\displaystyle {\displaystyle E_{X}}}$ ו-${\displaystyle E_{Y}}$ מציינים אירועי עסקאות המכיל סט פריטים ${\displaystyle X}$ או ${\displaystyle Y}$, בהתאמה.^[3]

לפיכך ביטחון יכול להתפרש כ - " הערכה של ההסתברות המותנית ${\displaystyle P(E_{Y}|E_{X})}$, מה ההסתברות למצוא את RHS של כלל בעסקאות בתנאי עסקאות אלה מכילים גם את LHS.

הרמה של חוק מוגדרת כ:

${\displaystyle {\displaystyle \mathrm {lift} (X\Rightarrow Y)={\frac {\mathrm {supp} (X\cap Y)}{\mathrm {supp} (X)\times \mathrm {supp} (Y)}}}}$

או היחס בין התמיכה בפועל לבין המשוערת אם X ו-Y היו בלתי תלויים.

למשל, לחוק {חלב, לחם}${\displaystyle \Leftarrow }${חמאה} יש הרמה של ${\displaystyle {\displaystyle {\frac {0.2}{0.4\times 0.4}}=1.25}}$

אם ערך ההרמה של החוק היה 1, הדבר היה רומז שההסתברות להתרחשות הקודמת והסוגר אינם תלויים אחד בשני. כאשר שני מאורעות הם בלתי תלויים אחד בשני, כלל לא ניתן להסיק שום חוק.

אם ההרמה > 1, הדבר מאפשר לנו לדעת באיזו מידה שני המאורעות תלויים אחד בשני, והופך חוקים אלה להיות פוטנציאלים לשימוש עבור חיזוי הסוגר בעתיד.

התועלת של ההרמה היא בכך שהיא מביאה בחשבון את ביטחון החוק ואת סט המידע הכולל.

הרשעה של חוק מוגדרת כ:

${\displaystyle {\mathrm {conv} }(X\Rightarrow Y)={\frac {1-{\mathrm {supp} }(Y)}{1-{\mathrm {conf} }(X\Rightarrow Y)}}}$.

למשל, לחוק ${\displaystyle {\displaystyle \{\mathrm {milk,bread} \}\Rightarrow \{\mathrm {butter} \}}}$ יש הרשעה של ${\displaystyle {\frac {1-0.4}{1-0.5}}=1.2}$, ויכולה להתפרש כיחס בין התדירות הצפויה ש-X יתרחש ללא Y (ובמילים אחרות, התדירות שהחוק יוצר תחזית שגויה) אם X ו-Y היו מחולקים באופן בלתי תלוי על ידי התדירות הנצפית של התחזיות השגויות. בדוגמה זו, ערך ההרשעה 1.2 מראה כי החוק ${\displaystyle {\displaystyle \{\mathrm {milk,bread} \}\Rightarrow \{\mathrm {butter} \}}}$ יהיה שגוי ביותר מ-20%  (1.2 פעמים) אם הקשר בין X ו-Y יהיה לגמרי מקרי.

חוקיות אסוציאטיבית בדרך כלל נדרשת לספק למשתמש  מינימום תמיכה ומינימום ביטחון בו-זמנית. יצירת חוק אסוציאטיבי בדרך כלל מתחלקת לשני שלבים נפרדים:

1. שימוש במינימום תמיכה כדי למצוא את כל הסטים של הפריטים התכופים במאגר הנתונים.
2. שימוש במינימום ביטחון המגבלה  הסטים של הפריטים התכופים הללו על מנת ליצור חוקים.

בעוד שהשלב השני הוא יחסית פשוט, הצעד הראשון מצריך תשומת לב רבה יותר.

קיים קושי במציאת כל הסטים של הפריטים התכופים במאגר הנתונים מאחר שהדבר כרוך בחיפוש כל הסטים של הפריטים האפשריים (שילובים של פריטים). סט הפריטים האפשריים הוא קבוצת החזקה של ${\displaystyle I}$ וגודלו ${\displaystyle {\displaystyle 2^{n}-1}}$ (לא כולל קבוצה ריקה). אף על פי שערכו גדל באופן אקספוננציאלי, חיפוש יעיל יהיה אפשרי באמצעות downward-closure property עבור התמיכה,^[4] אשר מבטיח כי עבור סט פריטים תדיר, כל תתי הקבוצות שלו יהיו גם כן בתדירות גבוהה ולכן, לא יוצר מצב של סט פריטים שאינו תדיר יהיה תת-קבוצה עם תדירות גבוהה. 

רעיון החוקיות האסוציאטיבית הפך לפופולרי בעיקר בשל פרסום המאמר אגראוול, בשנת 1993, ונחשב לאחר המאמרים המצוטטים ביותר בתחום כריית הנתונים. עם זאת, קיימת אפשרות כי מה שמכונה כיום "חוקים אסוציאטיביים", דומה לערך שפורסם בשנת 1966 בדבר שיטת כריית הנתונים הכללית שפותחה על ידי פטר האג'ק.^[5]

שימוש מוקדם (circa 1989) של מינימום תמיכה וביטחון למציאת כל חוקי האסוציאציות היא תכונה מבוססת מודלי מסגרת, שמוצאת את כל החוקים עם ${\displaystyle {\displaystyle \mathrm {supp} (X)}}$ ו ${\displaystyle {\displaystyle \mathrm {conf} (X\Rightarrow Y)}}$ יותר גבוהים מהאילוצים שהגדיר המשתמש.

בנוסף ביטחון, הוצעו גם מדדים אחרים של ענייניות עבור החוקים שהוצעו. המפורסמים שבהם הם:

• כל-אמון^[6]
• כוח קולקטיבי ^[7]
• הרשעה^[8]
• מינוף^[9]
• הרמה ^[10]

מספר מדדים נוספים הוצגו והשוו על ידי טאן.^[11] והאסלר. החיפוש אחר טכניקות המסוגלות למדל את מה שידוע למשתמש נמצא כיום בשלבי מחקר ומכונה "ענייניות סובייקטיבי."

אחת מהמגבלות של הגישה הסטנדרטית לגילוי אסוציאציות זה על ידי חיפוש מספר גדול של אסוציאציות אפשריות לחיפוש אוספים של פריטים הנראים מקושרים, קיימת סכנה למציאת מספר רב של אסוציאציות מזויפות. קיימים אוספים של פריטים המתרחשים בתדירות בלתי צפויה בנתונים באופן מקרי. לדוגמה, נניח שאנו שוקלים אוסף של 10,000 פריטים ומחפשים כללים המכילים שני פריטים בצד שמאל, ופריט אחד בצד ימין. אם ניישם מבחן סטטיסטי לעצמאות עם רמת מובהקות של 0.05 זה אומר שיש רק סיכוי של 5% לקבלת החוק אם אין אסוציאציות. אם נניח שאין אסוציאציות אנחנו צריכים לצפות למצוא 50,000,000,00 חוקים. גילוי אסוציאציות צליל סטטיסטיות שולטות בסיכון. ברוב המקרים מורידות את הסיכון למציאת אסוציאציות משונות לקביעת רמת מובהקות עבור משתמש מסוים.

הרבה אלגוריתמים ליצירת חוקים אסוציאטיביים הוצגה לאורך זמן.

חלק מהאלגוריתמים הידועים הם  Apriori, Eclat ו- FP-Growth, אבל הם עושים רק חצי מהעבודה, מאחר שהם אלגוריתמים לכריית תדירות סט פריטים. צעד נוסף צריך להתבצע לאחר מכן, ליצור חוקים מתדירות סט פריטים שנמצאו בבסיס הנתונים.

Apriori משתמש באסטרטגיית חיפוש לרוחב כדי לספור את התמיכה של סט הפריטים ומשתמש בפונקציית יצירת המעומדים שמפיקה את מאפיין הסגירה כלפי מטה של התמיכה.

Eclat (ECLAT,, מסמלת טרנספורמציה מחלקת שקילות) הוא אלגוריתם חיפוש לרוחב המשתמש בסט הצטלבויות. זה הוא אלגוריתם אלגנטי באופן טבעי המתאים לשתי רציפויות כמו ביצוע מקבילי עם מאפייני שיפור מקומיים. הוא הוצג לראשונה על ידי Zaki,, Parthasarathy Li ו- Ogihara בסדרה של ניירות כתובים בשנת 1997.

מוחמד Javeed זכי, Srinivasan Parthasarathy, M. Ogihara, ווי לי: אלגוריתמים חדשים עבור מהירות הגילוי של איגוד כללי. KDD 1997.

מוחמד Javeed זכי, Srinivasan Parthasarathy, Mitsunori Ogihara, ווי לי: במקביל אלגוריתמים עבור גילוי של איגוד כללי. נתונים דקות. ידוע. וגילתה. 1(4): 343-373 (1997)

FP מייצג דפוס תדירות.^[12]

בשלב הראשון, התרחשות אלגוריתמי הספירה של פריטים (צמדי תכונה-ערך) בתוך בבסיס הנתונים, ואחסנו אותם ל 'טבלה ראשית'. בשלב השני, הוא בונה את FP-מבנה העץ על ידי הכנסת מופעים. פריטים בכל מופע צריכים להיות ממוינים על ידי ירידת סדר התדירות שלהם בבסיס הנתונים, כך שהעץ יכול לעבור עיבוד בזריזות. פריטים בכל מופע שלא פוגשים מינימום כיסוי סף נזרקים. אם הרבה מופעים חולקים הרבה תדירויות פריטים, עץ FP מספק דחיסת סגירה מקסימלית לשורשי העץ.

עיבוד רקורסיבי של גרסת הדחיסה הזו של גדילת נתוני סט ראשיים בסט נתונים גדול באופן ישיר, במקום יצירת פריטים מועמדים ובחינתם לעומת שאר בסיס הנתונים. הגדילה מתחילה מתחתית הטבלה הראשית (המכילה את הענפים הארוכים ביותר), על ידי מציאת כל המופעים המתאימים בהינתן תנאים. עץ חדש נוצר, עם ספירות חזויות מהעץ המקורי התואמות לסט המופעים שהם מותנים לתכונה, עם כל תנודה לוקח סכום של ספירות ילדו. צמיחה רקורסיבית מסתיימת כאשר אין פריט אינדיבידואלי מותנה לתכונה הפוגש מינימום תמיכת סף, והעיבוד ממשיך על יתרת הפרטים הראשיים של העץ FP המקורי.

ברגע שהתהליך הרקורסיבי הושלם, כל הסטים הגדולים של הפריטים עם כיסוי מינימלי נמצאו, ומתחיל יצירת חוק האסוציאציות.^[13]

AprioriDP מנצל תכנות דינמי בתדירות כריית סט פריטים. עקרון העבודה היא להסיר את הדור המועמד כמו בעץ FP, אבל הוא מאחסן ספירת תמיכה במבנה נתונים מיוחד במקום העץ.

האלגוריתם הקשר המבוסס כריית חוק אסוציאטיבי (CBPNARM), פותח בשנת 2013 על מנת ליצור חוקיי אסוציאציות על בסיס הקשר. זה משמש משתנה הקשר על בסיס תמיכה של סט פריטים משתנה לפי החוקים המאוכלסים בסט הפריטים.

FIN ,PrePost ו-PPV הם שלושה אלגוריתמים המבוססים על צומת סטים. הם משתמשים בצמתים לקידוד עץ FP לייצג סט פריטים, ומעסיקים אסטרטגיית חיפוש ראשוני עמוק לגילוי תדירות השימוש בסט פריטים בצומת סטים.

סיפור מפורסם על איגוד חוק כרייה הוא "הבירה והחיתול". מדובר כביכול בסקר התנהגות לקוחות בסופרמרקט שגילה כי לקוחות (ככל הנראה גברים צעירים) הקונים חיתולים נוטים גם לקנות בירה. אנקדוטה זו הפך פופולרי בתור דוגמה כיצד חוקיי אסוציאציות בלתי צפויים עשויים להימצא בנתוני חיי היום יום. יש דעות שונות לגבי אמינות הסיפור.

• למידת מכונה

ביבליוגרפיות

• נרחב ביבליוגרפיה על כללי התאגדות על ידי J. M. לונה
• מבואר ביבליוגרפיה על כללי התאגדות על ידי מ Hahsler
• Statsoft אלקטרוני סטטיסטיקה לימוד: כללי התאגדות(הקישור אינו פעיל) על ידי Dell תוכנה