קריאת ספרים מודפסים אמיתיים
דפוס עברי ישן הוא המקום שבו OCR פתוח חלש במיוחד. אנחנו מצמידים סריקות של ספרים בנחלת הכלל לטקסט המוקלד של אותה מהדורה מפרויקט בן־יהודה, וכך מקבלים דוגמאות אימון מדויקות ברמת השורה מעמודים אמיתיים. הסריקות מגיעות מאוסף "שימוש חופשי" של הספרייה הלאומית, ומסריקות בנחלת הכלל ב־Internet Archive וב־Wikimedia Commons. כל שורה שתתפרסם תשמור את רשומת המקור שלה ואת הצדקת הזכויות שלה.
R7 · כוונון של Tesseract, יותר ספרים
אותו מתכון כמו R6, על 95 אלף שורות אמיתיות מ־30 ספרים בנחלת הכלל: 7 סריקות של הספרייה הלאומית ו־23 סריקות של ספריות אוניברסיטאיות ב־Internet Archive. הוא קורא שורות בודדות טוב יותר מ־R6, עם כרבע פחות שגיאות תווים על ספרים שלא שימשו לאימון. על אותם 38 עמודים, ברמת העמוד השלם הוא בתיקו עם R6: 20.9% שגיאת תווים ו־39.3% שגיאת מילים, לעומת 22.6% ו־47.3% ב־Tesseract הרגיל. R6 עדיין תקף. השימוש: -l heocr_r7.
R6 · כוונון של Tesseract
מודל העברית הפתוח של Google, tessdata_best, אחרי כוונון על 13.6 אלף שורות אמיתיות מסריקות של הספרייה הלאומית. בדקנו אותו על 38 עמודי ספרים אמיתיים, עם טקסט שנבדק בידי אדם (ויקיטקסט העברי): 20.9% שגיאת תווים לעומת 22.6% ב־Tesseract הרגיל, ו־40.7% שגיאת מילים לעומת 47.3%. זה שיפור אמיתי, אבל קטן. אפשר להשתמש בו במקום heb של Tesseract, עם -l heocr_r6.
נתוני שורות מסריקות אמיתיות
תמונות שורה מסריקות אמיתיות, כל אחת עם טקסט המהדורה שלה. כל שורה מתעדת את הספר, את רשומת הסריקה, את הספרייה שממנה הגיעה ואת הצדקת הזכויות, כך שאפשר להתחקות אחרי כל פריט או להסיר אותו.
מודלים
צינור עבודה בן שלושה שלבים ב־kraken לעמודי מסמכים בעברית מודרנית: מציאת השורות, סידורן בסדר הקריאה, וקריאתן. אלה מודלי בסיס למחקר שאומנו רק על עמודים סינתטיים. על דפוס סרוק אמיתי הם חלשים בהרבה, ועל זה בדיוק עונה העבודה על ספרים אמיתיים שלמעלה.
R4d · פילוח
מוצא את קווי הבסיס והמצולעים של שורות הטקסט, ושמונה סוגי אזורים, כמו כותרת, גוף, חותמת, חתימה ותאי טבלה.
R3h · זיהוי
קורא שורות עברית מודפסות ובסגנון כתב יד, כולל ספרות, אותיות לטיניות ופיסוק.
מאגרי נתונים
כל מאגר בנוי רק מחומר שמותר להפיץ ולהשתמש בו מחדש, גם ללמידת מכונה. הזכויות מתועדות לכל פריט, ולא מניחים אותן לגבי אוסף שלם.
HASH
ארכיון עברי של כתב יד סרוק (Hebrew Archive of Scanned Handwriting): מסמכים סרוקים בכתב יד עברי מהמאה ה־18 ואילך, ובהם מכתבים, מחברות, טיוטות וטפסים.
htext
טקסט עברי בנחלת הכלל לאימון, החל משורות מיצירות פרויקט בן־יהודה, עם ניקוד ובלעדיו. כל יצירה מסומנת כנחלת הכלל בישראל, בארה"ב או בשתיהן.
hletterscript
אותיות עבריות בכתב יד, חתוכות וממוינות לפי כותב, מתוך סריקות בנחלת הכלל. משמשות ליצירת כתב יד סינתטי.
HeOCR ו־HeOCRsynth
מאגרי ה־OCR/HTR המרכזיים: אחד משלב עמודים אמיתיים וסינתטיים, והשני סינתטי בלבד. hocrgen מייצא את שניהם אחרי שבדיקות השחרור שלו עוברות.
מקורות וקרדיט
אנחנו משתמשים רק ביצירות בנחלת הכלל, וכל פריט שומר את המקור ואת הקרדיט שלו. איך אנחנו בודקים זכויות: זכויות והסרה.
הספרייה הלאומית
סריקות של ספרים בנחלת הכלל מהאוסף "נחלת הכלל, שימוש חופשי". כל פריט נושא את הקרדיט "מאוסף הספרייה הלאומית" (From the collections of the National Library of Israel), עם מספר הרשומה.
Internet Archive ו־Wikimedia Commons
סריקות של ספרים בנחלת הכלל שנעשו בידי ספריות אוניברסיטאיות, כמו אוניברסיטת טורונטו, ובידי Google עבור ספריות. כל פריט שומר את המזהה שלו, את זהות הסורק ואת ראיות הזכויות. דפי השער וסימני המים של Google מוסרים.
פרויקט בן־יהודה
טקסטים בנחלת הכלל שהקלידו מתנדבים, של אותן מהדורות. הם מספקים את הטקסט המדויק לכל שורה סרוקה, ואת טקסט האימון לעמודים סינתטיים.
ויקיטקסט העברי
תעתיקים מוגהים של עמודים סרוקים. אנחנו משתמשים בהם להערכה בלבד, וכל עמוד נבדק בידי אדם. הטקסט שלהם ברישיון CC BY-SA.
מחוללים וצינורות עבודה
הקוד שבונה את מאגרי הנתונים ומאמן את המודלים. כולו ברישיון MIT.
hocrsyngen
מחולל עמודים סינתטיים בעברית. מפיק עמודים מודפסים ובסגנון כתב יד, עם תיוג שורות ומטא־דאטה של כיווניות מימין לשמאל, מטקסט אימון ב־CC0 ומגופנים פתוחים.
hletterscriptgen
מחלץ ערכות אותיות לכל כותב מסריקות HASH ומתיוגי אותיות שנבדקו בידי אדם.
hocrgen
ניהול מאגרי הנתונים ובדיקות השחרור: איסוף, זכויות, בדיקה ידנית, הסרת כפילויות, חלוקות, מבחני השוואה וייצוא למאגרים הציבוריים.
heocr-engine
קוד האימון, ההערכה והשחרור של המודלים שלמעלה, וגם בסיס השוואה מקומי של Tesseract עם פורמט תחזיות שאפשר לשחזר.