Eran Dahan’s Post

View profile for Eran Dahan, graphic

Head of Digital and Data Branch at DDR&D IMOD | Ph.D. Candidate in Machine Learning / AI | Bridging Defense & Tech Communities

Important work by our team in DDR&D (MAFAT) - Directorate of Defense Research & Development , with Webiks and DICTA - The Israel Center for Text Analysis. As we accelerate the development of Hebrew Large Language Models (LLMs), we are seeing increased engagement from academia, industry, and other sectors. A crucial aspect of our project is the creation of tools and methods for algorithm comparison. These resources are essential for facilitating advancements in this field. We have made these resources available as open-source (see below). You can access datasets and leaderboards to compare various Hebrew LLMs and select the optimal algorithm for your specific needs. https://lnkd.in/daFXkbnH

View profile for Koren Levenbrown, graphic

Data Scientist | Head of Information Exploitation and AI Section at DDR&D (MAFAT)

English below תכנית הלאומית לעיבוד שפה טבעית בעברית ובערבית בהובלת מפא״ת, בשיתוף עם Dicta ו-Webiks, שמחה להציג את לוח ה-leaderboard החדש שלנו להערכת מודלי שפה גנרטיביים (LLM) בעברית. עברית היא שפה עשירה מבחינה מורפולוגית עם מערכת מורכבת של שורשים ודפוסים. מילים נבנות משורשים באמצעות קידומות, סיומות, והטיות בתוך המילה, המשמשות לשינוי המשמעות, הזמן או יצירת ריבוי (בין היתר). כתוצאה ממורכבות השפה העברית, מודלי LLM קיימים עלולים להתקשות בעיבוד והבנה מדויקים של העברית, ונדרש שימוש במדדים ייעודיים לשפה העברית. כאן נכנס לתמונה ה-leaderboard החדש שלנו, שנועד לספק מדדי הערכה למשימות ספציפיות בשפה העברית, ולקדם קהילה פתוחה ומבוססת לשיפור מודלי LLM בעברית. אנו משתמשים ב 4 מדדים בשלב זה: שאלות ותשובות ניתוח סנטימנט וינוגרד - לוגיקה תרגום עברית <=> אנגלית ובקרוב NLI ודאטה סטים נוספים! לפרטים נוספים, מוזמנים להיכנס לבלוג המלא בהאגינגפייס כאן: https://lnkd.in/dZj5h8tt או ישירות ללוח: https://lnkd.in/deRJPEkp זוהי קריאה לפעולה - אנחנו מזמינים חוקרים, מפתחים ואוהבי שפה להשתתף ביוזמה זו, לשתף, להשוות ולשפר מודלי LLM בעברית, ולהציע מדדים נוספים ושיפורים. תודה מיוחדת לפרופ' רעות צרפתי מאוניברסיטת בר-אילן על הנחייתה המדעית. The Directorate of Defense Research & Development (DDR&D/MAFAT), in partnership with Dicta and Webiks, is excited to introduce our new leaderboard for evaluating generative large language models (LLM) in Hebrew.  The leaderboard aims to provide evaluation metrics for specific tasks in the Hebrew language and foster a collaborative community to enhance LLMs in Hebrew. Hebrew is a morphologically rich language with a complex system of roots and patterns. Words are formed from roots using prefixes, suffixes, and inflections within the word, which serve to alter meaning, time, or plurals. Due to the complexity of the Hebrew language, existing LLM models may struggle with accurately processing and understanding Hebrew, requiring the use of dedicated metrics for the Hebrew language. Currently, our leaderboard evaluates four evaluation datasets: - Question answering - Sentiment analysis - Winograd - Logic - Hebrew <=> English translation More evaluation datasets, such as NLI and others, will be published soon. For more information, please check the complete blog on Hugging face at: https://lnkd.in/dZj5h8tt Or visit the leaderboard directly at: https://lnkd.in/deRJPEkp We encourage researchers, developers, and language enthusiasts to join this initiative to exchange ideas, enhance, and further develop LLM models in Hebrew. We also welcome suggestions for new metrics and enhancements. A special acknowledgment to Prof. Reut Tsarfaty from Bar-Ilan University for her scientific guidance.

Introducing the Open Leaderboard for Hebrew LLMs!

Introducing the Open Leaderboard for Hebrew LLMs!

huggingface.co

Barak Hagbi

Director of Engineering | Software Architect | AI, ML | M.Sc, MBA | Ex 8200-9900

2mo

יפה מאד! נשמעת יוזמה נהדרת, מקווה שתניב פירות

Itay Varkovitzky

🌍 Curious explorer | Investment professional | Science and Engineering expert | Bridging the gap between needs and solutions | Climate-Tech, FoodTech, AgTech, HealthTech and anywhere Biology can make a difference

2mo

Wonderful!

See more comments

To view or add a comment, sign in

Explore topics