Giada Pistilli's picture

Giada Pistilli

giadap

·

https://giadapistilli.com

AI & ML interests

Principal Ethicist @ HF

Recent Activity

Reacted to malhajar's post with 🔥 5 days ago

🇫🇷 Lancement officiel de l'OpenLLM French Leaderboard : initiative open-source pour référencer l’évaluation des LLMs francophones Après beaucoup d’efforts et de sueurs avec Alexandre Lavallee, nous sommes ravis d’annoncer que le OpenLLMFrenchLeaderboard est en ligne sur Hugging Face (space url: https://huggingface.co/spaces/le-leadboard/OpenLLMFrenchLeaderboard) la toute première plateforme dédiée à l’évaluation des grands modèles de langage (LLM) en français. 🇫🇷✨ Ce projet de longue haleine est avant tout une œuvre de passion mais surtout une nécessité absolue. Il devient urgent et vital d'oeuvrer à plus de transparence dans ce domaine stratégique des LLM dits multilingues. La première pièce à l'édifice est donc la mise en place d'une évaluation systématique et systémique des modèles actuels et futurs. Votre modèle IA français est-il prêt à se démarquer ? Soumettez le dans notre espace, et voyez comment vous vous comparez par rapport aux autres modèles. ❓ Comment ça marche : Soumettez votre LLM français pour évaluation, et nous le testerons sur des benchmarks de référence spécifiquement adaptés pour la langue française — notre suite de benchmarks comprend : - BBH-fr : Raisonnement complexe - IFEval-fr : Suivi d'instructions - GPQA-fr : Connaissances avancées - MUSR-fr : Raisonnement narratif - MATH_LVL5-fr : Capacités mathématiques - MMMLU-fr : Compréhension multitâche Le processus est encore manuel, mais nous travaillons sur son automatisation, avec le soutien de la communauté Hugging Face. @clem , on se prépare pour une mise à niveau de l’espace ? 😏👀 Ce n'est pas qu'une question de chiffres—il s'agit de créer une IA qui reflète vraiment notre langue, notre culture et nos valeurs. OpenLLMFrenchLeaderboard est notre contribution personnelle pour façonner l'avenir des LLM en France.

View all activity

Articles

Ethics and Society Newsletter #6: Building Better AI: The Importance of Data Quality

Unveiling CIVICS: A New Dataset for Examining Cultural Values in Language Models

Introducing IDEFICS: An Open Reproduction of State-of-the-art Visual Language Model

Ethics and Society Newsletter #4: Bias in Text-to-Image Models

Announcing our new Content Guidelines and Policy

Ethics and Society Newsletter #3: Ethical Openness at Hugging Face

Ethical guidelines for developing the Diffusers library

Putting ethical principles at the core of research lifecycle

Organizations

Papers 7

arxiv:2409.15323

arxiv:2405.13974

arxiv:2305.18615

arxiv:2303.03915

models

None public yet

datasets

None public yet