Pour faire suite aux éditions 2009 et 2010 de l'atelier EvalECD (http://www.lirmm.fr/~bechet/EvalECD/index.html) organisé dans le cadre des conférences EGC 2009 et EGC 2010 sur la problématique importante liée à l'Evaluation des méthodes d'Extraction de Connaissances dans les Données. En effet, de plus en plus de méthodes sont proposées pour évaluer les approches dans divers domaines, que ce soit, en Fouille de Données, en Intégration de Données, en Ingénierie des Connaissances ou encore en Traitement Automatique des Langues. De manière générale, le but des méthodes d'évaluation est d'identifier la (ou les) méthode(s) les plus appropriée(s) à un problème donné. Ces évaluations consistent par exemple à comparer les différentes méthodes, en terme d'effort humain nécessaire que ce soit en amont (préparation des données) ou en aval (validation
manuelle des résultats), en termes de pertinence, de temps d'exécution, de résistance au bruit ou encore de robustesse aux changements de données et/ou de domaine d'application. Notons que de nombreuses méthodes d'évaluation ont des similitudes (mesures de précision, rappel, F-Mesure) mais peuvent se révéler spécifiques aux domaines et/ou aux données traitées.

Si l'on se focalise sur le cas particulier de la fouille de données la pertinence et la cohérence des méthodes de validation actuelles peuvent être discutées. Nous noterons principalement (1) la validation humaine (validation confirmant (ou infirmant) des hypothèses fournies par un (ou des) expert(s)) et (2) la validation automatique (confrontation du modèle à des modèles de référence), qui ont leurs limites.

(1) pose le problème de la subjectivité de ce type de validation. En effet, des experts d'un même domaine auront des avis subjectifs et à fortiori, n'auront que très rarement des avis similaires à un problème donné.

(2) pose le problème du choix des modèles de référence qui ne sont pas toujours adaptés à une approche. De plus, pour certaines tâches spécifiques, aucun modèle de référence n'existe et seule la validation humaine permet de mesurer la qualité d'un modèle. Par ailleurs, certains domaines d'application possèdent peu de données expertisées (par exemple dans le domaine biomédical), ce qui peut engendrer des difficultés majeures dans la phase d'évaluation. Enfin, les résultats sont souvent sensibles aux différents paramètres utilisés qui doivent être rigoureusement pris en compte dans les différents modèles utilisés.

L'objectif principal de ce numéro spécial est de recueillir et décrire les techniques d'évaluation utilisées dans différents domaines et de montrer leurs qualités et leurs limites. Un tel numéro spécial ouvert aux différentes communautés d'Extraction et de Gestion de Connaissances permet de compléter et/ou généraliser les travaux présentés dans des manifestations scientifiques très spécifiques (par exemple, ateliers de TIA'05, COLING'08 en Traitement Automatique des Langues et la compagne dévaluation OAEI en intégration d'informations). Ce numéro permettra ainsi de proposer un début de solutions aux problèmes occasionnés par la diversité des méthodes d'évaluations.


Thèmes développés (liste non limitative)
========================================
* Protocoles d'évaluation (automatiques, semi-automatiques, manuels)
* Mesures d'évaluation (Précision, Rappel, F-Mesure, Courbes ROC, ...)
* L'évaluation dans le cadre de challenges (TREC, DEFT, CLEFT, DUC, INEX, Pascal, OAEI, etc.)
* Tuning : spécifications des paramètres
* Construction de benchmarks
* Validation de connaissances en ECD
* Expertise humaine en TAL et en IC
* Évaluation en Intégration de Données
* Évaluation en Réconciliation et fusion de Données
* Évaluation des outils d'IHM (ergonomie, visualisation)

Dates importantes
=================
* Soumission des articles : 21 octobre 2010
* Notification aux auteurs : 15 décembre 2010
* Soumission de la version finale : 30 janvier 2011


Modalités de soumission
=======================

Recommandations aux auteurs

Les articles complets au format PDF devront être soumis avant le 21 octobre 2010 à l'adresse : evalecd10@lirmm.fr. Ils devront respecter la feuille de style de la revue RNTI disponible sur le site http ://www.antsearch.univ-tours.fr/rnti/.

Les articles auront une longueur de 20 à 25 pages. Ils devront être écrits en français ou en anglais.

Coordinateurs
=============
- Fatiha Saïs (LRI/INRIA-Saclay)
- Nicolas Béchet (INRIA)
- Mathieu Roche (LIRMM)


Comité de Rédaction
=====================================
- Jean-Yves Antoine (LI)
- Jérôme Azé (LRI)
- Catherine Berrut (LIG)
- Sandra Bringay (LIRMM)
- Patrice Buche (INRA)
- Guillaume Cleuziou (LIFO)
- Béatrice Daille (LINA)
- Ludovic Denoyer (LIP6)
- Jean-Gabriel Ganascia (LIP6)
- Stéphane Lallich (ERIC)
- Anne Laurent (LIRMM)
- Josiane Mothe (IRIT)
- Adeline Nazarenko (LIPN)
- Nathalie Pernelle (LRI, INRIA Saclay)
- Pascal Poncelet (LIRMM)
- Chantal Reynaud (LRI, INRIA Saclay)
- Christophe Roche (LISTIC)
- François Scharffe (INRIA)
- Laurent Simon (LRI, INRIA Saclay)
- Maguelonne Teisseire (CEMAGREF)
- Alexandre Termier (LIG)
- Fabien Torre (LIFL)
- Juan Manuel Torres-Moreno(LIA)
- Anne Vilnat (LIMSI)
- Haïfa Zargayouna (LIPN)
- Pierre Zweigenbaum (LIMSI)