Hubert Wassner

Baldr est l'outil anti-plagiat que nous (prof' et étudiants de l'ESIEA) avons créé. J'ai donc l'habitude de l'utiliser à chaque rendu de Travaux Pratique (TP) en informatique, ce qui me permet en 1 minute de repérer les codes qui se ressemblent « trop ». Jusqu'à présent j'ai traité en même temps entre 30 et 40 fichiers à la fois... Là, pour la première fois j'ai plus de 250 codes à analyser! Ces codes sont issus du concours de programmation Wingineer...

Avant d'analyser les codes proposés par les candidats du concours Wingineer, regardons d'abord comment ça marche sur un exemple...

Baldr produit une mesure distance entre tous les codes analysés. Naturellement les codes ayant des distances proches sont ceux qui ont le plus de chances de contenir du plagiat.... Cette image montre l'histogramme des distances sur un rendu de TP :

Comment l'interpréter ? L'axe x représentante la distance, et l'axe y représente le nombre de paires de codes ayant cette distance entre eux.

• La distance la plus probable entre 2 codes pris au hasard est environ 0.75 (le pic le plus haut). Cette distance est donc « normale », si on fait l'hypothèse que les fraudeur/plagiaires sont minoritaire.
• La question est alors : en dessous de quelle distance est-ce inquiétant (=fraude potentielle) ?... En regardant l'histogramme ont voit que la courbe baisse au fur et à mesure qu'on se déplace vers la gauche (en partant du pic). Cela veux dire plus on s'intéresse aux paires de codes ayant une distance faible entre eux, moins il sont nombreux. On voit même que vers 0.5 il n'y en a plus du tout... Et vers 0,46 il y a à nouveau un tout petit pic, cette distance est à la fois la distance la plus faible de l'ensemble et en plus il n'y a pas d'autres valeurs de distances proches. Il s'agit donc la d'une distance « a-normale » entre deux codes, c'est une suspicions de fraude. (Qui sera avéré après analyse manuelle des codes en question).

Regardons maintenant le même type d'analyse mais maintenant sur les +250 codes des candidats au concours Wingineer.

Baldr va donc me permettre d'estimer le niveau de plagiat (copie) qu'il y a entre les candidats du concours Wingineer.

En applicant la même analyse que précédemment, on constate que :

• le nombre de codes ayant une forte ressemblance entre eux est faible. En pratique il s'agit en fait des candidats qui n'ont fait que soumettre des codes d'exemples proposé sur le site du concours, (avec très peu de modifications). Il n'y a donc pas de plagiat/fraude à proprement parler.
• La courbe est beaucoup plus étalée que ce que j'ai l'habitude de voir pour les rendus de TP, pourquoi ?
  • Le profils des candidats est beaucoup plus large que ce que on peut avoir dans une classe (dans les inscrit il y a des gens qui sont en classe de seconde et d'autres qui ont un doctorat !, dans une classe il n'y a pas autant d'écart de niveau).
  • la nature du problème autorise beaucoup plus de solutions différentes qu'un TP classique d'info' (c'est la raison pour laquelle, le concours peut à la fois intéresser un lycéen de seconde et quelqu'un qui a un doctorat en informatique)

Si on fait la même analyse uniquement sur les candidats en classe de terminale, voilà ce qu'on obtient.

On voit alors que l'histogramme est plus « étroit » (entre ~0.3 et ~0.9), c'est logique puisqu'alors on a à nouveau une population plus homogène en terme de compétences informatique (même si il reste des différences, la variabilité est moins importante que sur l'ensemble des candidats...)

Cela peut paraître futile mais ce qui est bluffant dans cette expérience c'est que j'ai pu extraire ces informations en 2 minutes !! Sans l'outil Balr, il aurait fallu analyser plus de 250 codes et faire plus de 30.000 comparaisons, bref un travail de titan...

Voyez cet article pour plus de détails sur le fonctionnement de Baldr...