Les LLM locaux et le test de la RS&DE

Related Expertise:

Duration
3 min read
Published
Table of contents

Huan Le

Consultant Senior en Crédit D'impôt RS&DE

Les modèles à poids ouverts ont dépassé la capacité des équipements que possèdent la plupart des entreprises. Les équipes qui souhaitent les exécuter sur leur propre infrastructure, pour des raisons de résidence des données, de coûts ou de latence, doivent combler cet écart elles-mêmes : quantification, distillation, gestion de la mémoire, stratégies de service sous un plafond matériel fixe.

Ces travaux constituent-ils de la RS&DE? Tout dépend de ce que vous avez tenté et pourquoi, et non de la technologie employée.

Commencez par le test, pas par la technologie

L’ARC évalue les travaux réalisés. Elle ne tient aucune liste de technologies admissibles. Les trois mêmes critères s’appliquent, comme toujours : les travaux visaient-ils un avancement technologique, se heurtaient-ils à une incertitude que la pratique courante ne permettait pas de résoudre, et ont-ils été menés au moyen d’une investigation systématique?

Cette distinction compte davantage en IA que dans bien d’autres domaines, car l’outillage est devenu excellent et une grande part du travail quotidien relève de la configuration selon des paramètres documentés. Or, une même activité peut se situer d’un côté ou de l’autre de la ligne. Faire un réglage fin à partir d’une recette publiée est une chose. Faire un réglage fin lorsque cette recette échoue face à votre contrainte, sans moyen de savoir d’avance ce qui fonctionnera, en est une autre.

Quatre questions à se poser

Contre quelle contrainte travailliez-vous? L’incertitude se loge souvent entre une exigence et les capacités disponibles : un plafond de VRAM, une cible de latence, un seuil d’exactitude qui doit tenir sur vos propres données.

Que proposait la pratique courante, et en quoi s’est-elle révélée insuffisante? Si une approche documentée existait et fonctionnait, il n’y avait pas d’incertitude. Si elle a échoué de façon mesurable face à votre contrainte, c’est là que commence le récit RS&DE.

Qu’avez-vous tenté ensuite, et pourquoi cette avenue? L’investigation systématique suppose une hypothèse, un test et une conclusion. Les évaluations, les ablations et les tests comparatifs en témoignent précisément, à condition d’être rattachés à la question qu’ils devaient trancher.

Qu’avez-vous consigné pendant les travaux? L’ARC s’attend à une documentation contemporaine et à des descriptions techniques portant sur une incertitude précise plutôt que sur une amélioration générale. Les journaux d’exécution et l’historique des commits constituent de solides éléments de preuve, et perdent beaucoup de valeur si personne ne peut les rattacher à un projet six mois plus tard.

Les travaux qui n’ont pas abouti

Une tentative abandonnée ne donne pas une demande plus faible. Si une équipe a passé six semaines à tenter de faire entrer un modèle dans une enveloppe matérielle sans y parvenir, ce résultat témoigne directement de l’incertitude que le programme vise à soutenir.

Prochaines étapes

Rien de ce qui précède ne tranche quoi que ce soit quant à vos projets : l’admissibilité repose sur vos faits. Passez vos travaux en IA en revue à la lumière de ces questions avant votre date limite de production, et vérifiez si les éléments de preuve que vous générez déjà résisteraient à un examen.

De récentes modifications législatives ont par ailleurs rétabli l’admissibilité des dépenses en capital, ce qui peut influer sur le traitement du matériel derrière ces travaux. Nous y consacrons un article distinct.

Les consultants techniques de Leyton accompagnent les équipes canadiennes en IA et en logiciel dans l’évaluation de leurs projets au regard des critères de la RS&DE. Communiquez avec notre équipe pour discuter de vos travaux en cours.

Prêts pour la prochaine étape ?

Réservez une évaluation gratuite

Prêts à accélérer votre transformation ? Planifiez une session de 30 minutes avec l’un de nos partenaires spécialisés pour discuter de vos défis actuels.