En tant qu’étudiants diplômés travaillant côte à côte dans une boîte à gants, deux d’entre nous (Caleb Martin et Jason Dutton) ont subi des pressions pour obtenir des données d’analyse élémentaire répondant aux normes strictes des revues. Alors que nous pouvions acquérir et analyser d’autres données spectrales (telles que les spectres RMN, infrarouge et de masse) pour de nouveaux composés sur place, l’analyse élémentaire a été effectuée par un tiers. Si les résultats qui nous étaient envoyés s’écartaient des valeurs attendues, nous ne pouvions guère faire plus que hausser les épaules, pointer vers nos spectres RMN propres et essayer de synthétiser ou de purifier un « meilleur » échantillon, qui donnait des chiffres appropriés ou non, après un retard de plusieurs semaines.
De plus, les valeurs renvoyées n’avaient pas de barres d’erreur ni de données brutes corroborantes. Il n’y a pas non plus de directives sur la façon de traiter les données sur un échantillon soumis à nouveau ni, si l’entreprise a effectué des analyses en double, sur la façon dont les nombres multiples doivent être interprétés. Des commentaires anecdotiques de la communauté synthétique indiquent qu’il est courant dans de nombreux groupes de renvoyer un échantillon du même lot et de sélectionner simplement le meilleur résultat. Les revues exigeaient généralement des valeurs à ± 0,4 % des valeurs calculées pour le carbone, l’hydrogène et l’azote dans une formule proposée, mais ne fournissaient aucune justification pour ce seuil. Des années plus tard, dans nos postes académiques, nous avons affronté cette situation sous un angle différent. L’analyse élémentaire était une dépense pour nos budgets limités, et des résultats insatisfaisants retardaient la publication.
Nous avons conçu une étude pour évaluer la fiabilité des résultats d’analyse élémentaire. Compte tenu des enjeux élevés de la remise en question d’une technique analytique ancrée dans les directives des revues depuis des décennies, nous avons consulté deux amis qui avaient également exprimé des préoccupations pertinentes. Rebecca Melen avait exprimé sa frustration sur Twitter au sujet des difficultés à obtenir des données d’analyse élémentaire lors d’un verrouillage de Covid-19 face à un journal inflexible. Saurabh Chitnis s’était lassé de s’appuyer sur des laboratoires tiers pour les données d’analyse élémentaire, et a récemment acheté son propre instrument pour réduire les coûts et assurer un meilleur contrôle de la qualité.
Lors d’une réunion virtuelle, nous avons conçu un plan pour évaluer la fiabilité des services tiers. Nous avons sélectionné cinq composés organiques stables à l’air – tous passés sur l’instrument Chitnis fraîchement calibré. L’envoi de ces échantillons à deux installations externes a donné des résultats qui variaient énormément les uns des autres, plusieurs points de données se situant en dehors de la marge de 0,4 %. Heureusement, si les données de ces deux fournisseurs avaient été exactes, nous aurions peut-être abandonné le projet.
Ensuite, nous avons envoyé les échantillons à 15 autres services d’analyse élémentaire universitaires ou d’entreprise. Certains ont donné des valeurs parfaites dans tous les domaines, tandis qu’une entreprise avait un taux d’échec de 30 %, où un échec correspond à des données en dehors de la ligne directrice de 0,4 %. Un résultat carbone est supérieur de 7 % – cette amplitude de variation dans un échantillon réel entraînerait une rencontre inconfortable avec un superviseur !
Nous, les chimistes, ne savions pas comment analyser les données agrégées. Ainsi, nous avons inclus le statisticien expert Rupert Kuveke en tant que co-auteur principal, pour analyser le sens de près de 500 points de données CHN. D’après cette analyse, plus de 16 % des résultats de carbone n’ont pas satisfait à l’exigence de ± 0,4 %. La source de la variation ne peut être déterminée à partir de notre étude, mais l’analyse statistique indique qu’elle est essentiellement aléatoire. Si l’on devait considérer un taux d’échec de 5 % acceptable, une marge de ± 0,71 % devrait être fixée pour le carbone. Même dans ce cas, 5% de tous les échantillons échoueraient en raison de facteurs indépendants de la volonté du chercheur.
Nous espérons que notre étude incitera les revues à justifier leur seuil et leurs exigences en matière d’analyses élémentaires
À notre grande surprise, l’étude a suscité une réponse extrêmement positive, et nous apprécions Sciences centrales de l’AEC ainsi que la communauté synthétique pour être si réceptive à un article potentiellement controversé. Cela reflète probablement la douleur systémique que l’analyse élémentaire inflige à la communauté. Nous n’avons reçu que deux e-mails critiques indiquant que la technique est exacte si elle est exécutée correctement. Nous sommes entièrement d’accord – le problème est qu’on ne peut pas vérifier le soin apporté lorsque les analyses sont effectuées dans des installations tierces. Plusieurs chercheurs ont utilisé avec succès nos valeurs dans des lettres de réfutation aux examinateurs exigeant de « meilleures » données d’analyse élémentaire et certains ont cité le travail dans la section expérimentale de leurs manuscrits.
Notre manuscrit fournit des données et indique sa signification statistique, invitant les lecteurs à tirer leurs propres conclusions. Nous reconnaissons qu’il ne s’agit pas d’une étude complète sur la méthode car les faux positifs n’ont pas été pris en compte, mais il est clair que les attitudes des revues et des examinateurs à l’égard des données d’analyse élémentaire nécessitent des modifications majeures car la couverture actuelle (presque) de ± 0,4 % n’est pas une norme scientifiquement justifiable. Nous espérons que notre étude incitera les revues à justifier leur seuil et leurs exigences en matière d’analyses élémentaires, et éduquera les examinateurs sur le taux de faux échecs, ce qui rendrait la chimie synthétique moins frustrante et plus agréable pour les chercheurs à toutes les étapes de leur carrière.
