Annales des Ponts
, n°83, 1997.
A LA RECHERCHE DES RÉELS
de Cauchy à Gödel et Paul Cohen
Nicolas Bouleau
QU’EST-CE QU’UN NOMBRE RÉEL ? TOUT INGÉNIEUR CROIT POUVOIR RÉPONDRE.
QUESTION ANODINE EN APPARENCE, REDOUTABLE EN FAIT, À LAQUELLE CAUCHY A APPORTÉ UNE VIVE LUMIERE.
C’EST UN DES SUJETS PAR LEQUEL IL MONTRE QUE LA RIGUEUR NE VA PAS NÉCESSAIREMENT VERS L’ACADÉMISME MAIS PEUT AUSSI ETRE LA CONDITION D’UNE FÉCONDITÉ RENOUVELÉE. CAUCHY OUVRE AINSI L’ÉRE MODERNE EN MATHÉMATIQUES QUI, AVEC DES MOYENS PLUS PUISSANTS, SE PENCHERA À NOUVEAU SUR LA QUESTION DES RÉELS, ET Y TROUVERA ... UNE PROFONDEUR INSONDABLE.
Les systèmes de numération des Babyloniens et des Egyptiens permettaient de noter une grandeur avec la précision que pouvait requérir la mesure selon le principe de la règle graduée. Cette acception naïve, qui à un point d'une droite, pourvue d'une origine et d'une unité, associe un nombre et réciproquement est la représentation courante aujourd'hui encore, à juste titre, car elle est tout à fait opératoire.
C’est à Eudoxe, ami de Platon, qu’il revient d’avoir donné à cette vision toute la clarté qu’on trouve exposée axiomatiquement dans le livre VII d’Euclide. Les grandeurs (que nous appellerions les réels positifs) sont désignées par des lettres, peuvent être additionnées, multipliées par des entiers, on peut former leurs rapports. Des critères sont donnés pour l’égalité des rapports. L’axiome dit d’Archimède (dû à Eudoxe) que pour toutes grandeurs A et B il existe un entier n tel que nA>B, est explicité, etc.
Au demeurant, les grecs eux-mêmes s’étaient aperçus que cette représentation recelait quelques mystères puisque la géométrie montre que les rapports entre les grandeurs ne peuvent pas toujours s'exprimer par le rapport de deux entiers. L'harmonie des proportions et de la musique ne s'étend pas à toute la géométrie: la diagonale du carré est incommensurable avec le côté.
Dès le 5ème siècle l'école pythagoricienne était en possession d'une preuve de l'irrationalité de
(et de celles d'autres irrationnels) . Dès lors, depuis l'antiquité jusqu'au 18ème siècle, suivant les traces d'Eudoxe et d'Euclide, les mathématiciens notèrent les nombres par des lettres sur lesquelles les opérations d'addition et de multiplication, valides pour les rationnels, s'appliquaient aussi bien. C'est donc la référence à un modèle géométrique qui donnait du sens, sans qu'on sache précisément décrire les nombres solutions d'équations algébriques ou d'autres équations qui ne sont pas rationnels, qui sont "entre" les rationnels.
Les nombres comme limites de suites convergentes
Notre propos n'est pas ici de rendre compte de la place de Louis Augustin Cauchy dans l’histoire des mathématiques, place résultant d’une énergie créatrice considérable qu'illustre l'immensité de son œuvre (782 publications réunies dans les 27 tomes de ses œuvres complètes), nous renvoyons à ce sujet à [1], [2], [4], et surtout [3]. En revanche, il est important et significatif de pénétrer l’esprit de son travail de recherche afin de dégager combien, par un rapport différent à cette discipline, il marque un tournant dans l'histoire : la finesse et la rigueur deviennent des conditions de la fécondité.
L'étude des fonctions analytiques et des séries entières qui s'était développée au 18ème siècle, conduit naturellement Cauchy à définir rigoureusement la théorie des suites. D'abord la notion de suite convergente, c'est-à-dire d'une suite
qui se rapproche de plus en plus de sa limite l, notion déjà clairement comprise des anciens. Mais ensuite, afin de pouvoir démontrer la validité des critères suffisants de convergence des séries (règle de d'Alembert, etc.), il énonce une propriété d'une suite qui exprime qu'elle converge sans qu'on en connaisse la limite. En langage moderne cela s'énonce ainsi:
Ce que Cauchy exprime en disant : la suite est convergente si la différence 
devient infiniment petite pour des valeurs infiniment grandes de p et q. Cette idée était extrêmement féconde car en permettant d'établir rigoureusement la théorie des suites et donc des séries, elle permettait de définir des nombres réels nouveaux comme limites de suites connues ou comme valeurs de fonctions définies par des séries convergentes. C'est sur cette propriété qu'il se fonde, dans son fameux cours de l'École Polytechnique de 1821, pour faire de l'analyse mathématique une discipline rigoureuse.
C'est qu'en effet, les mathématiciens du 17ème et du 18ème dont les Bernoulli et Euler, avaient pris des libertés par rapport à la rigueur de l'axiomatique euclidienne. Le génie était davantage accordé à celui qui découvrait une belle formule qu'à celui qui en donnait précisément les limites de validité, et l'on utilisait abusivement des séries divergentes. La tendance au calcul formel est la plus forte, et l'extraordinaire intuition d'Euler ne l'empêche pas de tomber parfois dans l'absurde lorsqu'il écrit par exemple 
Ainsi pour Cauchy, les nombres réels sont définis par les axiomes des grandeurs (énoncés par les anciens) et le critère de Cauchy. Évidemment ce critère ne pouvait pas être lui-même démontré rigoureusement par Cauchy puisque la notion de nombre réel n'avait pas été dégagée précisément à cette époque. Il faudra attendre Weierstrass, Dedekind puis Cantor pour qu'elle soit exprimée telle qu'elle l'est aujourd'hui. Il y a plusieurs façons équivalentes de définir les nombres réels mais l'une d'entre elles, celle qui se généralise le mieux à d'autres espaces, consiste à prendre comme définition d'un nombre réel la classe d'équivalence des suites de rationnels vérifiant le critère de Cauchy et qui convergent vers la même limite. C'est là un prodigieux retournement de situation qui montre la profondeur de vue de Cauchy: le critère, non démontrable, exprime si bien la réalité qu'il devient la réalité elle-même.
Cauchy a pu montrer brillamment lui-même la fécondité des définitions rigoureuses en prenant sa revanche en matière de découverte de belles formules sur les mathématiques du siècle précédent : celle de la multiplication des déterminants, celles, nombreuses fournies par le calcul des résidus des fonctions analytiques d'une variable complexe, celles relatives à l'intégrale de Fourier, etc. Nous renvoyons le lecteur à [1], [2], [3], [4], [7] et [5].
Le cas des intégrales singulières qui le conduiront à la découverte de ce qu’on appelle aujourd’hui la valeur principale de Cauchy, notion qui viendra prendre sa place tout naturellement un siècle et demi plus tard dans la théorie des distributions, est particulièrement significatif de son approche. J. Bertrand [5] écrit
Il faut exclure le cas où certains éléments deviennent infinis. Gauss, dans un beau mémoire, avait remarqué que, réciproquement, quand l'ordre des intégrations change la valeur d'une intégrale double, l'élément intégré devient nécessairement infini. Cauchy, conduit par ses propres recherches au même résultat, a su en déduire des conséquences plus importantes et plus précises. Non content d'affirmer que l'ordre des intégrations peut influer sur la valeur d'une intégrale, il calcule dans un cas étendu la différence des deux résultats, et, par un de ces artifices élégants qui, chez lui, semblent naturels, en déduit, pour le calcul des intégrales définies, la méthode la plus ingénieuse et la plus féconde qui eût été donnée jusque là.[...] En signalant une erreur commise jusque là par les maîtres de la science, Cauchy avait fait preuve de sagacité; mais en cherchant et trouvant l'expression précise de l'erreur, en poussant à bout les conséquences de cette remarque, en se rendant maître d'un sujet aussi délicat sans en restreindre la généralité, en y rattachant, enfin, tant de conséquences éloignées et imprévues, il prenait rang, à l'âge de vingt trois ans, parmi les géomètres inventifs de son époque.
C'est donc par un souci de rigueur que débute la démarche de Cauchy, il intervient initialement un peu comme un redresseur de torts, ce qui, en général est une attitude restrictive, mais l'élucidation de la situation le conduit à découvrir des phénomènes nouveaux qui sont de vraies découvertes. Citons Bertrand encore:
"[...] La définition d'une intégrale prise entre des limites imaginaires, sa valeur indépendante de la route suivant laquelle on intègre, son changement brusque lorsque cette route franchit certains points pour lesquels la fonction devient infinie ou mal déterminée, les conséquences relatives aux intégrales définies, aux racines des équations, au développement en séries et à la périodicité des intégrales, forment une longue chaîne de vérités nouvelles que l'on ne saurait trop admirer, et dont il faut renoncer à louer dignement la découverte; aucun géomètre, à aucune époque, n'a fait faire à l'analyse pure un progrès plus considérable."
Pendant ce temps à Prague...
Par une coïncidence dont l'histoire des sciences présente de nombreux exemples — et qui donne à réfléchir sur l'importance des facteurs sociaux et historiques tels que l'état de la culture et l'esprit de l'époque — le "critère de Cauchy" avait été découvert quatre ans auparavant par un mathématicien tchèque Bernard Bolzano dont les travaux, très novateurs par le caractère abstrait de leurs préoccupations, touchent aux fondements de l'analyse et de la théorie des fonctions. La personnalité de Bolzano présente des analogies saisissantes avec celle de Cauchy (voir encadré).
L'œuvre mathématique et logique de Bernard Bolzano — une quarantaine d'articles et quelques traités, dont un de 2400 pages — est d'une grande profondeur de vue. Le plus original n'est pas les nouvelles propriétés obtenues mais le caractère et la nature des questions qu'il a plaisir à investiguer. Si nous nous représentons les mathématiques que pratiquait Euler comme des sciences naturelles, nous devons penser celles de Bolzano comme de la biologie moléculaire. Ses traités ne sont pas destinés à enseigner l'état des mathématiques de son temps mais plutôt à raisonner en toute généralité sans s'appuyer sur l'intuition sensible. S'attacher à démontrer qu'une fonction continue sur un intervalle prenant des valeurs de signe contraire aux bornes s'annule nécessairement dans cet intervalle, est original, c'est une sorte de provocation car le dessin d'une telle fonction montre combien la propriété est évidente. Mais Bolzano dispose d'une définition d'une fonction continue et entend démontrer l'assertion à partir de cette définition. Il le fait en utilisant la notion de borne supérieure d'un ensemble. La précision avec laquelle il définit cette notion est digne de Bourbaki : "Si tous les nombres plus petits qu’un certain nombre u ont la propriété M et s'il y a un nombre U qui n'a pas la propriété M, il existe un nombre B qui est le maximum de tous les nombres v qui ont la propriété que tout nombre plus petit que v a la propriété M." Bolzano refuse l'identification eulérienne d'une fonction et d'une expression analytique et la pense comme une correspondance entre deux ensembles de valeurs. Il construit explicitement une fonction — la fameuse fonction de Bolzano — qui est continue sur un intervalle mais n'est monotone sur aucun sous intervalle, il établit aussi qu'elle est non dérivable en un ensemble dense de points. La construction de cette fonction faite vers 1833 contient à l'évidence cf [5] l'idée de fractal (idée dont les sources
sont très anciennes et qu'on voit déjà dans le calcul de l'aire d'une section de parabole par Archimède ).
Le livre majeur Funktionenlehre de Bolzano présente quelques lacunes pour atteindre la parfaite rigueur qui sont dues au fait que la notion très délicate de nombre réel n'est pas encore dégagée. On peut y déceler aussi quelques erreurs mais elles témoignent de ce difficile travail de remonter vers les fondements quand ceux-ci ne sont pas encore clairement établis.
Cauchy, légitimiste, séjourna à Prague de 1833 à 1836 auprès de Charles X en exil. On ne sait pas si les deux mathématiciens se rencontrèrent.
La hiérarchie des nombres
Cauchy avait rempli son contrat : les réels sont toutes les limites de suites convergentes de rationnels, convergente signifiant " satisfaisant le critère de Cauchy ". Ces limites données par les sommes de séries entières (dont ses travaux sur les fonctions de variable complexe fournissaient de nombreux exemples nouveaux), par des solutions d’équations, etc., pouvaient être désignées par des lettres et maniées en tant que nombres. Dedekind et Cantor se chargeront de mettre cela en forme proprement, c’est ce qui est enseigné encore aujourd’hui dans les classes préparatoires.
Point d’aboutissement ? On a une façon de manier les nombres qui est satisfaisante mais a-t-on vraiment compris ce qu’était cette droite des réels?
Si nous avons une vision nette et mathématiquement précise des nombres réels, nous devons être capables de situer la " grosseur " de leur ensemble parmi les autres ensembles. En effet les ensembles finis et aussi les ensembles infinis sont plus ou moins gros.
Comme l’enfant qui dit " jusqu’où sais-tu compter ? ", les hommes ont eu le rève d’imaginer des nombres toujours plus grands. Archimède s’attache dans les Arénaires à donner explicitement un nombre plus grand que le nombre des grains de sable contenus dans la sphère portée par l’orbite de la terre autour du soleil ... L’infini fascine Blaise Pascal et tous les savants, mathématiciens et philosophes, jusqu’à ce que dans la deuxième moitiè du XIXème siècle un esprit original comprenne qu’on peut compter au delà de l’infini, qu’il y a des infinis plus ou moins grands, et que tout ensemble se situe quelque part dans cette hiérarchie, c’est la théorie des nombres transfinis de Cantor, que certains considèrent come la plus audacieuse construction conceptuelle jamais réalisée.
Dans sa motivation initiale, Georg Cantor s’intéresse aux sous-ensembles de la droite. En étudiant l’ensemble des points d’accumulation d’un ensemble et l’itération de cette opération jusqu’à ce qu’elle ne donne plus rien de nouveau, il est amené à étudier les infinis successifs et la notion de puissance d’un ensemble (encore appelée sa cardinalité). Il reste en correspondance avec Dedekind qui est son unique soutien dans cette période de course vers l’abstraction la plus vertigineuse qui soit. La puissance de la droite des réels est celle des parties de N (entiers naturels de cardinal 
) on la note 
et on l’appelle puissance du continu. Par l’argument diagonal Cantor prouve l’inégalité stricte 
et conjecture que 
est la plus petite puissance non dénombrable, sans parvenir à le démontrer.
Ceci se passait avant la crise des fondements, qui vint perturber l’assise des mathématiques jusqu’à ce qu’on remette le train sur de bons rails avec la théorie des ensembles (notée ZF pour Zermelo et Fraenkel) qui donnait les moyens d’aborder les questions laissées pendantes par Cantor avec les outils de la théorie des modèles.
En 1938, sept ans après son fameux résultat d’incomplétude, Kurt Gödel montre qu’à partir de tout modèle de ZF on peut construire un autre modèle de ZF qui en un sens est le plus petit possible. De plus ce modèle des ensembles constructibles, comme il l’appelle, satisfait l’hypothèse du continu 
qui énonce qu’il n’y a pas de puissance intermédiaire entre le dénombrable et le continu. De cette manière Gödel obtient la consistance relative de l’hypothèse du continu (que l’on note HC) et même de l’hypothèse généralisée du continu et de l’axiome du choix.
Cette clarification allait cependant être perturbée 25 ans plus tard par un résultat surprenant : par une méthode en sens inverse de celle de Gödel qui consistait au contraire à augmenter les modèles (méthode des extensions génériques ou forcing) Paul J. Cohen montre que la négation de l’hypothèse du continu est relativement consistante également. Autrement dit, si ZF est une théorie non-contradictoire, ni HC ni " non HC " ne sont des théorèmes. L’hypothèse du continu est indécidable, et pire, quelque soit l’ordinal a, 
peut être pris sans contradiction nouvelle plus grand que 
. Donc il peut y avoir beaucoup de puissances intermédiaires entre le dénombrable et le continu
La signification intuitive de ce résultat reste un peu énigmatique. On peut dire que le continu, c’est à dire l’ensemble des réels, est si riche qu’il est très mal appréhendé par une théorie axiomatique formelle. Un réel est une suite de 0 et de 1. Mais il y a tant de façons imaginables et encore non-imaginées de fabriquer de telles suites que toute approche codifiée ne manie qu’imparfaitement ce réel, qui, comme aux grecs, nous réserve toujours des surprises.
Post scriptum. La notion de suite de Cauchy vient d’être supprimée du programme de classes préparatoires, ainsi que quelques autres idées éclairantes jugées trop abstraites. N’est-on pas en train de fabriquer un piège pour certains jeunes qui n’ont pas accès facilement à la culture ? A force d’enlever des notions abstraites on se rapproche de plus en plus de ce que font les logiciels de calcul formel tels que Mapple ou Mathematica qui sont d’ores et déjà impressionnants, qui progressent encore, et qui ne font pas de fautes.
Références bibliographiques
[1] C.H. Valson, La vie et les travaux du baron Cauchy, Blanchard, 1970
[2] B. Belhoste, Cauchy mathématicien légitimiste au XIXème siècle, Belin, 1985
[3] B. Belhoste, Augustin-Louis Cauchy, a biography, Springer, 1991
[4] P. Dugac, Sur les théories des séries au XIXème siècle, Cahiers d’Hist. et de Philo. des Sc., n°6, 1978
[5] V. Jarnic, Bolzano and the foundations of mathematical analysis, Soc. of czechoslovak math. and phys. 1981
[6] A. Dahan Dalmedico, Mathématisations, Augustin-Louis Cauchy ey l’école française, E. d. Choix, Blanchard, 1992
[7] N. Bourbaki Eléments d’histoire des mathématiques, Hermann, 1974
[8] J. L. Krivine, Théorie axiomatique des ensembles, PUF, 1969