Comparaison asymptotique

En mathématiques, plus précisément en analyse, la comparaison asymptotique est une méthode consistant à étudier le comportement d'une fonction au voisinage d'un point (ou en l'infini), en regard du comportement d'une autre fonction réputée « simple » et « connue », souvent choisie sur une échelle de référence. Cette échelle comprend en général les fonctions constructibles par somme, produit, élévation à une puissance réelle, différentiation et intégration de monômes, d'exponentielles et de logarithmes. Cette méthode peut être utilisée pour traiter de gros volumes de données ou pour étudier le comportement de systèmes complexes en physique et en informatique, en particulier en théorie de la complexité des algorithmes. Elle est également utilisée en théorie analytique des nombres pour évaluer finement l'erreur commise lors de la détermination de l'ordre moyen d'une fonction arithmétique, un exemple célèbre étant le théorème des nombres premiers.

Cet article présente quelques cas de comparaison asymptotique, et introduit les notations de Bachmann, Landau, Hardy, Hardy et Littlewood, et Vinogradov.

Exemples de comparaison

La relation de prépondérance

Exemple

Soit Modèle:Math et Modèle:Math les fonctions réelles définies par les formulesModèle:Retrait

Par une étude des deux fonctions, on sait que Modèle:Math prend des valeurs aussi grandes que l'on veut au voisinage de l'infini, tandis que Modèle:Math ne peut prendre des valeurs qu'entre 1 et 3. Le quotient Modèle:Math divisé par Modèle:Math au voisinage de l'infini ne cesse d'augmenter et n'est pas borné. Dans ce contexte, on peut dire que Modèle:Math est négligeable devant Modèle:Math, ou que Modèle:Math est prépondérante devant Modèle:Math, au voisinage de l'infini, on écrit (notation de Landau) :

$f(x)=o(g(x))\ (x\rightarrow \infty )$

ou (notation de HardyModèle:,, désuète)

$f(x)\prec g(x)\ (x\rightarrow \infty ).$

Définition formelle lorsque la fonction g ne s'annule pas

Pour définir formellement cette propriété on considère le comportement du quotient ${\frac {f}{g}}$.

Soit $a\in \mathbb {R} \cup \left\{+\infty ;-\infty \right\}.$

Soient Modèle:Math et Modèle:Math deux fonctions de la variable réelle Modèle:Math. On suppose que Modèle:Math ne s'annule pas sur un voisinage de a. On dit que Modèle:Math est négligeable devant Modèle:Math, ou que Modèle:Math est prépondérante devant Modèle:Math en Modèle:Math, et on note $f(x)={\underset {\overset {x\rightarrow a}{}}{o}}(g(x))$, lorsque

${\frac {f(x)}{g(x)}}{\underset {\overset {x\rightarrow a}{}}{\longrightarrow }}0.$

Si le contexte est clair, on ne précise pas le domaine d'étude et on note : $f(x)=o(g(x))$, voire $f=o(g)$. Cependant, la notation est toujours associée à un lieu a et au voisinage de ce lieu : être négligeable est un concept local.

Dans cette notation de Landau $f(x)=o(g(x))$ (parfois aussi $f(x)\in o(g(x))$), le symbole $o$ se lit petit o. La notation équivalente de Hardy est $f(x)\prec g(x)$. On utilise aujourd'hui exclusivement la notation de Landau.

Propriétés

Par abus de langage, on effectue des Modèle:Citation sur les Modèle:Citation, c'est-à-dire sur les négligeables. En effet, on peut dire que :

• $o(f)+o(f)=o(f)$ ;
• $o(f)-o(f)=o(f)$.

Exemples

• $x^{2}+10000={\underset {\overset {x\rightarrow \infty }{}}{o}}(x^{3})$
• $x^{n}={\underset {\overset {x\rightarrow +\infty }{}}{o}}(e^{x})$
• Pour toute fonction $\varepsilon$, telle que $\varepsilon (x){\underset {\overset {x\rightarrow a}{}}{\longrightarrow }}0$, on a : $\varepsilon (x)={\underset {\overset {x\rightarrow a}{}}{o}}(1)$

Équivalence

Définition formelle

Soit $a\in \mathbb {R} \cup \left\{+\infty ;-\infty \right\}$.

Soient Modèle:Math et Modèle:Math deux fonctions de la variable réelle Modèle:Math. On suppose que Modèle:Math ne s'annule pas sur un voisinage de Modèle:Math. On dit que Modèle:Math est équivalente à Modèle:Math en Modèle:Math, ou que Modèle:Math équivaut à Modèle:Math en Modèle:Math, et on note

$f(x){\underset {\overset {x\rightarrow a}{}}{\sim }}g(x)$, lorsque $f(x)-g(x)={\underset {\overset {x\rightarrow a}{}}{o}}(g(x))$.

Exemple

$\cos x+x^{20}+\exp(x){\underset {\overset {x\rightarrow \infty }{}}{\sim }}\exp(x)$

Domination

La notation grand O de Landau dénote le caractère dominé d'une fonction par rapport à une autre.

Généralement, comme Paul Bachmann qui a introduit ce symbole en 1894, on utilise la lettre O majuscule ("Ordnung"). C'est beaucoup plus tard (1976), par analogie avec le symbole oméga majuscule Ω (voir plus bas), que Donald Knuth a proposé de rebaptiser le symbole O du nom de la lettre omicron majuscule, celle-ci étant rarement dessinée de manière clairement différente du O. Surtout ne pas employer le chiffre zéro.

Définition formelle

Soient Modèle:Math et Modèle:Math deux fonctions de la variable réelle Modèle:Math. On dit que Modèle:Math est dominée par Modèle:Math en Modèle:Math, ou que Modèle:Math domine Modèle:Math en Modèle:Math, et on note (notation de Bachmann, 1894, ou de Landau, 1909)

$f(x)=O(g(x))\ (x\rightarrow \infty ),$

ou (notation de Hardy, 1910, désuète)

$\ f\preccurlyeq g,$

ou encore (notation de Vinogradov, années 1930)

$f(x)\ll g(x)\ (x\rightarrow \infty ),$

lorsqu'il existe des constantes Modèle:Math et Modèle:Math telles que

$\forall x>N\qquad \left|f(x)\right|\leq C\left|g(x)\right|.$

Intuitivement, cela signifie que Modèle:Math ne croît pas plus vite que Modèle:Math.

De même, si Modèle:Math est un nombre réel, nous écrivons

$f(x)={\underset {x\to a}{O}}(g(x))$

s’il existe des constantes Modèle:Math et Modèle:Math telles que

$\forall x\qquad \left|x-a\right|<d\Rightarrow \left|f(x)\right|\leq C\left|g(x)\right|.$

Exemples

• $4x^{3}+10000x^{2}={\underset {x\to \infty }{O}}(x^{3}).$
• En un point Modèle:Math, si Modèle:Math est négligeable devant Modèle:Math ou équivalente à Modèle:Math, alors elle est dominée par Modèle:Math.
• Une fonction Modèle:Math est bornée sur un voisinage de Modèle:Math si et seulement si $f(x)={\underset {x\to a}{O}}(1)$.

Absence de prépondérance et oscillations

Notation Ω de Hardy et Littlewood (théorie des nombres)

En 1914, Hardy et Littlewood ont introduit le nouveau symbole Ω défini ainsi :

$f(x)=\Omega (g(x))\ (x\rightarrow \infty )\;\Leftrightarrow \;\limsup _{x\to \infty }\left|{\frac {f(x)}{g(x)}}\right|>0$.

Les fonctions Modèle:Math et Modèle:Math sont supposées définies, et Modèle:Math positive, dans un voisinage de l'infini. Ainsi $f(x)=\Omega (g(x))$ est la négation de $f(x)=o(g(x))$.

En 1916, les mêmes auteurs introduisent les deux nouveaux symboles ΩModèle:Ind et ΩModèle:Ind, définis de la façon suivante :

$f(x)=\Omega _{R}(g(x))\ (x\rightarrow \infty )\;\Leftrightarrow \;\limsup _{x\to \infty }{\frac {f(x)}{g(x)}}>0$;

$f(x)=\Omega _{L}(g(x))\ (x\rightarrow \infty )\;\Leftrightarrow \;\liminf _{x\to \infty }{\frac {f(x)}{g(x)}}<0$.

Comme avant, les fonctions Modèle:Math et Modèle:Math sont supposées définies, et Modèle:Math positive, dans un voisinage de l'infini. Ainsi, $f(x)=\Omega _{R}(g(x))$ est la négation de $f(x)<o(g(x))$, et $f(x)=\Omega _{L}(g(x))$ la négation de $f(x)>o(g(x))$.

Contrairement à ce qu'affirmera plus tard D.E. Knuth, Edmund Landau a également utilisé ces trois symboles en 1924.

Ces notations de Hardy et Littlewood sont des prototypes, qui après Landau semblent n'avoir jamais été utilisés tels quels : [[#Notations de Landau|ΩModèle:Ind est devenu ΩModèle:Ind, et ΩModèle:Ind est devenu ΩModèle:Ind]].

Ces trois symboles sont maintenant couramment utilisés en théorie analytique des nombres, de même que $f(x)=\Omega _{\pm }(g(x))$ pour signifier que les conditions $f(x)=\Omega _{+}(g(x))$ et $f(x)=\Omega _{-}(g(x))$ sont toutes deux satisfaites.

Il est clair que dans chacune de ces définitions on peut remplacer Modèle:Math par Modèle:Math ou par un nombre réel.

Exemples simples

On a

$\sin x=\Omega (1)\ (x\rightarrow \infty )$

et plus précisément,

$\sin x=\Omega _{\pm }(1)\ (x\rightarrow \infty ).$

On a

$\sin x+1=\Omega (1)\ (x\rightarrow \infty )$

et plus précisément,

$\sin x+1=\Omega _{+}(1)\ (x\rightarrow \infty )~;$

cependant,

$\sin x+1\not =\Omega _{-}(1)\ (x\rightarrow \infty ).$

Deux définitions incompatibles

Il est important de souligner le fait que l'écriture

$f(x)=\Omega (g(x))\ (x\rightarrow \infty )$

possède en mathématiques deux définitions incompatibles, toutes les deux très répandues, l'une en théorie analytique des nombres, qu'on vient de présenter, l'autre en théorie de la complexité des algorithmes. Lorsque ces deux disciplines se rencontrent, cette situation est susceptible de créer une grande confusion.

La définition de Knuth

En 1976, Knuth publie un article dont le but principal est de justifier son utilisation du même symbole Ω pour décrire une autre propriété que celle décrite par Hardy et Littlewood. Il tente de convaincre le lecteur que la définition de Hardy et Littlewood n'est quasiment jamais utilisée (ce qui, même en 1976, est faux depuis en tout cas 25 ans). Il va jusqu'à prétendre que Landau ne l'a jamais utilisée (ce qui est également faux). Il ressent impérativement le besoin d'une autre notion (Modèle:Citation étrangère), et a décidé que l'utilisation du symbole Ω doit être réservé pour la décrire. Il est fortement contrarié par l'ancienne définition (Modèle:Citation étrangère).

Il prend donc le risque de créer la confusion, et définit

$f(x)=\Omega (g(x))\Leftrightarrow g(x)=O(f(x))$.

Utilisation des comparaisons

Développements limités

En mathématiques, il est souvent important de garder un œil sur le terme d'erreur d'une approximation. Cette notation est particulièrement utilisée dès que l'on a affaire à des développements limités et à des calculs d'équivalents. Par exemple, le développement de la fonction exponentielle à l'ordre 2 peut aussi s'écrire:

$e^{x}=1+x+{\frac {1}{2}}x^{2}+o(x^{2})\ {\rm {quand}}\ x\rightarrow 0$

pour exprimer le fait que l'erreur, la différence $e^{x}-\left(1+x+{\frac {x^{2}}{2}}\right)$, est négligeable devant $x^{2}$ quand $x$ tend vers 0.

Il faut préciser que le nombre d'opérandes dans ce genre d'écriture doit être borné par une constante qui ne dépend pas de la variable : par exemple l'assertion $o(x)+o(x)+\dots +o(x)=o(x)$ est évidemment fausse si les points de suspension cachent un nombre de termes qui n'est pas borné lorsque x varie.

Échelle de comparaison

Voici une liste de catégories de fonctions couramment utilisées en analyse. La variable (notée ici n) tend vers Modèle:Math et c est une constante réelle arbitraire. Lorsque c est une constante supérieure à 1, les fonctions apparaissent dans cette liste par ordre croissant de grandeur.

notation		grandeur au plus
O(1)		module majoré par une constante
O(log(n))		logarithmique
O((log(n))Modèle:Exp)		(polylogarithmique si c est entier positif)
O(n)		linéaire
O(n log(n))		parfois appelée « linéarithmique », ou « quasi-linéaire »
O(nModèle:2)		quadratique
O(nModèle:Exp)		(polynomiale si c est entier positif)
O(cModèle:Exp)		(exponentielle si c est positif, parfois « géométrique »)
O(n!)		factorielle

O(nModèle:Exp) et O(cModèle:Exp) sont très différents. Le dernier autorise une croissance bien plus rapide, et ce pour n'importe quelle constante c > 1. Une fonction qui croît plus rapidement que n'importe quel polynôme est dite superpolynomiale. Une fonction qui croît plus lentement que toute exponentielle est dite sous-exponentielle. Il existe des fonctions à la fois superpolynomiales et sous-exponentielles, comme la fonction n^log(n).

Remarquons aussi que O(log n) est exactement identique à O(log(nModèle:Exp)), puisque ces deux logarithmes sont multiples l'un de l'autre par un facteur constant et que la notation grand O « ignore » les constantes multiplicatives. De manière analogue, les logarithmes dans des bases constantes différentes sont équivalents.

La liste précédente est utile à cause de la propriété suivante : si une fonction f est une somme de fonctions, et si une des fonctions de la somme croît plus vite que les autres, alors elle détermine l'ordre de croissance de f(n).

ex.: si f(n) = 10 log(n) + 5 (log(n))Modèle:3 + 7 n + 3 nModèle:2 + 6 nModèle:3, alors f(n) = O(nModèle:3).

Fonction à plusieurs variables

Cette notation peut aussi être utilisée avec des fonctions de plusieurs variables :

L'écriture :	$f(n,m)=n^{2}+m^{3}+O(n+m)\;$ quand $m,n\to +\infty$
correspond à la proposition :	$\exists C\quad \exists N\quad \forall n,m>N\qquad |f(n,m)-n^{2}-m^{3}|\leq C(n+m)$

Pour certains, cette notation abuse du symbole d'égalité, puisqu'elle semble violer l'axiome d'égalité : « des choses égales à la même chose sont égales entre elles » (autrement dit, avec cette notation, l'égalité n'est plus une relation d'équivalence). Mais on peut également considérer que dans l'écriture

$f(n,m)-n^{2}-m^{3}=O(n+m),$

la notation "=O" désigne un seul opérateur, dans l'écriture duquel le signe "=" n'a pas d'existence propre indépendante (et en particulier ne désigne pas une relation d'équivalence). Il n'y a dans ce cas plus d'abus de notation, mais évidemment toujours un risque de confusion. Il est également possible de définir O(g(x)) comme un ensemble de fonctions, dont les éléments sont toutes les fonctions qui ne grandissent pas plus vite que Modèle:Math, et d'utiliser les notations ensemblistes pour indiquer si une fonction donnée est un élément de l'ensemble ainsi défini. Les deux conventions sont couramment utilisées mais la première (et plus ancienne) est jusqu'au début du Modèle:S- la plus souvent rencontrée. Pour éviter ce problème on utilise (tout aussi couramment) la notation de Vinogradov (voir ci-dessous).

Un autre problème est qu'il faut clairement indiquer la variable par rapport à laquelle le comportement asymptotique est examiné. Une affirmation telle que $f(n,m)=O(m^{n})\;$ n'a pas le même sens selon qu'elle est suivie de « quand $m,n\to +\infty$ » ou, par exemple, de « (pour tout $m$ fixé) quand $n\to +\infty$ ».

La famille de notations de Landau O, o, Ω, ω, Θ, ~

Notation	Nom	Description informelle	Lorsque $n\to \infty$, à partir d'un certain rang...	Définition rigoureuse
$f(n)\in O(g(n))$ ou $f(n)=O(g(n))$	Grand O (Grand Omicron)	La fonction |Modèle:Math | est bornée par la fonction |Modèle:Math| asymptotiquement, à un facteur près	$|f(n)|\leq |g(n)|\cdot k$ pour un k > 0	$\exists k>0,\exists n_{0}\;\forall n>n_{0}\;|f(n)|\leq |g(n)|\cdot k$
$f(n)\in \Omega (g(n))$ ou $f(n)=\Omega (g(n))$	Grand Omega	Deux définitions : En théorie des algorithmes : Modèle:Math est minorée par Modèle:Math (à un facteur près) En théorie des nombres : Modèle:Math n'est pas négligeable devant Modèle:Math	En théorie des algorithmes : $|f(n)|\geq |g(n)|\cdot k$ pour un k > 0 En théorie des nombres : $|f(n_{i})|\geq |g(n_{i})|\cdot k$ pour un k > 0 et pour une suite de nombres $n_{i}\rightarrow \infty$	En théorie des algorithmes: $\exists k>0,\exists n_{0}\;\forall n>n_{0}\;|g(n)|\cdot k\leq |f(n)|$ En théorie des nombres : $\exists k>0,\forall n_{0}\;\exists n>n_{0}\;|g(n)|\cdot k\leq |f(n)|$
$f(n)\in \Theta (g(n))$	de l'ordre de ; Grand Theta	Modèle:Math est dominée et soumise à Modèle:Math asymptotiquement	$|g(n)|\cdot k_{1}\leq |f(n)|\leq |g(n)|\cdot k_{2}$ pour un k1 > 0, et un k2 > 0	$\exists k_{1},k_{2}>0,\exists n_{0}\;\forall n>n_{0}$ $|g(n)|\cdot k_{1}<|f(n)|<|g(n)|\cdot k_{2}$
$f(n)\in o(g(n))$ ou $f(n)=o(g(n))$	Petit o	Modèle:Math est négligeable devant Modèle:Math asymptotiquement	$|f(n)|\leq |g(n)|\cdot \varepsilon$, quel que soit $\varepsilon$ > 0 (fixé).	$\forall \varepsilon >0\;\exists n_{0}\;\forall n>n_{0}\;|f(n)|\leq |g(n)|\cdot \varepsilon$
$f(n)\in \omega (g(n))$	Petit Omega	Modèle:Math domine Modèle:Math asymptotiquement	$|f(n)|\geq |g(n)|\cdot k$ pour tout k > 0	$\forall k>0\;\exists n_{0}\;\forall n>n_{0}\;|g(n)|\cdot k\leq |f(n)|$
$f(n)\sim g(n)\!$	équivalent à	Modèle:Math est approximativement égale à Modèle:Math asymptotiquement	$|f(n)-g(n)|<\varepsilon |g(n)|$, quel que soit $\varepsilon$ > 0 (fixé).	$\forall \varepsilon >0\;\exists n_{0}\;\forall n>n_{0}\;|f(n)-g(n)|<\varepsilon |g(n)|$

Après grand-O, les notations Θ et Ω sont les plus utilisées en informatique ; le petit-o est courant en mathématiques mais plus rare en informatique. Le ω est peu usité.

Une autre notation parfois utilisée en informatique est Õ (soft-O en anglais) qui signifie grand-o à un facteur poly-logarithmique près.

En théorie des nombres la notation f(x)$\asymp$g(x) a la même signification que f(x) = Θ(g(x)) (qui n'est pas utilisée).

Notations de Landau, notations de Hardy, notation de Vinogradov

Notations de Landau

Les notations de Landau portent le nom du mathématicien allemand spécialisé en théorie des nombres Edmund Landau qui utilisa le symbole O, introduit primitivement par Paul Bachmann, et s'en inspira pour inventer le symbole o. Il n'utilisa le symbole Ω que dans un seul article en 1924, pour signifier ≠ o ; cette notation avait été introduite (avec la même signification) en 1914 par G. H. Hardy et J. E. Littlewood ; depuis, Ω est couramment utilisé en théorie des nombres, mais exclusivement dans ce même sens, et jamais dans le premier sens indiqué dans le tableau ci-dessus. Dans le même article Landau utilise les symboles ΩModèle:Ind et ΩModèle:Ind, également dus à Hardy et Littlewood, (et depuis notés ΩModèle:Ind et ΩModèle:Ind) pour signifier $\not <o$, respectivement $\not >o$. Il utilise bien sûr également la notation ∼, mais jamais ω ou Θ.

Notations de Hardy

Les notations de Hardy $\preccurlyeq$ et $\prec$, introduites par G. H. Hardy dans son tract de 1910 Orders of Infinity, jouent le même rôle que celles de Landau pour la comparaison asymptotique des fonctions.

En notation de Landau, on peut les définir comme suit :

$f\preccurlyeq g\iff f=O(g)$

et

$f\prec g\iff f=o(g).$

Les notations de Hardy sont désuètes. Hardy a rapidement abandonné ses notations. Hardy utilise les notations de Landau dans tous ses articles (soit près de 400 !) et dans ses livres sauf dans son tract de 1910 et dans 3 articles (1910-1913). Notons que si Hardy a introduit dans son tract de 1910 quelques autres symboles pour la comparaison asymptotique des fonctions, il n'a par contre jamais défini ou utilisé la notation $\ll$, ni $\prec \!\!\prec$, comme il a été parfois affirméModèle:Par qui.

Notation de Vinogradov

Le théoricien des nombres russe Ivan Matveyevich Vinogradov introduisit dans les années 1930 la notation qui porte son nom,

$f\ll g\iff f=O(g)$.

La notation ≪ de Vinogradov, en revanche, est couramment utilisée en théorie des nombres à la place de O ; parfois même les deux notations sont utilisées indifféremment dans le même article.

Voir aussi

Articles connexes

• Développement asymptotique
• Fonction asymptotique
• Vitesse de convergence des suites

Lien externe

Modèle:En Big-O Cheat Sheet, un site répertoriant une classification des complexités algorithmiques par domaine.