Le Cygne Noir ou le danger des statistiques

« La pensée n’est qu’un éclair au milieu de la nuit. Mais c’est cet éclair qui est tout. »
Henri Poincaré *

Quand j’ai parlé à mes amis et collègues du Cygne Noir ou Black Swan («BS»), ils ont été surpris de mon intérêt pour le film avec Natalie Portman. Je ne peux pas confirmer puisque je ne l’ai pas vu. Je parlais du livre de Nassim Nicholas Taleb et de sa théorie. D’autres amis me l’ont résumé comme du b… s… américain, ces livres superficiels qui donnent des conseils sur tout et n’importe quoi et qui semblent toujours devenir des best-sellers; mes collègues me parleraient sans doute de littérature d’aéroport (et non pas de hall de gare), indigne d’être lue dans les cercles académiques.

Je l’ai lu et j’ai beaucoup aimé, mais je dois admettre que Taleb est parfois pénible. Est-ce parce qu’il a été tellement frustré par je ne sais pas qui ou quoi ou est-ce parce qu’il est si fier de ses certitudes? Je ne suis pas sûr. Mais ses idées sont certainement utiles et méritent la réflexion (alors que vous oubliez le b… s… d’aéroport américain après 30 secondes). Donc, retour au BS.

Vous trouverez d’excellents résumés de son livre ou de sa théorie, par exemple sur
– Nassim Taleb « The Black Swan » par Andrew Gelman, http://andrewgelman.com/2007/04/nassim_talebs_t/
– La page Wikipedia sur la théorie du Black Swan
– ou même the Fourth Quadrant, un autre essai de Taleb. Je ne vais donc pas essayer de faire la même chose.

Cependant la définition du Black Swan pourra être utile! Dans le Fourth Quadrant, Taleb écrit ce qui suit: Il ya deux classes de probabilité – très distinctes qualitativement et quantitativement. La première, à longue traîne, définit le Mediocristan », la seconde, à traîne épaisse, définit l’Extremistan. Sans entrer dans les détails, comprenez la distinction comme suit: au Mediocristan, des exceptions se produisent, mais ne portent à de grandes conséquences. Ajoutez la personne la plus lourde de la planète à un échantillon de 1’000 personnes, le poids total serait à peine changé. En Extremistan, des exceptions peuvent avoir un tout autre impact (elles peuvent tout représenter.) Ajoutez Bill Gates à votre échantillon: la richesse peut augmenter d’un facteur 100’000 . Ainsi, au Mediocristan, de grandes déviations se produisent, mais elles sont sans conséquence, à la différence de l’Extremistan. Au Mediocristan le hasard correspond à des « marches aléatoires » décrites dans les livres classiques (et dans les livres populaires sur le hasard). L’Extremistan correspond à « sauts de taille aléatoire ». Dans le premier type, il s’agit de familles de « Gauss-Poisson »; dans le second de familles « fractales ou mandelbrotiennes » (d’après les œuvres du grand Benoit Mandelbrot, reliées à la géométrie de la nature.) Mais il faut noter ici une question épistémologique: il y a une catégorie « je ne connais pas » que j’ai aussi regroupée en Extremistan et nécessaire à la prise de décision, tout simplement parce que je ne connais pas grand chose de la structure probabiliste ou le rôle de certains grands événements. Les Cygnes Noirs sont les événements inconnus en Extremistan .

Voici donc quelques longues notes prises lors de la lecture.

[Page xxii] Le cygne noir est caractérisé par «la rareté, l’impact extrême et la prévisibilité rétrospective (mais pas prospective) » (avec la note additionnelle: la survenance d’un événement hautement improbable est l’équivalent de la non-occurrence d’un évènement très probable).

[Page 8] L’esprit humain souffre de 3 faiblesses:
-L’illusion de la compréhension, ou comment tout le monde pense qu’il sait ce qui se passe dans un monde qui est plus compliqué (ou aléatoire) qu’ils ne le pensent;
-La distorsion rétrospective, ou comment nous pouvons évaluer des questions seulement après les faits, comme si elles étaient vues dans un rétroviseur, et
-La surévaluation de l’information factuelle et le handicap des personnes faisant autorité et sachant – quand ils platonifient.

[Page 15] Taleb adore mélanger théorie et histoire personnelle, pour mieux illustrer ces arguments. Ainsi sur la violence ou la rapidité de l’histoire: « Alors que dans le passé la distinction s’établissait entre la Méditerranée et non-Méditerranée (c’est à dire entre l’huile d’olive et le beurre), dans les années 1970, la frontière est soudainement passée entre l’Europe et la non-Europe. »

[Page 54] Il insiste sur un biais mental ou une erreur logique classsique: pas de preuve de quelque chose ne signifie pas la preuve de son contraire.

[Page 77] « La réponse est qu’il y a deux variétés d’événements rares: a) les cygnes noirs, qui sont présents dans le discours actuel et que vous êtes susceptibles d’entendre parler à la télévision, et b) ceux dont personne ne parle, car ils échappent aux modèles: ceux qui vous feraient honte d’en discuter en public parce qu’ils ne semblent pas plausibles. Je peux dire qu’il est entièrement compatible avec la nature humaine que les cas de cygnes noirs soient surestimés dans le premier cas, mais gravement sous-estimés dans le second. »

[Page 80] « Un mort est une tragédie, un million est une statistique. […] Nous avons deux systèmes de pensée. Le système 1 est l’expérience, sans effort, automatique, rapide, et opaque. Le système 2 est la pensée, raisonnée, locale, lente, sérielle, progressive. La plupart des erreurs proviennent du système 1 lorsque nous pensons que nous utilisons le système 2. »

[Page 140] Nous surestimons ce que nous savons et sous-estimons l’incertitude. Un autre biais: « pensez au divorce. La quasi-totalité des gens sont familiarisés avec la statistique, entre un tiers et la moitié de tous les mariages échouent. Mais bien sûr, «pas nous» parce que «nous nous entendons si bien» (comme si les autres s’entendaient mal.)  »

[Page 174-179] Poincaré est un personnage central de la théorie de Taleb (par Mandelbrot interposé) grâce notamment à son problème à 3 corps. D’après Taleb, Poincaré dénigre lui aussi l’utilisation de la courbe en cloche, dans ses excès du moins. Mais surtout la sensibilité aux conditions initiales vient de Poincaré comme le montre la figure suivante.

Les prédictions

Opération 1: imaginez un cube de glace; il s’agit d’examiner comment il pourrait fondre.
Opération 2: regardez une flaque d’eau. Essayez de reconstituer la forme de la glace-cube.
La première opération (vers l’avant) est généralement utilisée en physique et en ingénierie, la seconde (en arrière) pour les évènements non reproductibles, les approches historiques ou non expérimentales. Elle est autrement plus complexe que la première…

[Page 198] En théorie, le hasard est une propriété intrinsèque. Dans la pratique, le hasard est une information incomplète. Les non-praticiens ne comprennent pas la subtilité. Un véritable processus aléatoire ne possède pas de propriétés prévisibles. Un système chaotique possède des propriétés tout à fait prévisibles, mais elles sont difficiles à connaître.
a) Il n’y a pas de différences fonctionnelles, dans la pratique, entre les deux, puisque nous ne pourrons jamais arriver à faire la distinction.
b) Le simple fait qu’une personne parle de la différence implique qu’il n’a jamais pris une décision significative sous incertitude – ce qui explique pourquoi ils ne se rendent pas compte qu’ils sont indiscernables dans la pratique.
Le hasard en pratique est juste du non-savoir. Le monde est opaque et les apparences nous trompent.

[Page 204] Le « processus d’essai  et erreur » signifie essayer beaucoup de choses. Dans le Blind Watchmaker, Richard Dawkins illustre brillamment cette notion du monde sans grand dessein, un monde se transformant par petits changements aléatoires supplémentaires. Notez un léger désaccord de ma part qui ne change pas l’histoire de beaucoup: le monde, se déplace plutôt par de grandes modifications incrémentielles aléatoires. En effet, nous avons des difficultés psychologiques et intellectuelles avec les essais et erreurs et l’acceptation de cette série de petits échecs nécessaires dans la vie. « Vous avez besoin d’aimer perdre ». En fait, la raison pour laquelle je me suis immédiatement senti chez moi en Amérique, c’est précisément parce que la culture américaine encourage le processus d’apprentissage par l’échec, à la différence des cultures d’Europe et d’Asie, où l’échec est est stigmatisé et gênant. [C’est bien Taleb qui écrit et non l’auteur de ce blog, mais je suis en parfait accord]

[Page 207] Quand vous avez un risque de perte très limitée, vous devez être très agressif et spéculatif, et parfois aussi déraisonnable que possible. Certains feront l’analogie avec des billets de loterie. C’est simplement faux. Tout d’abord les billets de loterie ne produisent pas de récompense sans limite. Deuxièmement, les billets de loterie ont des règles connues.

L’économie des superstars

[Page 24] « Pour qui ce livre est-il écrit? Vous avez besoin de comprendre qui est votre public cible. Les amateurs écrivent pour eux-mêmes, les professionnels écrivent pour les autres. » [Cette ironie de l’auteur est passionante. Je l’ai vécue, je suis un amateur. Mais les oeuvres clé ne sont-elles pas alors écrites par des amateurs? Les Black Swans (le Seigneur des Anneaux, Harry Potter) ressemblent peut-être plus à des oeuvres d’amateurs. L’exemple de Yevgenia Krasnova fournie par Taleb est passionante elle aussi]

[Page 214] La victoire va souvent à ce qui est marginalement mieux et souvent le gagnant prend tout. Le problème, c’est la notion de «mieux». le monde tel qu’il est prend aux pauvres pour donner aux riches. Un avantage initial suit quelqu’un à travers la vie et celui-ci continue à recevoir des avantages cumulatifs. L’échec est également cumulatif. L’avènement des médias modernes a amplifié ces avantages cumulatifs. Le sociologue Pierre Bourdieu a noté un lien entre l’augmentation de la concentration de la réussite et la mondialisation de la culture et la vie économique.

[Page 221] Taleb affirme toutefois que les nouveaux arrivants atténuent les avantages cumulatifs. « Des cinq cents plus grandes sociétés américaines en 1957, seulement 74 faisaient encore partie de ce groupe, le S&P500, 40 années plus tard. Seulement quelques centaines ont disparu dans des fusions, le reste a soit été dépassé ou a fait faillite.

Les acteurs qui gagnent un Oscar ont tendance à vivre en moyenne cinq ans de plus que leurs pairs non récompensés. Les gens vivent plus longtemps dans les sociétés qui ont des gradients sociaux aplanis.

[Page 277] Ce qui est mal compris, c’est l’absence d’un rôle pour la moyenne de la production intellectuelle. La part disproportionnée de l’élite dans le rayonnement intellectuel est plus troublante que la répartition inégale des richesses, troublante parce que, contrairement à l’écart de revenu, aucune politique sociale ne peut l’éliminer. Le communisme pouvait cacher ou comprimer les écarts de revenus, mais il ne pouvait pas éliminer le système de superstar dans la vie intellectuelle. [Je n’en suis pas sûr]

Le scepticisme et l’humilité

Taleb se définit comme un sceptique et ses maîtres sont Popper et Hayek (et Mandelbrot pour les sciences).

[Page 190] « Quelqu’un avec un faible degré d’arrogance épistémique n’est pas trop visible, comme une personne timide lors d’un cocktail. Nous ne sommes pas prédisposés à respecter les gens humbles, ceux qui essaient de suspendre leur jugement. Maintenant contemplez l’humilité épistémique. Pensez à quelqu’un de très introspectif, torturé par la conscience de sa propre ignorance. Il ne craint pas d’être jugé comme un fou, ou pire, un ignorant. Il hésite, il ne veut pas s’engager, et il agonise sur les conséquences de se tromper. Introspection, introspection, et toujours introspection jusqu’à ce qu’il atteigne l’épuisement physique et nerveux. » Nous sommes plus proches de Dostoievsky que de Taleb…

Les experts

[Page 146] Nous comprenons la différence entre savoir-faire et savoir-quoi. Les Grecs ont fait la distinction entre la techné et l’épistémè, la technique et la connaissance. Nous avons des experts qui ont tendance à être des experts: les astronomes, les pilotes, les médecins, les mathématiciens, les comptables; et les experts qui ont tendance à être … non-experts: les courtiers, les psychologues, les conseillers… tout simplement les choses qui bougent et donc nécessitent des connaissances n’ont généralement pas d’experts et sont souvent sujettes aux BS. L’effet négatif de la prédiction est que ceux qui ont une grande réputation sont pires prédicteurs que ceux qui n’en avaient pas.

[Page 166] Le modèle classique de la découverte est le suivant: vous recherchez ce que vous savez (par exemple, une nouvelle façon d’atteindre l’Inde) et trouvez quelque chose que vous ne connaissez pas (l’Amérique). C’est ce qu’on appelle un heureux hasard, la sérendipité. Un terme inventé par l’écrivain Hugh Walpole, dans un conte de fées, « Les trois princes de Serendip » qui « sont toujours en train de faire des découvertes par accident ou sagacité, de choses qu’ils ne recherchaient pas. » […] Sir Francis Bacon a fait observer que les progrès les plus importants sont les moins prévisibles.

[Page 169] Les ingénieurs ont tendance à développer des outils pour le plaisir de développer des outils. Outils qui conduisent à des découvertes inattendues. [Donc, je suis en désaccord avec la définition de Taleb: « Un nerd est tout simplement quelqu’un qui pense à l’intérieur de la boîte ». Ce n’est peut-être pas un grand désaccord, mais je préfère celle-ci: «Un nerd est une personne qui utilise le téléphone pour parler à d’autres personnes des téléphones. Et un nerd en informatique est donc quelqu’un qui utilise un ordinateur pour pouvoir utiliser un ordinateur. [Voir le Triomphe des Nerds] Et d’ajouter [Page 170] Pasteur affirme que « La chance ne sourit qu’aux esprits bien préparés. […] « Sur la difficulté de prévoir, il suffit de regarder l’échec du Segway pour lequel il a été prophétisé qu’il allait changer la morphologie des villes. »

[Page 184] Un autre exemple de cible de Taleb: l’optimisation [mon domaine d’expertise passée!] « L’optimisation consiste à trouver le résultat mathématiquement optimal qu’un agent économique pourrait atteindre. L’optimisation est un cas de la modélisation stérile ».

La politique

[Page 16] La catégorisation produit toujours une réduction de la véritable complexité. Essayez d’expliquer pourquoi ceux qui sont favorables au droit à l’élimination d’un fœtus dans le ventre de la mère s’opposent également à la peine capitale. [Et réciproquement]

Ce qui me fait penser à la citation de André Frossard: « Le malheur, c’est que la gauche ne croit pas beaucoup au péché originel et que la droite ne croit pas beaucoup à la rédemption. »

[Page 52] « Je n’ai jamais dit que les conservateurs sont généralement stupides. Je voulais dire que les gens stupides sont généralement conservateurs. » se plaignait John Stuart Mill. Le problème est chronique: si vous dites aux gens que la clé du succès n’est pas toujours liée aux compétences, ils pensent que vous leur dites que ce n’est jamais la compétence qui compte, mais toujours la chance.

[Page 227] Ce qui peut expliquer « nous vivons dans une société d’une personne, une voix, où les impôts progressifs ont été adoptés précisément pour affaiblir les gagnants ». Je ne sais pas si Taleb ne préfère pas le monde aristocratique. Au moins, il semble favoriser ses amis dans ce monde.

[Page 255] Il est vrai que je cherche dans la vie les personnages intellectuellement sophistiqués. Mon père érudit et esprit universel – qui, s’il était encore vivant, n’aurait été que deux semaines plus agé que Benoît Mandelbrot [son mentor sur les fractales et les non-linéarités] – aimait la compagnie des prêtres jésuites extrêmement cultivés. Je me souviens de ces visiteurs jésuites […] Je me souviens que l’un deux avait un diplôme de médecine et un doctorat en physique, et encore qu’il enseignait l’araméen à la population locale dans l’Institut des Langues Orientales de Beyrouth . […] Ce genre d’érudition impressionnait mon père bien plus que le « scientifique travailleur à la chaîne ». J’ai peut-être quelque chose dans mes gènes qui m’éloigent des « bildungsphilisters ».

La mondialisation / l’Évolutivité

[Page 28] Les professions évolutives (« scalable ») sont bonnes seulement si vous avez du succès, elles sont plus concurrentielles, produisent des inégalités monstrueuses et sont beaucoup plus aléatoires. Prenons l’exemple de l’enregistrement de la musique d’abord, de l’alphabet, de l’imprimerie. Aujourd’hui, peu d’acteurs prennent presque tout, et ne laissent que des miettes aux autres. « Winner takes all ».

[Page 32] Au Mediocristan, « lorsque votre échantillon est suffisamment grand, pas un seul cas ne change notablement le total ». En Extremistan, « Bill Gates pour sa richesse et J. K. Rowling dans la vente de livres changent totalement la moyenne d’une foule. Presque tous les problèmes sociaux sont en Extremistan. » [Lors de ma présentation à la conférence BCERC, j’eus une remarque d’un type similaire sur mon travail sur les start-up high-tech: « mais vous n’étudiez que 2% des entrepreneurs! » Et j’ai répondu, oui, mais quel impact (de type Extremistan)…]

[Page 85] « Les activités intellectuelles, scientifiques et artistiques appartiennent à la province de l’Extremistan. Je suis toujours à la recherche d’un contre-exemple simple, une activité non-terne qui appartient au Mediocristan. »

[Page 90] « Vous devez voir que les investisseurs vivent mieux que les entrepreneurs, mais aussi que les éditeurs vivent mieux que les auteurs, les agents vivent que les artistes, et la science se débrouille mieux que les scientifiques. » [Je peux ajouter que les chercheurs d’or font moins d’argent que les gens qui leur ont vendu des pics et des pelles.]

[Page 102] La conséquence de la dynamique de superstar, c’est que ce que nous appelons « l’héritage littéraire » où les « trésors littéraires » sont une infime proportion de ce qui a été produit de façon cumulée. Balzac était juste le bénéficiaire d’une chance disproportionnée par rapport à ses pairs.

[Page 118] Le problème ici avec l’univers et la race humaine est que nous sommes les survivants chanceux (qui ne devraient pas avoir survécu – il n’y a pas là de destinée, mais une survie a posteriori].

Les statistiques

[Page 37] Taleb n’est pas contre les statistiques, mais contre la loi de Gauss, les moyennes, etc. « Les Cygnes noirs ne sont pas modélisables. Ce sont des phénomènes communément appelés par des termes tels que évolutifs, invariants par échelle, les lois de puissance, de Pareto-Zipf, la loi de Yule, les procédures paréto-stables et de lois de Levy -stables et fractales. »

[Page 239] Les écarts-types n’existent pas en dehors de la gaussienne, ou si elles existent, elles ne comptent pas et n’expliquent pas grand-chose. Mais il y a pire. La famille gaussienne (qui comprend divers amis et parents, comme la loi de Poisson) est la seule classe de distributions que l’écart type (et la moyenne) est suffisante à décrire. Vous n’avez besoin de rien d’autre. La courbe en cloche satisfait le réductionnisme de l’illusion. Il y a d’autres notions qui ont peu ou pas de signification en dehors de la gaussienne: la corrélation et pire, la régression. Pourtant, elles sont profondément ancrées dans nos méthodes: il est difficile d’avoir une conversation d’affaires sans avoir entendu le mot corrélation.

[Page 240] Taleb n’a rien contre les mathématiciens, mais il pense comme Hardy: Les «vraies» mathématiques des «vrais» mathématiciens, les mathématiques de Fermat, Euler, Gauss, Abel et Riemann sont presque entièrement « inutiles » (et cela est aussi vrai des mathématiques «appliquées» que des mathématiques «pures»).

[Page 252] Une caractéristique essentielle des statistiques gaussiennes est la vérification de deux hypothèses:
Première hypothèse centrale: les événements sont indépendants les uns des autres. Une pièce de monnaie n’a pas de mémoire. Le fait que vous ayez obtenu pile ou face sur le test précédent ne modifie pas les chances d’obtenir pile ou face au prochain lancer. Vous ne devenez pas un « meilleur » lanceur de pièce au fil du temps. Si vous introduisez la mémoire ou les compétences dans le lancer, l’ensemble du modèle de Gauss devient caduque. (Et notez qu’il y a attachement préférentiel et un avantage cumulatif dans le monde réel et donc non gaussien.) Deuxième hypothèse centrale: pas de saut « sauvage ». La taille du saut aléatoire est toujours connue, à savoir une seule étape. Il n’y a aucune incertitude quant à la taille de l’étape. […] Je n’ai pas de toute ma vie pu trouver quelqu’un autour de moi dans le monde des affaires et des statistiques qui était cohérent intellectuellement, en ce sens qu’il ait accepté à la fois le Cygne noir et a rejeté les outils de Gauss. Beaucoup de gens acceptent mon idée du Black Swan, mais ne peuvent aller jusqu’au bout de sa conclusion logique, qui est que vous ne pouvez pas utiliser une seule mesure de l’aléa appelé écart-type (ni l’appeler « risque »), vous ne pouvez pas trouver une mesure simple qui caractérise l’incertitude.

Mais Taleb va encore plus loin. [Page 272] «Mais le hasard fractal ne donne pas de réponse précise. […] les fractales de Mandelbrot nous permettre de rendre compte de quelques cygnes noirs, mais pas de tous. […] Un cygne gris peut modéliser des événements extrêmes, un cygne noir décrit des « inconnus inconnus ». […] Je le répète: Mandelbrot traite des cygnes gris, je m’occupe du Cygne Noir. Ainsi Mandelbrot domestique beaucoup de mes cygnes noirs, mais pas tous, pas complètement.

La finance

Taleb montre que les accidents d’achat d’actions sont parfois liés à la modélisation et il est particulièrement critique des options de Black-Scholes . Il est très critique des théories de portefeuille et des prix Nobel associés (Markowitz, Samuelson, Hicks ou Debreu), « une démolition des idées de Keynes ». L’histoire du hedge fund LTCM en est une illustration de points Taleb.

Le Business et la Technologie

[Page xxv] Presque aucune découverte, aucune technologie notable ne sont nées de la conception et de la planification – elles étaient tout simplement des cygnes noirs. […] Donc, je suis en désaccord avec les disciples de Marx et avec ceux d’Adam Smith: la raison du succés du libéralisme, des marchés, c’est qu’ils permettent aux gens d’être chanceux grâce à un processus agressif d’essais et d’erreurs, et non parce qu’ils donnent des récompenses ou des «incitations» pour les compétences.

[Page 17] Le monde des affaires est inélégant, terne, pompeux, vorace, inintellectual, égoïste et ennuyeux. […] Ce que j’ai vu, c’est que dans quelques-unes des plus prestigieuses business schools dans le monde, les dirigeants des sociétés les plus puissantes ont été invités à décrire ce qu’ils ont fait pour gagner leur vie et il était bien possible qu’ils ne savaient pas trop ce qui se passait.

[Page 135] Lorsque je demande aux gens de nommer trois technologies récemment mises en œuvre et ayant un impact sur notre monde d’aujourd’hui, ils proposent généralement l’ordinateur, l’Internet et le laser. Aucune des trois n’était planifiée; elles furent imprévues et peu appréciées lors de leur découverte, et sont restées incomprises bien après leur utilisation initiale. Ils étaient consécutifs. Ils étaient cygnes noirs.

Critique de la moyenne

[Page 295] « La moitié du temps, je suis un hypersceptique, l’autre moitié je suis plein de certitudes. […] La moitié du temps je déteste les cygnes noirs, l’autre moitié je les aime. […] La moitié du temps je suis très prudent, l’autre moitié je suis hyperactif. » Je pourrais supprimer les guillemets!

Je n’en ai pas totalement fini avec le Cygne Noir, je suis en train de lire l’essai de 70 pages que Taleb a ajouté à la dernière édition de poche. Il pourrait y avoir plus à dire (et à lire si vous m’avez suivi jusqu’ici…)

* Poincaré est cité dans Le Monde le 7 Juillet 2012, par Cédric Villani, qui mentionne également les cygnes noirs dans Villani, Dans les entrailles des cygnes noirs.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Time limit is exhausted. Please reload CAPTCHA.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.