Issuu

BUTLLETÍ

El Butlletí de la Societat Catalana de Matemàtiques publica, en llengua catalana, exposicions matemàtiques de qualitat, que puguin interessar a un nombre elevat de lectors. Es donarà prioritat a aquells treballs en què destaquin la claredat d’exposició i l’interès general del tema. El Butlletí està obert a tots els camps de la matemàtica i també als aspectes matemàtics de les ciències experimentals, la tecnologia, l’economia, etc., així com a altres àrees, com la història, la didàctica i la filosofia, sempre que els treballs tinguin un component matemàtic important. També tenen cabuda al Butlletí aquells articles que desenvolupin un aspecte significatiu de la problemàtica de la professió matemàtica al nostre país.

DE LA SOCIETAT CATALANA DE MATEMÀTIQUES Institut d’Estudis Catalans

El Butlletí publica un volum a l’any, dividit en dos números, que es trameten gratuïtament a tots els socis. El Butlletí es publica també en format electrònic. L’edició electrònica del Butlletí pot obtenir-se des del portal de revistes científiques en línia de l’IEC o al servidor http://scm.iec.cat. La correspondència administrativa s’ha d’adreçar a la Societat Catalana de Matemàtiques.

Editor en cap

Editora adjunta

Antoni Guillamon

Rosa Camps

Departament de Matemàtiques

Universitat Politècnica de Catalunya

Universitat Autònoma de Barcelona

í n d e x q Joan Bruna i Sebastià Xambó q Armengol Gasull Conjectures -----------------------------------------------------------------------------------------------

Comitè editorial Marc Noy Departament de Matemàtiques Universitat Politècnica de Catalunya

Bartomeu Coll Dep. de Matemàtiques i Informàtica Universitat de les Illes Balears

Francesc Planas Departament de Matemàtiques Universitat Politècnica de Catalunya

Núria Fagella Dep. de Matemàtiques i Informàtica Universitat de Barcelona

Joan Saldaña Dep. d’Informàtica, Mat. Aplicada i Estadística Universitat de Girona

Armengol Gasull Departament de Matemàtiques Universitat Autònoma de Barcelona

Marta Sanz-Solé Dep. de Matemàtiques i Informàtica Universitat de Barcelona

Gábor Lugosi ICREA i Departament d’Economia Universitat Pompeu Fabra

Gil Solanes Departament de Matemàtiques Universitat Autònoma de Barcelona

q English summaries --------------------------------------------------------------------------------- 115

Carrer del Carme, 47 - 08001 Barcelona tel. 933 248 583 - fax 932 701 180 scm@iec.cat - http://scm.iec.cat

BUTLLETÍ

Vo l u m 3 6

Societat Catalana de Matemàtiques

Vo lum 36 • Núm er o 1 • A n y 2021

Carme Cascante Dep. de Matemàtiques i Informàtica Universitat de Barcelona

Aprenentatge algorísmic i xarxes neuronals profundes --------------------

•

Número 1

•

Any 2021

BUTLLETÍ DE LA SOCIETAT CATALANA DE MATEMÀTIQUES Institut d’Estudis Catalans

Volum 36 • Número 1 • Juny 2021

BARCELONA 2021

© dels autors dels articles Editat per la Societat Catalana de Matemàtiques filial de l’Institut d’Estudis Catalans Carrer del Carme, 47 08001 Barcelona Text revisat lingüísticament per la Unitat d’Edició del Servei Editorial de l’IEC Imprès a Ediciones Gráficas Rey, SL ISSN: 0214-316-X Dipòsit Legal: B 19272-1987 Són rigorosament prohibides, sense l’autorització escrita dels titulars del copyright, la reproducció total o parcial d’aquesta obra per qualsevol procediment i suport, incloent-hi la reprografia i el tractament informàtic, la distribució d’exemplars mitjançant lloguer o préstec comercial, la inclusió total o parcial en bases de dades i la consulta a través de xarxa telemàtica o d’Internet. Les infraccions d’aquests drets estan sotmeses a les sancions establertes per les lleis.

Butlletí de la Societat Catalana de Matemàtiques Vol. 36, núm. 1, 2021

Índex

Joan Bruna i Sebastià Xambó Aprenentatge algorísmic i xarxes neuronals profundes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Armengol Gasull Conjectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 English summaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Butlletí de la Societat Catalana de Matemàtiques Vol. 36, núm. 1, 2021. Pàg. 5–67. DOI: 10.2436/20.2002.01.97

Aprenentatge algorísmic i xarxes neuronals profundes Joan Bruna i Sebastià Xambó

Resum: En aquest article trobareu una descripció de la natura de l’aprenentatge algorísmic, així com de les seves modalitats més rellevants, i una presentació dels principals ingredients matemàtics que li serveixen de base, tant per a la definició i l’estudi de models com per a l’anàlisi dels algorismes. També hi trobareu una bibliografia extensa i unes recomanacions per aprofundir en el seu estudi. Paraules clau: aprenentatge algorísmic, malefici dimensional, xarxes neuronals, gradient descendent estocàstic, dimensió VC, complexitat de Rademacher, doble descens, causalitat i explicabilitat, xarxes hipercomplexes.

Classificació MSC2010: 68T01, 68Q32, 68T05, 62F15, 68W25, 82C32, 62M45, 65K10, 90C26, 93E35, 30G35.

Índex Introducció

1 Preludis 1.1 La via bayesiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Anàlisi de components principals (PCA) . . . . . . . . . . . . . . . . 1.3 Descomposició en valors singulars (SVD) . . . . . . . . . . . . . . . . 1.4 Aprenentatge per mètodes no paramètrics . . . . . . . . . . . . . . .

11 11 12 13 14

2 Aprenentatge inductiu en gran dimensió 2.1 El malefici dimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Model bàsic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Neurones i xarxes neuronals . . . . . . . . . . . . . . . . . . . . . . . 2.4 Aproximadors universals . . . . . . . . . . . . . . . . . . . . . . . . . .

15 15 16 19 22

Joan Bruna i Sebastià Xambó

3 Aproximació 3.1 El malefici dimensional de l’aproximació . . . . . . . . . . . . . . . . 3.2 De xarxes somes a xarxes convolutives profundes . . . . . . . . . . 3.3 El rol de la geometria espacial . . . . . . . . . . . . . . . . . . . . . . . 3.4 Representacions amb estabilitat geomètrica . . . . . . . . . . . . . .

22 22 23 24 26

4 Optimització 4.1 Mètode del gradient descendent . . . . . . . . . . . . . . . . . . . . . 4.2 Xarxes neuronals ultraparametritzades i nuclis tangents . . . . . . 4.3 Límits termodinàmics i xarxes somes com a sistemes de partícules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27 28 30

5 Generalització 5.1 La dimensió VC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2 La dimensió de Pollard . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3 La complexitat de Rademacher . . . . . . . . . . . . . . . . . . . . . . 5.4 Ramificacions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33 35 37 37 38

6 Altres models i problemes oberts 6.1 Connexions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Causalitat i AA explicables . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Xarxes neuronals algebrogeomètriques . . . . . . . . . . . . . . . . . 6.4 Qüestions obertes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40 41 42 42 46

A Probabilitat A.1 Desigualtat de Hoeffding . . . . . . . . . . . . . . . . . . . . . . . . . . A.2 Probabilitat recíproca . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.3 Desigualtat de McDiarmid . . . . . . . . . . . . . . . . . . . . . . . . . A.4 Lema de Gibbs i la divergència KL . . . . . . . . . . . . . . . . . . . .

47 47 47 47 48

B Notes bibliogràfiques B.0 Notes a la Introducció . . . . . . . . . . . . . . . . . . . . . . . . . . . . B.1 Notes a la secció 1 (Preludis) . . . . . . . . . . . . . . . . . . . . . . . B.2 Notes a la secció 2 (Aprenentatge inductiu en gran dimensió) . . . B.3 Notes a la secció 3 (Aproximació) . . . . . . . . . . . . . . . . . . . . B.4 Notes a la secció 4 (Optimització) . . . . . . . . . . . . . . . . . . . . B.5 Notes a la secció 5 (Generalització) . . . . . . . . . . . . . . . . . . . B.6 Notes a la secció 6 (Altres models i problemes oberts) . . . . . . .

48 49 49 50 51 51 51 52

Referències

Aprenentatge algorísmic i xarxes neuronals profundes

Introducció En aquesta secció expliquem, en un llenguatge poc formal, algunes de les idees bàsiques de l’aprenentatge algorísmic (AA), o aprenentatge automàtic, locucions a les quals atribuïm, com a primera aproximació, el mateix significat que a l’anglesa machine learning (ML), és a dir, la recerca d’algorismes eficients que tornen, a partir d’un conjunt de dades (experiència), predictors acurats d’informacions associades a noves dades. En termes usuals, l’AA forma part de l’àmbit de l’anomenada intel.ligència artificial (IA, o AI en les sigles angleses) i comprèn l’estudi de les xarxes neuronals (XN, o NN en les sigles angleses). Pel que fa a referències generals sobre aquestes qüestions, vegeu l’apèndix B (pàgina 48). Aquest apèndix conté un apartat per a cada secció de l’article, començant per §B.0, en què podeu trobar una llista de tractats sobre les qüestions que ens ocuparan d’ara endavant. En cadascun d’aquests apartats podeu trobar, ultra les citacions inserides a la secció corresponent d’aquest article, referències complementàries, comentaris bibliogràfics i, quan escau, breus definicions, a l’inici de l’apartat, dels conceptes que es poden considerar una mica especialitzats. Hi ha diverses menes d’AA. En aquesta secció només considerarem el cas de l’AA supervisat. El propòsit d’aquesta modalitat és la creació i la investigació d’algorismes que tornin una funció f : X → Y amb capacitat acceptable de predir els valors d’una funció f ∗ : X → Y, desconeguda per l’algorisme i a la qual anomenarem expert o supervisor, a partir d’una sèrie d’exemples, és a dir, d’un conjunt finit de parells D = {(x j , y j ) : x j ∈ X, y j = f ∗ (x j ) ∈ Y, j ∈ [n]},

[n] = 1, . . . , n.

Sovint ens referirem a un tal algorisme com l’aprenent, ja que la seva tasca és aconseguir una extrapolació dels exemples que predigui raonablement bé els valors produïts per l’expert. És important assenyalar que per al tractament d’incerteses sobre les y j cal recórrer al model més general del qual donem notícia a l’apartat B.2. Hi ha dues menes de problemes d’AA supervisat que tenen una rellevància cabdal: classificació, quan Y és finit (conjunt de classes), i d’interpolació o regressió, quan Y = R. Formalment, podem tractar els dos casos posant f (x) ' f ∗ (x) per indicar f (x) = f ∗ (x) en el cas de classificació i f (x) ≈ f ∗ (x) en el cas de regressió, on ≈ denota igualtat aproximada segons un criteri prefixat. Amb aquesta convenció, podem mesurar la bondat de f amb la taxa d’aprenentatge, és a dir, la proporció a de casos en què f (x j ) ' f ∗ (x j ) = y i (j = 1, . . . , n), i amb la fidelitat [accuracy],1 que també en podem dir taxa de generalització o capacitat predictora, és a dir, la proporció g de casos en què f (x) ' f ∗ (x) (x ∈ X). Així, 1 − a és la taxa d’errors d’aprenentatge i 1 − g, la taxa d’errors de generalització. En la pràctica, g se substitueix per la proporció 1 Atès que molts termes són propostes de traducció al català de paraules o locucions angleses, sovint aquestes seran consignades entre claudàtors i en lletres sans-serif just després d’aquelles.

Joan Bruna i Sebastià Xambó

de casos en què f (x̄ j ) ' ȳ j , on D = {(x̄ j , ȳ j = f ∗ (x̄ j )) : x̄ j ∈ X, j ∈ [n̄]} és un conjunt d’exemples (exemples de test) generat independentment de D, i un dels nostres propòsits és analitzar les condicions de validesa d’aquest procediment. Adonem-nos que assolir una taxa d’aprenentatge a = 1 equival a una memorització perfecta dels exemples D, cosa que comporta, en els models més coneguts, un comportament pobre davant d’exemples nous, que en la pràctica vol dir davant dels exemples D. Per tant, hem d’esperar que el millor ús dels exemples D sovint només es pugui produir amb un valor adient de la taxa d’aprenentatge. Més enllà d’aquest valor, apareix el sobreaprenentatge [overfitting] i, per sota, el subaprenentatge [underfitting]. Trobar aquest valor òptim de la taxa d’aprenentatge és un dels mèrits que ha de tenir un AA. Aquests conceptes s’il.lustren i es comenten a la figura 1. 1.0

Sobreaprenentatge

Parada òptima

0.8

Error

0.6

0.4

Error de validació

0.2 Subaprenentatge

Error d’entrenament

0.0 0

Figura 1: Estem suposant que l’aprenentatge, com ara d’una regressió lineal, té lloc en un bucle, els cicles del qual s’anomenen èpoques (eix d’abscisses), i que en cada cicle la taxa d’aprenentatge sobre les dades augmenta. Al principi també disminueix l’error de validació, que és com estimem la capacitat generalitzadora, però arriba un moment que aquest error torna a créixer. Aquest moment és el de parada òptima. Abans, encara s’està en règim de subaprenentatge i després de sobreaprenentatge, en què els cicles augmenten la memorització de les dades d’entrenament, fins i tot els aspectes irrellevants (com ara la presència d’algun tipus de «soroll»), en detriment de la capacitat de generalització. Aquest esquema serà modificat a §5 per incloure algunes subtileses del problema de generalització descobertes en els darrers anys (figura 9).

És un fet que es coneixen tècniques per crear algorismes amb bones taxes d’aprenentatge i generalització, almenys per a certs problemes. Actualment aquest fet és notícia gairebé cada dia i en diversos dominis, i és especialment notori, per la cobertura mediàtica, l’èxit d’algorismes campions en jocs i competicions de tota mena. Entre aquests, darrerament han cridat l’atenció els casos del go i del pòquer i, més recentment, el cas d’algorismes que guanyen en jocs de consola. Però encara potser són més espectaculars els resultats en els àm-

Aprenentatge algorísmic i xarxes neuronals profundes

bits de les imatges (predictors biomèdics, reconeixement de persones, vehicles autònoms) i de les llengües (parla o escriptura), sobretot per les implicacions que tenen per a les dinàmiques socials i econòmiques arreu. Exemple: Regressió lineal regularitzada Suposem que les dades x són vectors i que els valors y són números reals. Sigui w un vector (desconegut) de pesos (un pes per a cadascuna de les n components dels vectors x), i posem f ∗ = fw , on fw (x) = w · x = w1 x1 + · · · + wn xn (una suma ponderada dels valors de x). Per tal d’optimitzar la taxa d’aprenentatge, podem prendre com a vector w el que ens proporciona el mètode de mínims quadrats: n X argminw (w · x i − y i )2 . (1) i=1

Fixem-nos que el mínim és nul si, i només si, w · x i = y i per a tot i, que equival a dir que la taxa d’aprenentatge és 1. Per tenir a ratlla el sobreaprenentatge, i millorar així la capacitat predictora, es pot recórrer a una versió regularitzada de (1), la qual cosa vol dir escollir w d’acord amb la relació X argminw (w · x i − y i )2 + λ||w||22 , (2) i

on λ és un número real positiu que en la pràctica és determinat per l’AA. Remarquem que un λ petit afavoreix el sobreaprenentatge, mentre que amb un λ gran fa que |w| hagi de ser petit i, per tant, w té menys possibilitats d’assolir una bona taxa d’aprenentatge. La solució de les expressions (1) i (2) es pot obtenir per algorismes estàndard d’optimització (vegeu §4). Exemples de classificació Potser un dels més familiars és el problema de filtrar missatges de correus electrònics segons que siguin brossa [spam] o no. Un altre exemple és el reconeixement de caràcters manuscrits, en què la capacitat predictora té la flexibilitat d’adaptar-se a la infinitat de variacions possibles. D’especial interès per als matemàtics poden ser els programes que transformen la imatge d’un text matemàtic en una versió LATEX d’aquest (vegeu https://mathpix.com/), o aplicacions per a mòbil que donen informació sobre objectes usant la seva fotografia, o que transformen la parla en un idioma en un text escrit i que a més poden traduir-lo, tant la veu com l’escrit, a un altre idioma. Regressió logística Diem que la probabilitat p = p(x), x = (x1 , . . . , xd ) ∈ Rd , segueix una regressió logística si el log de la possibilitat [odds] de x, p/(1−p), segueix una regressió lineal: log

p = w1 x1 + · · · + wd xd = w · x. 1−p

Joan Bruna i Sebastià Xambó

Trobats els pesos w d’aquesta regressió lineal (normalment, usant taules de resultats previs en què els vectors de característiques apareixen amb les seves freqüències), llavors obtenim 1 , 1 + e−w·x una relació que pot servir per fer prediccions sobre la probabilitat de qualsevol nou vector de característiques. La funció σ (t) = 1/(1 + e−t ) té forma sigmoide i es coneix també amb el nom de funció logística (figura 2). De vegades convé usar la funció 2kσ (t)−k = k(1−e−t )(1−e−t )−1 , que té forma sigmoide però variant entre els extrems ±k, i que podem denotar σk . Per exemple, σ1/2 = σ − 1/2 varia entre −1/2 i 1/2, mentre que σ1 varia entre −1 i 1. p=

1.0 0.8 1 1+e−t

0.6 0.4 0.2 0.0 −10.0 −7.5 −5.0 −2.5

2.5

5.0

7.5

10.0

Figura 2: Gràfic de la funció logística.

Organització del contingut A la primera secció s’apleguen algunes idees de caire relativament elemental, amb molta tradició en els estudis de matemàtiques i estadística, que es poden veure com a arrels dels models matemàtics de l’aprenentatge i que en tot cas segueixen tenint un paper en les teories més actuals. El model bàsic en què basem la resta de l’article s’exposa a §2. El repte principal de l’AA davant de les ingents quantitats de dades de què es disposa és l’anomenat malefici dimensional [curse of dimensionality], que considerem breument en el primer apartat, 2.1. Els ingredients del model bàsic i la seva significació es descriuen a l’apartat 2.2, que acaba amb el que anomenem teorema fonamental de l’AA. En els dos darrers apartats es descriuen models matemàtics de les neurones i de les xarxes neuronals i de la seva funció com a aproximadors universals. L’estat de l’art dels fonaments teòrics de l’AA es desgrana a les tres seccions següents: §3 (Aproximació), §4 (Optimització) i §5 (Generalització). Atesa la importància dels temes, ens remetem a la introducció de cadascuna per analitzar-ne l’abast amb més detall. A la darrera secció, §6, fem referència a alguns altres models prometedors. També esmentem diversos problemes oberts. A l’apèndix A recollim algunes nocions de probabilitat emprades anteriorment. Havent ja explicat el propòsit de l’apèndix B, només ens queda dir que l’article acaba amb la secció de referències, que conté la bibliografia citada.

Aprenentatge algorísmic i xarxes neuronals profundes

Finalment, cal indicar que ometem pràcticament totes les demostracions dels resultats que hi incloem, però que procurem compensar-ho amb referències adients, sigui en el context de cada enunciat o en l’apartat corresponent de l’apèndix B.

Preludis

Encara que el tema principal d’aquest article sigui l’AA basat en xarxes neuronals, i els resultats en què es basa, ens ha semblat adient incloure aquesta secció preliminar per donar compte d’algunes nocions bàsiques que han tingut, i segueixen tenint, un paper important en l’evolució de les teories de l’aprenentatge i el desenvolupament del que s’anomena ciència de les dades [data science]. La motivació principal de la secció és fer de coixí entre coneixements més o menys familiars i les seccions posteriors, de natura més tècnica. Per a referències, vegeu §B.1. 1.1

La via bayesiana

La ben coneguda regla de Bayes-Laplace, sovint anomenada simplement fórmula de Bayes, és de fet un dels resultats pioners i fonamentals de la teoria de l’aprenentatge. Donats esdeveniments X, Y , tenim que ( P (X, Y ) =

P (X) · P (Y |X), P (Y ) · P (X|Y ),

i aquestes relacions són equivalents a P (X|Y ) P (Y |X) P (X, Y ) = = . P (X) P (Y ) P (X) · P (Y ) Denotem amb L(X, Y ) aquest valor, que és simètric en X i Y . Llavors podem escriure P (Y |X) = P (Y )L(X, Y ), que és la regla de Bayes-Laplace. Veiem que L(X, Y ) és el factor pel qual hem de multiplicar la probabilitat P (Y ) de Y , prèvia a l’observació de X [prior], per obtenir la probabilitat P (Y |X) de Y posterior a l’observació de X. En altres termes, L(X, Y ) indica el grau d’aprenentatge sobre Y aportat pel fet d’haver experimentat X. Classificació bayesiana: la regla MAP Si un esdeveniment X ha estat observat, i aquest fet es pot atribuir a una de les hipòtesis Y1 , . . . , Yr , la regla MAP (màxim a posteriori) selecciona la Yj que maximitza P (Yj |X). Per la regla de BayesLaplace, això equival a escollir la Yj que maximitza P (X|Yj )P (Yj ). En el cas especial en què les Yj són equiprobables, es tracta de maximitzar P (X|Yj ).

Joan Bruna i Sebastià Xambó

Un cas particular és el d’una classificació binària dels objectes de X. Suposem X = X0 t X1 , però que l’observació d’un x ∈ X no determina amb certesa, generalment per la presència de soroll o altres causes, a quina de les dues classes pertany. El model estadístic d’aquesta situació és que l’atribució d’una classe y ∈ {0, 1} a una observació x es regeix per una probabilitat conjunta P (x, y) = P (x|y)P (y). És a dir, suposem que les probabilitats P (0) i P (1) són conegudes, així com les probabilitats P (x|y) que expressen la incertesa sobre la classe y de x. Quantificada així la incertesa, la regla de decisió òptima és l’anomenat classificador de Bayes, f B : X → {0, 1}, definit per la màxima probabilitat posterior P (y|x) = P (x|y)P (y)/P (x), és a dir: ( 0 si P (0|x) á P (1|x), B f (x) = 1 si P (0|x) < P (1|x). Aquest classificador és òptim per a la distribució P i la seva proporció d’erR rors és R ∗ = min{P (0|x), P (1|x)}P (x) dx en mitjana. Sense més informació sobre P , només es pot assegurar que 0 à R ∗ à 1/2. La perspectiva bayesiana de l’AA Partint de les dades D, d’un possible model M per explicar-les i d’un conjunt de paràmetres o pesos W del model, la regla de Bayes-Laplace ens dona P (W |D, M) =

P (D|W , M)P (W |M) , P (D|M)

on P (W |D, M) és la probabilitat de W posterior a haver observat les dades D suposant el model M. A la dreta de la igualtat tenim P (D|W , M), la versemblança de les dades D segons el valor dels pesos W relatius al model M; P (W |M), la probabilitat a priori dels paràmetres W respecte del model M; i P (D|M), la verR semblança marginal o evidència del model, és a dir, P (D|W , M)P (W , M) dW . La probabilitat posterior esdevé la probabilitat a priori per processar la informació adquirida en considerar noves dades. Un model M ja après es pot usar per predir la probabilitat de noves dades D0 : Z P (D0 |D, M) = P (D0 |W , D, M)P (W |D, M) dW . El paradigma també permet contrastar diferents models M en relació a les dades D: Z P (D|M)P (M) P (M|D) = , P (D|M) = P (D|W , M)P (W |M) dW . P (D) 1.2

Anàlisi de components principals (PCA)

Sigui X una matriu real m × n. Podem pensar que X és el resultat d’observar m característiques de n objectes, de manera que la fila X j conté les n obserj j vacions (x1 , . . . , xn ) de la característica j-èsima (j ∈ [m]). Equivalentment, la columna Xk = (xk1 , . . . , xkm )T (k ∈ [n]) conté els valors de les m característiques de l’objecte k-èsim. En tot cas, X = [X1 , . . . , Xn ] = [X 1 , . . . , X m ].

Aprenentatge algorísmic i xarxes neuronals profundes

Considerem la mitjana de X j , µj = E[X j ], i la covariància de X j i X k , σjk = Cov(X j , X k ) = E[X j · X k ] − µ j µ k . La matriu simètrica Σ = Cov(X) = (σjk ), de tipus m × m, és semidefinida positiva i diem que és la matriu de covariància de X. Adonem-nos que σjj = Var(X j ) (la variància de X j ), i que Var(X j ) = σj2 , on σj á 0 és la desviació estàndard de X j . Donat un m-vector unitari u, resulta que Var(uT X) = uT Σu, i que aquest valor és màxim precisament quan u és un vector propi u1 de Σ amb valor propi màxim. En aquestes condicions, es diu que u = u1 és la component principal de X. Notem que uT X és el vector format amb les projeccions de les columnes de X sobre u, de manera que aquestes projeccions recullen la variabilitat màxima de X en una direcció. La segona component principal de X és el vector propi unitari u2 corresponent al segon valor propi (en ordre no creixent) de Σ. Aquest vector maximitza Var(uT X) = uT Σu per als vectors unitaris u perpendiculars a u1 . Prosseguint aquest procés, s’obté una base ortonormal u1 , . . . , um de Rm tal que Var(uTr X) = uTr Σur és màxima per a vectors unitaris perpendiculars a u1 , . . . , ur −1 . Si posem Ur per denotar la matriu formada pels vectors u1 , . . . , ur , la matriu UrT X és de tipus r × n i incorpora la variabilitat de X atribuïble als primers r valors propis (ordenats en sentit no creixent) de Σ. La tècnica de les components principals és un primer exemple de reducció dimensional, un concepte al qual retornarem més endavant, i es pot entendre com una forma d’aprenentatge no supervisat. També cal dir que UrT X es pot emprar com una forma de preprocessament aplicable a les dades X abans de sotmetre-les a un procediment d’aprenentatge supervisat. El valor de r s’escull de manera que ur +1 , . . . , um tinguin un paper negligible en l’explicació de la variabilitat de X. 1.3

Descomposició en valors singulars (SVD)

Sigui X una matriu real m × n, que considerem com a dades a l’estil del que hem vist a §1.2, i sigui r el seu rang. Les matrius simètriques XX T i X T X, de tipus m × m i n × n respectivament, tenen rang r , són semidefinides positives i tenen els mateixos valors propis no nuls λ21 , . . . , λ2r , on podem suposar que λ1 á λ2 á · · · á λr > 0. A més, si posem U i V per denotar les matrius ortonormals de vectors propis de XX T i X T X, llavors X = U ΛV T , essent Λjj = λj , per a j = 1, . . . , r , els únics valors no nuls de Λ. Amb això, XX T = U (ΛΛT )U T i X T X = V (ΛT Λ)V T , on els primers r valors de les diagonals de ΛΛT i ΛT Λ són λ21 , . . . , λ2r i tots els altres són nuls en ambdues matrius (de tipus m × m i n × n, respectivament). Ara, atès que UΛ = (λ1 u1 , . . . , λr ur ), obtenim la celebrada descomposició en valors singulars de X: X = λ1 u1 v1T + · · · + λr ur vrT . De fet, resulta que per a k = 1, . . . , r , la matriu Mk = λ1 u1 v1T + · · · + λk uk vkT

Joan Bruna i Sebastià Xambó

és l’aproximació òptima de X amb matrius de rang k (teorema d’Eckart-Young). Aquest resultat és també, doncs, una forma de reducció dimensional. El valor de k s’escull de manera que X − Mk sigui negligible en el context on s’utilitzi. Una aplicació important de la descomposició singular és que la solució a per mínims quadrats del sistema lineal Xa = b és a = X † b, on X † és la † pseudoinversa de Moore-Penrose de X, és a dir, X † = V Λ† U T , amb Λjj = λ−1 j . per a j = 1, . . . , r i totes les altres entrades nul les. 1.4

Aprenentatge per mètodes no paramètrics

Si bé el focus principal d’aquest article és l’aprenentatge supervisat, té interès presentar breument la idea d’aprenentatge no supervisat. Ho fem descrivint dos algorismes: k-mitjana [k-Means], un procediment d’agrupació de dades, i un de classificació, k-NN [nearest neighbors], en què les dades disponibles estan classificades per un expert i la decisió s’aconsegueix mirant les k dades disponibles més properes a la dada per classificar. k-mitjana En termes generals, aquest algorisme divideix un conjunt de vectors n-dimensionals no etiquetats D en k grups minimitzant una certa funció de cost, però l’essència del seu funcionament queda ben reflectida en els tres passos següents: (1) Escollim k vectors diferents z1 , . . . , zk (en principi, poden ser del mateix conjunt de dades). (2) Assignem cada vector x j de D al zi més proper, és a dir, el primer que satisfà d(x j , zi ) = min(d(x j , z1 ), . . . , d(x j , zk )), de manera que en resulta una classificació inicial de D en k grups. (3) Actualitzem cada zi prenent el baricentre del grup de zi . (4) Iterem fins que els zi siguin estables (segons una tolerància prefixada). k-NN Suposem que tenim un conjunt de dades D = {(x j , y j )} (j ∈ [n]), on les x j són vectors N-dimensionals i les y j , elements d’un conjunt finit Y . Sigui k un número enter positiu. Donat un vector x arbitrari de l’espai dels x j , l’algorisme k-NN el classifica posant-li una etiqueta de la manera següent: (1) busca els k vectors x j1 , . . . , x jk de manera que les distàncies d(x, x j1 ), . . . , d(x, x jk ) siguin les més petites possibles, i (2) assigna a x la moda del conjunt {y j1 , . . . , y jk }. Per trobar el conjunt {x j1 , . . . , x jk }, basta fer una llista dels parells (j, dj = d(x, x j )), ordenar les dj de manera no decreixent i retenir els primers k parells (j1 , dj1 ), . . . , (jk , djk ). També cal dir que si en el pas (2) hi ha empat en el nombre de dos o més grups, cal desempatar triant el que doni distància mínima. En el cas d’una classificació binària, és aconsellable escollir k senar. L’algorisme k-NN es pot modificar sense dificultat de manera que k creixi amb n. El teorema següent proporciona condicions suficients perquè aquest algorisme modificat sigui un classificador universalment consistent. Teorema 1 ([187, 207]). Sigui fn el classificador binari construït amb una mostra de n punts. Si n → ∞ i k → ∞ de manera que k/n → 0 [e. g., si k = log n], llavors R(fn ) → R ∗ per a qualsevol distribució de probabilitat P , on R(fn ) i R ∗ són la proporció d’errors de fn i del classificador de Bayes, respectivament.

Aprenentatge algorísmic i xarxes neuronals profundes

Tanmateix, aquest teorema no té les conseqüències pràctiques que podria semblar a primera vista, ja que oculta un cas de malefici dimensional, en el sentit que per aconseguir R(fn ) − R ∗ à ε cal, en el pitjor dels casos, un nombre d’exemples n = O(ε−d ) [176]. Veurem més detalls d’aquest malefici dimensional a §2.1.

Aprenentatge inductiu en gran dimensió

El problema de l’aprenentatge inductiu, tal com l’hem considerat a les seccions precedents, es redueix essencialment a un problema d’interpolació de dades. És per tant un problema clàssic, amb una llarga història en estadística i tractament del senyal. Què fa que la matemàtica de l’AA sigui especial, doncs? 2.1

El malefici dimensional

La clau és la gran dimensió dels espais de dades. Senyals com les imatges, els àudios i els vídeos viuen en espais de milions de dimensions, i els mètodes clàssics d’interpolació resulten inservibles en aquest règim, ja que, per obtenir solucions consistents sota hipòtesis febles de regularitat local (com ara Lipschitz), és inevitable que el nombre d’exemples n hagi de créixer de forma exponencial en la dimensió —un fenomen conegut col.loquialment com el malefici dimensional [curse of dimensionality]. En efecte, la divisió del cub unitat d’un espai de dimensió d en cubs de costat ε conté ε−d cubs, és a dir, una quantitat que creix exponencialment amb la dimensió. Una observació relacionada és que el volum de l’esfera de radi 1 en dimensió d decreix molt ràpidament a partir de d = 5 (vegeu la figura 3), de manera que les propietats familiars vàlides en el pla, en l’espai o en dimensions baixes no serveixen en dimensions grans. Ras i curt, el malefici dimensional rau en el fet que la interpolació de punts en dimensions grans és intrínsecament més difícil que en dimensions baixes.

Figura 3: Volum vn de l’esfera S n de radi 1 per a n = 1, 2, . . . , 25. Tenim que v1 = 2, v2 = π i, per a n > 2, vn = 2π vn−2 . Així vn creix quan n n < 2π i decreix monòtonament per a n > 2π . De fet, vn convergeix molt ràpidament a 0 quan n → ∞. Per exemple, v100 ' 2.368 × 10−40 .

Per afrontar el malefici dimensional cal, doncs, construir teories matemàtiques adaptades al tractament d’objectes de gran dimensió. A diferència dels exemples de regressió lineal i logística de les seccions anteriors, primer és necessari introduir espais d’aproximació no lineals. Això planteja nous reptes

Joan Bruna i Sebastià Xambó

algorísmics per poder definir estimadors òptims en aquests espais. Entre les dificultats principals, cal esmentar la presència inevitable de funcions no convexes i la necessitat d’usar eines avançades de probabilitat (com ara les tècniques de concentració de la mesura) que garanteixin l’aprenentatge. L’objectiu d’aquesta secció és presentar primer, §2.2, el model bàsic d’AA supervisat que usarem a partir d’ara com a teló de fons i escenari per a totes les consideracions que seguiran. A continuació, §2.3, s’introdueixen els models de neurona i de xarxes neuronals, cosa que en particular ens permet disposar d’una gran abundància d’espais d’hipòtesis (un dels elements clau del model bàsic), i garantir la propietat d’aproximació universal, §2.4. L’estudi més detallat del paper del model bàsic per superar els obstacles del malefici dimensional l’hem sistematitzat a les seccions següents, §3, §4 i §5, dedicades als problemes d’aproximació, optimització i generalització, respectivament. 2.2

Model bàsic

Tot seguit descrivim els ingredients que concorren en el model matemàtic bàsic de l’aprenentatge inductiu. Com a primer exemple, podeu tenir en compte la regressió lineal explicada a la introducció. Domini de les dades: X, l’espai (o conjunt) del qual s’extreuen les dades. La teoria de la informació permet, en molts casos, que aquestes dades es puguin representar com a vectors d’un espai vectorial real. Per exemple, per a les imatges de N píxels, X és (una regió de) RN o de R3N segons que les imatges siguin monocromes o de color RGB [Red-Green-Blue]. La dimensió d’aquests espais, per a les imatges que ordinàriament tenen interès, és molt gran. En general, doncs, hem d’estar preparats per haver de treballar amb espais X de dimensió molt gran. Generació de dades: La generació de dades es regeix per la selecció aleatòria d’elements de X d’acord amb una distribució de probabilitat P sobre X. Aquesta distribució no és coneguda per l’AA i en general està molt lluny de la distribució uniforme. Per exemple, les imatges que usualment ens trobem presenten regularitats que les distingeixen d’aquelles formades per píxels seleccionats a l’atzar segons la distribució uniforme i de manera independent. I una observació similar val per al cas dels sons, com ara la música. Espai d’hipòtesis: És un espai F de funcions f : X → R que considerem P -mesurables. La selecció d’un tal espai es coneix com a biaix inductiu, ja que expressa les suposicions a priori sobre la forma esperada de la solució destil.lada per l’algorisme. L’espai F sovint s’especifica com un espai de funcions parametritzades. En el cas de la regressió lineal, l’espai de funcions era el dels polinomis multivariats de grau 1. A l’apartat següent veurem que les neurones i les xarxes neuronals es poden veure com a factories de funcions parametritzades no lineals, la qual cosa és el tret més visible de la seva utilitat per a l’AA.

Aprenentatge algorísmic i xarxes neuronals profundes

Complexitat: La mesura de la complexitat de les hipòtesis és una funció γ : F → R+ . Exemple: γ(f ) = ||f || (la norma de f ) quan F és un espai de Banach. Per a tot δ ∈ R+ , posem Fδ = {f ∈ F : γ(f ) à δ}. En el cas de la norma, és la bola (tancada) de F de radi δ, que té l’avantatge de ser un conjunt convex. Aquesta noció permet facultar l’AA amb un criteri per graduar l’esforç de cerca segons una complexitat creixent. En el cas de les xarxes neuronals, aquesta complexitat es controla mitjançant una penalització implícita a través de l’algorisme d’optimització (§4 i §5.4) o d’una regularització explícita, com ara una penalització sobre els pesos de la xarxa. Expert o supervisor: Una funció donada f ∗ : X → R. Per a cada dada x, l’expert produeix un exemple: el parell (x, y), y = f ∗ (x). L’AA no coneix l’expert (raó per la qual aquest també s’anomena oracle), però el seu propòsit és imitarlo tan fidelment com sigui possible seguint els procediments que es descriuen més avall. En cas que l’expert sigui un element de F (cosa que en general no passa), diem que és realitzable. Dades d’entrenament: Un conjunt d’exemples D = {(x i , y i = f ∗ (x i )) : x i ∈ X)}i∈[n] produïts per l’expert, on els x i es generen segons la distribució P de manera independent, x i ∼ P en símbols. Defecte: El defecte [loss] de f ∈ F és un indicador, denotat L(f ), de la separació entre f i f ∗ . Un exemple usual és l’esperança de |f (x) − f ∗ (x)|2 relativa a P , EP |f (x) − f ∗ (x)|2 . Més generalment, podem emprar L(f ) = EP `(f (x), f ∗ (x)), on ` : Y×Y → R és una funció no negativa amb `(y, y 0 ) = 0 si, i només si, y = y 0 (diem que ` és un defecte puntual). En alguns dominis d’aplicació, del defecte se’n diu risc i, encara en d’altres, error. Objectiu de l’AA Si bé l’objectiu primari és aproximar l’expert f ∗ , en termes del model bàsic es tracta de trobar un estimador fˆ ∈ F , usant només D, tal que el seu defecte L(fˆ) sigui una bona aproximació del mínim defecte assolible amb funcions de F , és a dir, de LF = minh∈F L(h). Aquest estimador es construeix a partir d’una minimització del defecte empíric [empirical risk minimization, ERM], on el defecte o risc empíric [empirical risk] és el funcional L̂D : F → R+ definit per la fórmula n

L̂D (h) =

1 X |h(x i ) − y i |2 . n i=1

Es tracta d’un estimador no esbiaixat de L(h) mitjançant les dades D. Naturalment, l’expressió |h(x i ) − y i |2 s’ha de substituir per `(h(x i ), y i ) si L es defineix en termes d’un defecte puntual `.

Joan Bruna i Sebastià Xambó

Com que hi ha una discrepància (aleatòria) entre el funcional que ens interessa minimitzar (L, desconegut) i el funcional de què disposem (L̂D ), és necessari introduir algun tipus de regularització per tal de poder controlar aquestes fluctuacions. Per exemple, podem considerar el defecte empíric δ-restringit, L̂D,δ = min L̂D (h), h∈Fδ

(3)

o el defecte empíric λ-regularitzat (cf. la discussió de l’equació (2)), o λ-penalitzat, min (L̂D (h) + λγ(h)), (4) h∈F

on γ(h) és la complexitat de h introduïda a la pàgina 17. Com veurem posteriorment, la minimització del risc empíric s’aconsegueix mitjançat mètodes coneguts genèricament com a algorismes de gradient descendent. Descomposició de l’error Donat un estimador fˆ obtingut a partir de l’ERM dins d’un espai d’hipòtesis F , l’objectiu de la teoria de l’aprenentatge estadístic és fitar L(fˆ) − LF , una quantitat que alguns autors anomenen penediment [regret], ja que expressa la discrepància que emetria un oracle que conegués L(fˆ) i LF . Aquest penediment es pot descompondre de la manera següent ([26, 10]): L(fˆ) − LF = L(fˆ) − LFδ + LFδ − LF . La significació del sumand LFδ − LF es descriu més avall amb el nom error d’aproximació i denotat εapr . Per altra banda, podem escriure L(fˆ) − LFδ = L(fˆ) − L̂D (fˆ) + L̂D (fˆ) − L̂D,δ + L̂D,δ − LFδ . La diferència εopt = L̂D (fˆ) − L̂D,δ s’analitza més avall com a error d’optimització. Ens queda per considerar la suma L(fˆ) − L̂D (fˆ) + L̂D,δ − LFδ , de la qual donarem una fita superior. D’una banda, és clar que L(fˆ) − L̂D (fˆ) à εest , definit com suph∈Fδ |L(h) − L̂D (h)| i explicat més avall com a error estadístic o de fluctuació, i de l’altra, també tenim L̂D,δ − LFδ à εest , ja que si h ∈ Fδ compleix LFδ = L(h), llavors L̂D,δ − LFδ à L̂D (h) − L(h) à |L(h) − L̂D (h)| à εest . Podem resumir aquestes consideracions en l’enunciat següent: Teorema 2 (Fitació del penediment). L(fˆ) − LF à εapr + εopt + 2εest . Error d’aproximació: L’hem definit com la diferència εapr = LFδ −LF . No depèn de les dades D, és no negatiu i disminueix en créixer δ. Mesura l’aproximació del mínim defecte LF que es pot aconseguir amb funcions de Fδ . Per a la discussió sobre el disseny d’espais F que permetin aproximar f ∗ , vegeu §3.

Aprenentatge algorísmic i xarxes neuronals profundes

Error d’optimització: Per h ∈ Fδ , l’hem definit com a εopt = L̂D (h) − L̂D,δ , on L̂D,δ és el mínim dels defectes empírics de funcions de Fδ . En la pràctica, es fixa una tolerància ε > 0 i s’aplica un algorisme de minimització del risc empíric per aconseguir fˆ ∈ Fδ tal que el seu error d’optimització sigui à ε, és a dir, L̂D (fˆ) − L̂D,δ à ε. (5) El problema principal per assolir (5) és computacional, degut al paisatge no convex del risc empíric, i l’estudiem amb detall a §4. Error estadístic: Per a una h ∈ Fδ , |L(h) − L̂D (h)| és l’error que es comet en substituir el defecte L(h) pel defecte empíric L̂D (h). En el pitjor dels casos, aquest error és εest = suph∈Fδ |L(h) − L̂D (h)|, i d’aquesta quantitat en diem error estadístic o error de fluctuació. Analitzem el paper que té en l’anàlisi de la capacitat de generalització a §5. El teorema 2 ens diu que podem garantir un bon aprenentatge (és a dir, L(fˆ) − LF petit i, per tant, que fˆ sigui una bona aproximació de f ∗ amb una funció de F ), si podem assegurar que els tres termes d’error són petits. Per aconseguir això, cal una bona elecció de F , un bon algorisme d’optimització per tal de poder assolir la desigualtat (5) i eines per controlar les fluctuacions que produeixen l’error estadístic. És a dir, ens plantegem: (1) Com podem trobar espais d’hipòtesis F amb bones propietats d’aproximació en dimensions grans? (2) De quins algorismes es disposa per aconseguir minimitzar L̂D (h)? (3) Com es poden controlar les fluctuacions estadístiques? A l’estudi d’aquestes qüestions dediquem les seccions §3, §4 i §5, respectivament. 2.3

Neurones i xarxes neuronals

En aquest apartat introduïm la neurona com a eina bàsica per construir espais funcionals amb bones propietats d’aproximació i generalització en gran dimensió. En AA, una neurona (vegeu la figura 4a)) és una funció de la forma x , χ(θ, x) = aσ (x · w + w0 ),

(6)

on a, w0 ∈ R, w ∈ Rd , θ = (a, w, w0 ), i on σ és una funció de forma sigmoide, com ara la funció logística σ (t) = (1 + e−t )−1 (figura 2). Diem que θ són els paràmetres de la neurona. Més concretament, w és el vector de pesos i w0 , el biaix. Aquest model computa, per a cada valor dels paràmetres θ, una funció la gràfica de la qual té forma de talús [ridge] (vegeu la figura 4b)), ja que és constant sobre cada hiperplà perpendicular al vector w i en la direcció de w té forma sigmoide. Afegint la constant x0 = 1 com un input extra, i prenent x̄ = (1, x) i w̄ = (w0 , w), tenim que x · w + w0 = x̄ · w̄, de manera que si a = 1 i σ és la funció logística, la neurona computa la regressió logística de x̄ amb pesos w̄.

Joan Bruna i Sebastià Xambó

sortida

w0 σ 0.5

σ (x2 )

0 −10

10 w1 w2 x1

wn . . . . . . . . . xn

−5 x1

0 0

−5 10

−10

Figura 4: a) Esquema d’una neurona. b) La gràfica de la funció calculada per una neurona té forma de talús. Funcionalment, podem considerar que els pesos wj i els paràmetres de σ , col.lectivament θ, formen part de la neurona, i que aquesta dona com a valor de sortida fθ (x1 , . . . , xn ). Gràficament, representarem aquesta funcionalitat amb un cercle.

Si la neurona representada a la figura 4a) es compon amb la funció s , ±1 segons que s = fθ (x) á 12 o < 12 , essencialment tenim l’anomenat perceptró de Rosenblatt (1958), que històricament té la importància de ser el primer sistema que podia aprendre una classificació binària a partir d’exemples per un procés d’ajustament dels paràmetres θ. Una xarxa neuronal (XN) es pot pensar com una composició de neurones d’acord amb un graf de connexions que es coneix com l’arquitectura de la xarxa. Aquí ens fixarem primordialment en el cas de grafs dirigits, i deixarem per a més endavant alguns comentaris sobre xarxes no dirigides, com ara les de Hopfield o les anomenades màquines de Boltzmann. Tampoc considerarem xarxes amb retroalimentació, és a dir, que continguin camins tancats. L’arquitectura estàndard d’una XN directa [feed-forward] és un graf dirigit estructurat en capes [layers] Lj , com a la figura 5, i la seva signatura funcional es pot condensar en l’esquema següent: N :

Entrada = L0 → L1 → L2 → · · · → Lm → Lm+1 = Sortida.

(7)

Convencionalment, una xarxa es considera soma [shallow] si m = 1 i profunda [deep] si m > 1. Les capes L1 , . . . , Lm es consideren ocultes [hidden], mentre que les capes d’entrada i sortida són visibles. L’amplada d’una capa és el nombre de neurones que conté. Cada capa consta d’un cert nombre de neurones i només hi ha connexions de les neurones d’una capa envers neurones de la capa següent. Cada capa rep un senyal x de la capa anterior i produeix un senyal de sortida x 0 que envia a la capa següent, cosa que podem representar com una relació funcional:

Aprenentatge algorísmic i xarxes neuronals profundes

x 0 = fj (x). La capa L0 recull el senyal d’entrada (un so o una imatge, per exemple), paper que presenta una certa analogia amb el dels òrgans sensorials dels éssers vius. La sortida, representada per la capa Lm+1 , és el resultat d’aplicar progressivament [feedforward] les funcions f1 , f2 , . . . , fm (és a dir, la composició fm ◦fm−1 ◦ · · · ◦f1 ) a l’entrada. Seguint l’analogia biològica, la sortida pot ser el senyal enviat a diversos sistemes de l’ésser viu, com ara l’aparell locomotor, o als òrgans de fonació dels humans, entre molts d’altres. La funció fj : x , x 0 depèn del conjunt de paràmetres (o pesos) associats a les connexions neuronals que arriben a Lj , de manera que fj és una funció parametritzada que podem denotar fθj i així l’acció progressiva de la xarxa és la funció parametritzada fθ = fθm ◦ · · · ◦fθ1 (θ = (θ1 , . . . , θm )). Atès que les funcions d’activació de les neurones són no lineals, també ho és aquesta funció. El nombre total de paràmetres d’una xarxa neuronal és en general molt gran, especialment, les profundes. Fins on pugui valer l’analogia biològica, els paràmetres de la xarxa fan el paper de les connexions sinàptiques, de les quals s’estima que n’hi ha, en el cas dels cervells humans, desenes de bilions. El caràcter d’una capa Lj de la XN (7) depèn de la manera en què s’usen els paràmetres θj en la definició de fθj . Un cas important és el de les capes convolutives, un qualificatiu genèric per designar que en la definició de fθj (x) s’usa alguna mena de convolució, o de correlació creuada, entre θj i x, i en aquest cas els paràmetres θj fan el paper de filtres. Una XN es considera que és convolutiva (XNC) si conté almenys una capa convolutiva. a)

Sortida

x1 x2 x3

x4 L0

x5 Entrada

Figura 5: a) Xarxa sense neurones ocultes i totalment connectada. b) Xarxa amb una capa oculta de tres neurones, L1 , totalment connectada a les neurones de sortida, L2 . La capa d’entrada, L0 , només està parcialment connectada a la capa L1 . Com que cada neurona oculta rep les sortides de tres neurones de l’entrada, els pesos de les tres neurones ocultes podrien ser els mateixos, cas en el qual es parla de pesos compartits. Aquesta idea és a la base de la noció de xarxes convolutives que veurem en una secció posterior. Si els tres pesos són w1 , w2 , w3 , l’estat de les P3 neurones ocultes és yj = i=1 wi xi+j−1 , j = 1, 2, 3, és a dir, el vector d’aquests estats és la convolució del vector d’entrades x amb el vector de pesos w.

Joan Bruna i Sebastià Xambó

2.4

Aproximadors universals

Les xarxes neuronals estàndard tenen la capacitat d’aproximar qualsevol funció mesurable fins a qualsevol precisió desitjada. De fet, això es pot aconseguir amb xarxes somes, però amb un nombre de neurones ocultes que augmenta a mesura que es demana més precisió. Teorema 3 ([49, 91, 15, 156]). Sigui σ : R → R una funció contínua, acotada, monòtona creixent i no constant (e. g. una sigmoide o tanh). Llavors l’espai F de funcions de la forma N X aj σ (wj · x + bj ), (8) j=1

on N ∈ Z+ , wj ∈ Rn , aj , bj ∈ R, és dens (convergència uniforme sobre compactes) en l’espai de funcions contínues de Rn . En particular, resulta que tota funció contínua de X es pot aproximar (uniformement sobre compactes) tant com vulguem mitjançant una xarxa neuronal soma. Vegeu [156, proposició 6.4] per a una derivació en el marc del teorema de Stone-Weirstrass. Aquest resultat dona confiança al fet que les xarxes neuronals poden aproximar qualsevol funció que tingui interès pràctic, però per si mateix no és un resultat quantitatiu, ja que no incorpora, per exemple, cap control sobre el nombre de neurones de la capa oculta necessari per assolir un cert error d’aproximació. Recordem de l’apartat 2.2 que l’aproximació és només una peça del puzle, i que un bon algorisme d’aprenentatge necessita a més una bona taxa de generalització i d’optimització —propietats que, en la pràctica, requereixen arquitectures més profundes.

Aproximació

Un problema fonamental és garantir que l’aprenentatge sigui factible fins i tot quan n ε−d , una situació en la qual els mètodes clàssics no són aplicables (apartat 3.1), però on les xarxes neuronals donen certes esperances. Per encarar aquesta qüestió, ens fixarem primer en el paper de la profunditat (apartat 3.2) i després en la geometria espacial induïda per la física del problema (apartat 3.3). 3.1

El malefici dimensional de l’aproximació

L’anàlisi de funcions f : Ω → R definides en un domini Ω de baixa dimensió és una disciplina madura i amb llarga història en les matemàtiques. La regularitat d’una funció en una, dues o tres dimensions pot caracteritzar-se precisament per expressar l’estructura d’un problema específic; per exemple, les solucions d’una equació d’ones, o d’una imatge f (u), u ∈ [0, 1]2 , usant eines d’anàlisi harmònica (com ara la transformada de Fourier o les ondetes), o variants geomètriques (com ara les crestetes [ridgelets]). Aquest control permet resoldre tota mena de problemes inversos (com ara la compressió d’imatges, ressonàncies

Aprenentatge algorísmic i xarxes neuronals profundes

magnètiques, etc.) amb garanties estadístiques i computacionals. En aquestes aplicacions, podem dir que els models matemàtics estan «al dia» respecte als algorismes utilitzats en la pràctica. La situació en dimensions grans és totalment diferent: als espais funcionals basats en nocions globals de regularitat, com ara els espais de Sobolev, els manca adaptabilitat quan la dimensió creix: un resultat clàssic en estadística no paramètrica ([197]) estableix que estimar una funció f de la classe de Sobolev en dimensió d amb error de mínims quadrats ε requereix O(ε−2−d/s ) mostres, on s és el nombre de derivades de f . Dit d’una altra manera: només les funcions extremament regulars, amb milions de derivades finites, són estimables en el règim de dimensions grans! Nocions locals de regularitat, com ara funcions simplement Lipschitz, també pateixen malefici dimensional, ja que són necessàries ε−d mostres per obtenir errors minimax d’ordre ε [206]. Cal, doncs, treballar amb una teoria d’aproximació alternativa per respondre al repte de les dimensions grans. En aquest context, els espais funcionals associats a les xarxes neuronals, començant per les funcions somes descrites per l’equació (8), han estat estudiats per grans analistes (Pinkus, Matusek o, fins i tot, Bourgain) com a generalitzacions de les representacions integrals en Fourier: Z f (x) =

g(θ)σ (x · θ) dθ,

(9)

on g és la «transformada» i σ , una activació no polinòmica genèrica que generalitza l’exponencial complexa σ (x · θ) = e−i(x·θ) de la transformada de Fourier. Un resultat important de [10] és que aquests espais funcionals permeten adaptar-se a les estructures de baixa dimensió sense malefici: si f (x) = f˜(U x), on U ∈ Rk×d amb k d és un operador de projecció desconegut, la regularitat de f s’expressa en termes de y = Ux ∈ Rk , que té dimensió k potencialment molt més baixa que la dimensió d de l’espai ambient. L’essència d’aquests espais és, un cop més, l’esparsitat [sparsity] que es pot imposar a g en la representació (9), en consonància amb resultats fonamentals dels anys 1990 i 2000 [55] que van transformar el tractament de senyal emprant la condició d’esparsitat. 3.2

De xarxes somes a xarxes convolutives profundes

Els arguments matemàtics d’aproximació precedents s’han de contrastar amb els arguments experimentals, que mostren una diferència enorme entre les xarxes somes genèriques i les xarxes convolutives modernes, amb centenars de capes. Es pot dir que l’anàlisi harmònica de les xarxes profundes està encara en la seva infància. De fet, els resultats més profunds sobre això provenen de la comunitat d’informàtica teòrica, que ha estudiat des dels anys setanta qüestions d’aproximació de circuits lògics basant-se en l’anàlisi harmònica de l’hipercub [118]. En el context de xarxes neuronals, alguns autors han estudiat el rol de la profunditat des del punt de vista de l’aproximació. Citem en particular [58], on

Joan Bruna i Sebastià Xambó

els autors presenten una classe de funcions radials i oscil.lants en dimensió d que requereixen un nombre exponencial de neurones per tal que puguin ser aproximades per xarxes somes, fet que dona un contrapunt negatiu al resultat d’aproximació universal del teorema 3, però ensems mostren que es poden aproximar satisfactòriament amb xarxes d’una sola capa oculta. A més de la profunditat, un altre aspecte crucial de les xarxes neuronals modernes és que incorporen coneixements de la física (en l’estructura espacial d’imatges, vídeos i sons, per exemple), com descrivim tot seguit. 3.3

El rol de la geometria espacial

Fins ara hem prosseguit pensant que X és Rd , d 1, però en les aplicacions més importants (com ara la visió artificial, el llenguatge artificial —text i parla— o la física) disposem de més estructura. En molts casos, els elements de X són funcions x : Ω → Rk , on Ω és una regió d’un espai de dimensió baixa i k, un número enter positiu petit. En el cas d’una imatge, Ω pot ser un rectangle del pla i k, el nombre de canals de la imatge, és a dir, k = 1 per a imatges monocromes o k = 3 per a imatges de color. En el cas de la parla, Ω pot ser R, de manera que x(t) és la intensitat del so en l’instant t, amb k = 2 si el so és estèreo. En el cas de la física de N partícules, Ω = (R3 × R3 )N , on la partícula i-èsima està determinada pel parell (pi , qi ) ∈ R3 × R3 format pel seu moment lineal pi i la seva posició qi . En tots aquests casos, l’alta dimensió de les observacions x camufla l’estructura subjacent de dimensió baixa, i la pregunta clau és com podem usar aquesta estructura (que anomenarem estructura funcional de X) per al tractament del problema esmentat. Simetries globals En AA, les simetries apareixen com a transformacions de les entrades que no afecten la funció que volem aprendre. És una situació que presenta una analogia amb moltes de les matemàtiques i la física. Per exemple, la relació entre el grup de Galois d’un polinomi i l’estructura de les seves arrels, o entre les simetries d’un sistema físic i les lleis de conservació que el regeixen (teoremes de Noether). Una simetria de F és una transformació invertible T : X → X tal que f (x) = f (T x) per a qualsevol f ∈ F . D’aquestes simetries, que formen un grup G amb l’operació de composició, les més significatives per als nostres propòsits són les induïdes a partir de simetries de l’estructura funcional. Més concretament, si τ : Ω → Ω és una transformació, llavors podem considerar Tτ : X → X, x , xτ , definida per la relació xτ (u) = x(τ(u)). Per exemple, en el cas d’una translació τ = tv , tv (u) = u + v, ens queda xtv (u) = x(u + v). Tanmateix, la invariància global no és una premissa prou forta per endegar l’estimació en dimensions altes. Els grups de transformacions són típicament de dimensió baixa; en processament del senyal, sovint són subgrups del grup afí Aff(Ω), de dimensió 6 en el cas de les imatges. Es pot definir una premissa molt més forta especificant com es comporta f respecte de pertorbacions geomètriques de Ω properes a elements d’aquests grups de simetries globals.

Aprenentatge algorísmic i xarxes neuronals profundes

Deformacions locals i separació d’escales Considerem ara un camp vectorial τ : Ω → Rd , prou regular, que produeix una deformació local ϕ(u) := u + τ(u), la qual actua sobre L2 (Ω) per composició, xτ (u) := x(ϕ(u)). Com a exemples tenim translacions locals, canvis del punt d’observació, rotacions i transposicions en freqüència [33], que han estat utilitzats àmpliament com a models de variabilitat d’imatge en visió per computador [96, 62, 70]. Observem que si kτk < 1, llavors ϕ és un difeomorfisme. La major part de les tasques en visió per computador són estables per deformacions, en el sentit que la predicció feta per f no canvia gaire si la imatge d’entrada s’ha deformat lleugerament [33, 122]. En tasques que són invariants per translació aquesta premissa pot expressar-se |f (xτ ) − f (x)| ≈ kτk,

(10)

per a tot x i tot τ, on kτk mesura la distància de ϕ al grup de translacions; per exemple kτk := supu k∇τ(u)k [33]. L’estabilitat per deformacions és una premissa forta, perquè l’espai de deformacions locals té dimensió gran, en contraposició amb el grup de simetries globals, com s’il.lustra a la figura 6. Addicionalment, aquesta estabilitat per deformacions es pot expressar en termes d’una anàlisi multiresolució [MRA] [120] de la forma següent. Una imatge contínua x definida a Ω pot interpretar-se com una combinació lineal P x = xJ + j x̃j de senyals x̃j , j ∈ (−∞, J), on xJ captura les estructures a gran escala 2J , i x̃j , els detalls a escales 2j més petites, com s’il.lustra a la figura 7. L’anàlisi multiresolució construeix operadors lineals basats en ondetes [wavelets] per obtenir aquesta descomposició x , {xJ , x̃j }. Similarment, les funcions f d’interès en visió admeten una factorització aproximada en termes d’una anàlisi multiresolució: denotant amb Pj un projector (no necessàriament lineal) cap a l’espai de senyals a escala com a mínim j, l’estabilitat geomètrica de f s’expressa com f (x) ≈ fj (Pj (x)), on fj és una nova funció definida sobre imatges a una resolució més baixa, limitada a les escales més grans que j. En altres paraules, les interaccions entre píxels es poden «separar» segons les escales, tractant primer les interaccions locals mitjançant l’operador PJ . Aplicant aquesta factorització iteradament a fj , fj+1 , . . . , obtenim una separació de l’aprenentatge a cada escala. Aquest principi de separació d’escales apareix en diversos àmbits de la física matemàtica, per exemple, en el mètode multipolar ràpid [fast multipole method] [73]. Aquest principi d’estabilitat per deformacions locals ha estat explotat en visió per computador en diversos models, incloent-hi les xarxes convolutives, i analitzat matemàticament amb la transformada dispersiva [scattering transform] [33, 122].

Joan Bruna i Sebastià Xambó

Figura 6: Les deformacions d’una imatge x per un camp τ regular no alteren la informació semàntica xτ . En canvi, deformacions grans (imatge dreta) sí que ho poden fer.

Figura 7: Descomposicio multiresolució. (Font: Wikipedia.)

3.4

Representacions amb estabilitat geomètrica

Motivats per la premissa d’estabilitat geomètrica, estem interessats a construir representacions de senyals que hi siguin compatibles. Suposem, per concretarho, que l’estimació fˆ de f , la funció objectiu, té la forma fˆ(x) := Φ(x) · w,

(11)

on Φ : L2 (Ω) → RK designa la representació del senyal i w ∈ RK , els coeficients de classificació o regressió. En una XNC, Φ seria l’operador que projecta el senyal d’entrada al darrer nivell de la seva representació dispersant, i w s’associa al darrer senyal de sortida de la xarxa. La representació dispersant s’usa en anàlisi harmònica per a extreure informació de senyals amb certes garanties d’invariància i d’estabilitat per deformacions. La idea central és aplicar de forma iterada una transformada en ondetes amb una transformació no lineal (rectificació), que permet capturar interaccions entre diferents escales de la

Aprenentatge algorísmic i xarxes neuronals profundes

transformada (d’aquí prové el nom dispersant). La relació lineal (11) entre Φ(x) i fˆ(x) implica que l’estabilitat geomètrica en la representació és suficient per garantir un predictor també geomètricament estable. En efecte, si suposem ∀ x, τ, kΦ(x) − Φ(xτ )k Ü kxkkτk,

(12)

aleshores, per Cauchy-Schwarz |fˆ(x) − fˆ(xτ )| à kwkkΦ(x) − Φ(xτ )k Ü kwkkxkkτk. Això motiva l’estudi de representacions del senyal que compleixen (12), i que al mateix temps Φ capti prou informació que asseguri que kΦ(x) − Φ(x 0 )k és gran si |f (x) − f (x 0 )| també ho és. En aquest context, un repte notable de cara a assolir ambdues propietats simultàniament passa per transformar les components en alta freqüència de x de forma estable. En tasques de reconeixement, a més d’estabilitat geomètrica, és natural demanar estabilitat respecte a la mètrica de L2 (Ω): ∀ x, x 0 ∈ L2 (Ω), kΦ(x) − Φ(x 0 )k Ü kx − x 0 k.

(13)

Aquesta propietat d’estabilitat assegura que la presència de soroll additiu en el senyal d’entrada no canviarà dràsticament les característiques de la representació. Les dues estabilitats desitjades, (12) i (13), també poden ser interpretades en termes de robustesa enfront dels anomenats exemples adversos [191]. En efecte, el context genèric dels exemples adversos consisteix a produir petites pertorbacions x 0 d’un senyal donat x (mesurat en normes convenients) de manera que |(Φ(x) − Φ(x 0 )) · w| sigui gran. L’estabilitat de les representacions significa que aquests exemples adversos no poden obtenir-se amb petites pertorbacions additives o geomètriques. En resum, les propietats d’estabilitat (12) i (13) es poden prendre com a axiomes per definir espais de funcions adaptats. La transformada dispersiva ([33, 121]) defineix un espai de funcions lineals mitjançant l’equació (11), que es pot generalitzar gràcies a la teoria dels nuclis reproductors [24] amb els mateixos principis d’estabilitat. Mencionem breument el fet que aquests principis d’estabilitat geomètrica es poden generalitzar a dominis no euclidians, gràcies a les eines intrínseques en anàlisi harmònica, en varietats riemanianes i en grafs, a més de la teoria de representació de grups, cosa que dona lloc a l’anomenat aprenentatge geomètric profund [geometric deep learning]; vegeu [31] per a un resum detallat d’aquest tipus de generalitzacions. Tot i que aquesta visió axiomàtica permet assolir bons resultats numèrics amb mètodes matemàticament rigorosos, destaquem per concloure que defineix espais d’aproximació (lineals) molt més petits que els definits per xarxes neuronals profundes, i que entendre aquest contrast és un dels problemes oberts més importants de la matemàtica de l’AA.

Optimització

Més enllà de les qüestions obertes descrites a la secció anterior, en el trencaclosques de l’AA l’aspecte matemàtic possiblement més espinós és computacional:

Joan Bruna i Sebastià Xambó

com podem definir algorismes amb garanties d’optimització del risc empíric en el cas en què la classe de funcions sigui no lineal? Amb aquesta finalitat, revisem el mètode del gradient descendent a §4.1, i tot seguit expliquem primer la connexió amb nuclis reproductors, §4.2, i després, amb els sistemes dinàmics de transport de mesura a §4.3. 4.1

Mètode del gradient descendent

Recordem, del model bàsic, que l’objectiu de l’aprenentatge supervisat consisteix a minimitzar el risc empíric en una classe d’hipòtesis amb capacitat limitada. En la forma penalitzada, això es tradueix en (cf. equació (4)) min E(h), h∈F

E(h) = LD (h) + λγ(h).

(14)

Aquí estem formulant el problema d’aprenentatge de forma implícita, buscant directament funcions de la classe F , per exemple, funcions resultants d’una xarxa neuronal amb una arquitectura predeterminada. El problema (14) és conceptualment simple, però computacionalment complicat, ja que en la pràctica l’espai F sovint té una geometria no euclidiana. Si pensem F com un subespai de l’espai de totes les funcions f : X → R, podem interpretar (14) geomètricament com la minimització d’un cost convex en un domini arbitrari. Tot i que és possible definir mètodes iteratius per optimitzar funcions en aquest nivell de generalitat, en el nostre cas simplificarem el problema introduint una parametrització de l’espai d’hipòtesis φ : Θ → F , on Θ és un domini euclidià, i on suposem que φ és diferenciable i exhaustiva. En el cas d’una xarxa neuronal, θ ∈ Θ representa els paràmetres que cal ajustar, i φ(θ) és la funció implementada per la xarxa corresponent als paràmetres θ. Aquesta parametrització ens permet definir un domini d’optimització euclidià, al preu que ara la funció per optimitzar és generalment no convexa: min Ẽ(θ), θ∈Θ

Ẽ(θ) := E(φ(θ)).

(15)

En aquestes condicions, una estratègia clàssica per atacar (15) és el mètode del gradient descendent (Cauchy, 1847). Començant per un punt h0 = φ(θ0 ) ∈ F arbitrari, considerem la iteració θk+1 = θk − η∇Ẽ(θk ),

(16)

on ∇Ẽ és la primera variació o gradient de Ẽ, i η > 0 és un paràmetre ajustable corresponent al pas d’optimització. Podem interpretar (16) geomètricament a partir de l’aproximació lineal de Ẽ en un entorn de θk . Suposant que Ẽ és β-regular [β-smooth] i η < β−1 , tenim la majoració Ẽ(θ) à Ẽ(θk ) + ∇Ẽ(θk ) · (θ − θk ) + η−1 kθ − θk k2 , la qual ens duu a reescriure (16) en forma variacional: θk+1 = argminθ Ẽ(θk ) + ∇Ẽ(θk ) · (θ − θk ) + η−1 kθ − θk k2 .

(17)

Aprenentatge algorísmic i xarxes neuronals profundes

L’algorisme, doncs, explota la regularitat local de Ẽ per definir un model quadràtic majorant la funció, i trobar un punt en l’entorn euclidià del paràmetre actual on es pugui reduir l’error. El mètode del gradient descendent admet diverses generalitzacions en les quals no entrarem en aquest article, per exemple, explotant aproximacions de segon ordre o generalitzacions en mètriques no euclidianes. Cal esmentar que en el cas convex, el mètode del gradient descendent gaudeix d’una anàlisi matemàtica precisa, que permet garantir que el mètode, en la seva versió accelerada [138], és òptim respecte a un model de complexitat oracle que utilitza combinacions lineals de gradients passats [137], en el sentit que la taxa de convergència Θ(1/t 2 ) no pot millorar-se. Per a més detalls sobre el mètode, referim el lector a l’excel.lent monografia [34]. En el nostre context, el resultat crucial és que el mètode del gradient descendent permet trobar mínims locals de Ẽ sense malefici dimensional: per a un ere −2 ) iteracions de gradient descendent (aproror ε > 0 donat, es requereixen O(ε piadament modificat en presència de soroll) per trobar un mínim local aproxie ) significa O(f ) ignorant factors logarítmics. mat a menys de ε [97], on O(f Malgrat aquest comportament robust davant el malefici dimensional, el mètode del gradient descendent, tal com l’hem descrit a (16), és problemàtic en aplicacions de gran escala, ja que cada actualització dels paràmetres reclama el gradient del risc empíric Ẽ, que depèn de totes les dades. Això ha motivat una recerca fructífera en mètodes de gradient estocàstic, començant pel treball seminal de Robbins i Monro als anys cinquanta, [163]. Sense entrar en detalls tècnics, el mètode del gradient estocàstic substitueix l’oracle del gradient [gradient oracle] per un oracle estocàstic: donat el punt actual θ, l’algorisme té accés a un 0 0 vector aleatori θ tal que l’esperança condicional E(θ |θ) = ∇Ẽ(θ); dit d’una altra manera, tenim accés a un estimador sense biaix del gradient de la funció. En el cas del risc empíric, aquest estimador s’obté avaluant el risc en un sol punt, ∇Ri (θ), on Ri (θ) = |φ(θ, xi ) − yi |2 + λγ(φ(θ)), on φ(θ, xi ) = φ(θ)(xi ), o en un subconjunt petit de punts (mini-batch). En aquestes condicions, és possible establir garanties sobre la complexitat d’iteració similars a les del −4 e cas determinista, de l’ordre de O(dε ) iteracions estocàstiques per trobar un mínim local aproximat a menys de ε [97]. Mencionem en particular que, en el cas de les XN, una variant popular del mètode del gradient descendent considera passos de gradient adaptatius, on l’hiperparàmetre η se substitueix per un pas adaptat a cada coordenada de θ. Entre les diverses alternatives, la més popular és Adam [100], on el pas de gradient es normalitza en cada coordenada a partir d’una estimació de la norma i es combina amb un component d’inèrcia [momentum]. En resum, en el règim on manipulem espais d’hipòtesis amb graus de llibertat enormes, sense cap altra estructura que la regularitat local de la parametrització, el mètode del gradient descendent estocàstic es perfila com l’eina canònica per aprendre, amb una complexitat d’iteració redimida del malefici dimensional. Tanmateix, aquesta anàlisi només garanteix que és relativament fàcil de trobar un mínim local, no un mínim global. És possible certificar la convergència global del risc empíric en el context de xarxes neuronals? A l’apartat següent veurem que, en alguns casos, la termodinàmica pot donar respostes positives.

Joan Bruna i Sebastià Xambó

4.2

Xarxes neuronals ultraparametritzades i nuclis tangents

El mètode del gradient descendent (16) es pot interpretar com una discretització d’Euler d’una equació diferencial ordinària θ̇ = −∇Ẽ(θ), amb condició inicial aleatòria θ(0) donada per una certa distribució de probabilitat definida sobre l’espai de paràmetres Θ. Aquesta equació, anomenada flux del gradient, defineix una dinàmica contínua θ(t) ∈ Θ, t á 0, en l’espai de paràmetres, que al seu torn genera una dinàmica en l’espai funcional F definida per h(t) = φ(θ(t)); vegeu figura 8. La regla de la cadena implica immediatament un flux de gradient equivalent a F , donat per ḣ = −K(t) · ∇E(h(t)), (18) on K(t) := Dφ(θ(t))> Dφ(θ(t)) és un canvi de mètrica anomenat nucli tangent, que projecta el gradient funcional ∇E(h(t)) a l’espai tangent de la varietat F , i on Dφ(θ) és la derivada de φ en el punt θ. La dificultat per analitzar (18) matemàticament rau en la variació temporal del nucli tangent K(t). Θ

F = φ(Θ)

K(t) · ∇E(h(t))

Dφ(θ(t)) (Dφ)> (∇E)

∇E(h(t)) h(t)

Dφ(θ(t))>

f∗

θ(t) θ0

h0 = φ(θ0 )

Figura 8: Algorisme del gradient descendent: relacions geomètriques i analítiques entre l’espai de paràmetres Θ i l’espai d’hipòtesis F . En general, f ∗ està fora de F .

De fet, la variació temporal de K(t) es pot entendre geomètricament com la curvatura de l’espai de funcions F en un entorn del punt h(t). En el cas que φ(θ) sigui una xarxa neuronal com a l’equació (7), un resultat important de [95, 57, 56, 45] és que aquesta curvatura desapareix progressivament quan la xarxa es torna més ampla, sota una certa normalització dels pesos i, per tant, K(t) → K(0) uniformement en temps finit [95]. Per exemple, en el cas d’una xarxa soma, si considerem m

1 X φ(θ, ·) = √ χ(θj , ·), m j=1

Aprenentatge algorísmic i xarxes neuronals profundes

on χ(θ, ·) és la neurona definida a (6), i els paràmetres θj es consideren independents i idènticament distribuïts segons una distribució µ0 , el nucli tangent esdevé m

K(t)[x, x 0 ] =

1 X ∇θ χ(θj (t), x)∇θ χ(θj (t), x 0 ) m j=1

→ Eθ∼µ0 [∇θ χ(θ, x)∇θ χ(θ, x 0 )] := K(x, x 0 )

(m → ∞).

En condicions força generals [160], el nucli tangent a una amplada fini1 ta m es concentra uniformement cap a K, amb fluctuacions de l’ordre ∼ √m . En aquest règim asimptòtic m → ∞, i considerant per simplificar el cas no regularitzat E(h) = 21 kh − f ∗ k2 , la dinàmica d’entrenament se simplifica a f˙ = −K∇E(f (t)) = −K(f (t) − f ∗ ), que correspon a la dinàmica lineal associada a un model de regressió lineal en un espai de Hilbert generat pel nucli reproductor K. Aquests espais funcionals (RKHS en anglès) són generalitzacions en dimensió infinita d’espais euclidians, la qual cosa permet un estudi aprofundit i precís de les qüestions d’aproximació, generalització i optimització. En contrapartida, aquests espais sofreixen del malefici dimensional, com s’ha explicat a l’apartat 3.1. Amb aquesta parametrització, les xarxes neuronals amples es comporten doncs com a models lineals, caracteritzats per un nucli tangent que no es mou de la inicialització. Si bé aquest fenomen permet comprendre el perquè del bon comportament del mètode del gradient descendent, deixa un regust amarg, ja que no explica matemàticament els avantatges dels models no lineals definits per les xarxes, ni permet evitar el malefici dimensional. Com veurem tot seguit, és possible capturar els aspectes no lineals de les xarxes amb un model convex —canviant la normalització. 4.3

Límits termodinàmics i xarxes somes com a sistemes de partícules

Fixem-nos ara en el cas de les xarxes somes (una sola capa oculta) i considerem √ una nova normalització (en 1/m enlloc d’1/ m) dels pesos de la forma m

1 X φ(θ, x) = χ(θj , x), m j=1

(19)

on θ = (θ1 , . . . , θm ) i la neurona χ(θ, ·) : X → R és una funció parametritzada per θ ∈ Ω ⊆ Rm . Per exemple, χ(θ, x) = aσ (x · b + c), amb θ = (a, b, c) ∈ R × Rd × R. Gràcies a l’estructura particularment simple de les xarxes somes, podem pensar la funció φ com una mitjana de m funcions simples χ(θj ), parametritzades per m partícules θ1 , . . . , θm ∈ Ω. La visió paramètrica d’una

Joan Bruna i Sebastià Xambó

xarxa de neurones en termes dels seus pesos (o partícules) correspon en el llenguatge de mecànica de fluids a un model lagrangià del sistema, que contrasta amb el model eulerià, que expressa el sistema en termes de la densitat de partícules µ, definida com una mesura de probabilitat sobre l’espai Ω. Efectivament, podem reescriure (19) com Z φ(µ, x) = χ(θ, x)µ(dθ), (20) Ω

prenent µ = µ (m) com la mesura empírica associada a les m partícules: m

µ (m) (dθ) =

1 X δθ (dθ). m j=1 j

La perspectiva euleriana permet abstreure’ns de l’aspecte discret de les xarxes somes, en el sentit que l’essència de l’entrenament no és comprendre la trajectòria específica de cada neurona, sinó la trajectòria de la funció que defineixen conjuntament quan en considerem un nombre m suficientment gran. Matemàticament, això correspon a l’exemple canònic de concentració de la mesura, la llei dels grans nombres, que diu que si cada neurona θj s’inicialitza independentment a partir d’una llei µ0 , aleshores la mesura empírica µ (m) √ convergeix feblement a µ0 amb taxa 1/ m: Z E

1 g(θ)(µ (m) (dθ) − µ0 (dθ)) Ü √ , m

(21)

on l’esperança és respecte de la mesura empírica, i g és una funció de test Lipschitz. Dit altrament, una xarxa soma φ(θ, ·), inicialitzada amb m partícules independents idènticament distribuïdes θj ∼ µ0 , s’aproxima a la funció de camp mitjà [mean field] φ(µ0 , x) = Eθ∼µ0 χ(θ, x), amb unes fluctuacions √ típiques de l’ordre 1/ m, uniformement en x sobre compactes. Això no és més que l’estimador clàssic de Monte Carlo. Veurem, seguidament, com aquesta perspectiva de mostreig també permet incorporar l’aspecte dinàmic d’entrenament. La densitat permet parametritzar funcions F de forma lineal, com podem comprovar a (20). En conseqüència, l’alternativa euleriana de (15) és ara min E[µ] := E(φ(µ, ·)),

µ∈P(Ω)

(22)

on P(Ω) denota l’espai de mesures de probabilitat sobre Ω. Gràcies a la convexitat original de E i a la linealitat de (20), aquest problema és convex respecte de µ, contràriament a (15). Malgrat aquesta bona notícia, l’optimització del problema (22) no és trivial, ja que la geometria de P(Ω) que dona lloc a aquesta convexitat (la geometria de

Aprenentatge algorísmic i xarxes neuronals profundes

1 mixtures, en què el punt mitjà entre dues mesures µ i ν és la mixtura 2 (µ + ν)) no és compatible amb el mètode de gradient descendent que es pot implementar a la pràctica. Concretament, l’algorisme de gradient descendent, actuant sobre els paràmetres de cada partícula, defineix un operador proximal anàleg al de (17), però amb una mètrica de transport:

µk+1 = arg min{E[µk ] + δE[µk ] · (µ − µk ) + η−1 W2 (µ, µk )}, µ

(23)

on W2 (µ, µ 0 ) és la distància de 2-Wasserstein entre dues mesures a P(Ω), i δE és la primera variació de E respecte a µ. Similarment al cas euclidià, aquest pas proximal admet un límit en temps continu, però en aquest cas, en lloc d’una equació diferencial ordinària, obtenim una equació en derivades parcials que és, en terminologia física, l’equació de continuïtat de massa en un transport de mesura ([126, 168, 44, 180]): ∂t µt = div(∇δE(µt ) · µt ).

(24)

Aquest formalisme permet obtenir garanties d’optimització en xarxes somes arbitràriament amples [44, 167], malgrat el fet que el funcional no és convex per desplaçaments, juntament amb cotes de generalització sense malefici dimensional [10]. Tanmateix, aquestes garanties d’optimització són vàlides en el límit termodinàmic, també dit de camp mitjà [mean field], on l’evolució de la mesura comença a µ0 i no en la seva versió empírica µ (m) . De la mateixa manera que tenim una llei dels grans nombres (i també un teorema de límit central), a la inicialització (vegeu equació (21)) les trajectòries que comencen (m) a µ0 i µ (m) , diguem-ne µt i µt , es poden acotar, sota determinades condicions, √ de manera que conservin la taxa de convergència feble en 1/ m uniformement en temps [43]. En resum, la visió euleriana de les xarxes somes permet identificar una estructura matemàtica robusta, a més d’estudiar el problema d’optimització amb eines de transport de la mesura i mecànica estadística. Malgrat que les garanties d’aprenentatge són encara qualitatives (el nombre de neurones necessàries per garantir optimalitat en el cas general segueix sent exponencial en la dimensió ambient), les eines permeten ser optimistes sobre una teoria matemàtica de xarxes somes. Les extensions a xarxes més profundes s’han començat a estudiar [154, 60], així com en problemes amb simetries [223], o problemes d’optimització competitiva en jocs de suma zero [54].

Generalització

Un AA té una bona capacitat de generalització si la hipòtesi h ∈ F que escull difereix poc de l’expert que ha produït els exemples, és a dir, si el defecte L(h) és petit. Com es pot garantir aquesta condició si l’AA només coneix els exemples D i, d’una manera o altra, l’espai F ? El problema pot semblar impossible si tenim en compte que D sempre és finit, que el malefici dimensional sempre sotja totes les cantonades i que F , per regla general, és infinit.

Joan Bruna i Sebastià Xambó

Si té solució, quina forma podem esperar que tingui un enunciat sobre la capacitat de generalització? Atès que es tracta de trobar una fita de L(h) en funció del que coneix l’AA, podem esperar una expressió d’aquesta fita en què intervingui el risc empíric de h, L̂D (h), la mida de D, n, i alguna mesura de la cabuda o riquesa de F , que en abstracte podem denotar Cab(F ). A més, l’enunciat ha de ser necessàriament probabilista, la qual cosa vol dir que la fita serà vàlida amb una certa probabilitat, que, com és costum, expressarem com una confiança á 1 − δ per a un valor δ petit prefixat. En resum, per aquesta via, que és la usual en aprenentatge estadístic, tindrem expressions de la forma L(h) àδ L̂D (h) + Fun(Cab(F ), n, δ), on àδ vol dir amb probabilitat almenys 1 − δ relativament a les mostres D i on Fun és una certa funció dels arguments Cab(F ), n i δ. El resultat que segueix és un exemple per il.lustrar aquest procediment. Teorema 4 ([176, corol.lari 4.6]). Suposem que F és un conjunt finit d’hipòtesis binàries. Llavors, per a qualsevol δ > 0, v u u ln |F | + ln 2 t δ . L(h) àδ L̂D (h) + 2n Veiem que podem interpretar que Cab(F ) = |F |. El resultat ens diu que la generalització augmenta si la minimització del risc empíric ens assegura que L̂D (h) és petit i que n és prou gran perquè el segon sumand de l’expressió també sigui petit. L’alternativa és expressar la relació L(h) àδ Fun com una fita inferior de n (complexitat de la mostra). Per exemple, el teorema anterior es pot expressar dient, amb les mateixes hipòtesis, que |L(h) − L̂D (h)| àδ ε si 2 1 ln |F | + ln . (25) ná 2ε2 δ Cal remarcar que (25) i, per tant, el teorema 4, es poden millorar en el cas realitzable, és a dir, quan f ∗ ∈ F . En efecte, en aquestes condicions es pot establir una fita lineal en ε−1 ([176, corol.lari 2.3]): 1 1 ná ln |F | + ln . (26) ε δ Tanmateix, els espais d’hipòtesis són habitualment infinits i l’estudi de la generalització que es pot aconseguir és més sofisticat, ja que cal introduir nocions apropiades de Cab(F ) i establir fites superiors de L(h) o inferiors de n que assegurin la generalització amb confiança 1 − δ. En aquesta secció introduïm diverses nocions de cabuda d’un espai d’hipòtesis F . La de Vapnik-Chervonenkis (VC), introduïda com un índex a [203, §1], val per a hipòtesis binàries i no depèn de la densitat de probabilitat P sobre X, un fet que s’expressa dient que és una noció agnòstica. N’hi ha bones exposicions en molts textos, com ara [4], [108] o [176], i li dediquem l’apartat 5.1. El segon apartat, 5.2, el destinem a

Aprenentatge algorísmic i xarxes neuronals profundes

l’anomenada dimensió de Pollard (Pol), introduïda a [158], que és similar a la VC, però sense la restricció a valors binaris, i el tercer apartat, 5.3, el dediquem a l’anomenada dimensió de Rademacher (Rad). Aquest concepte (exposat en detall a [176, capítol 26]; vegeu també les notes [12]) no és agnòstic i això fa, com veurem, que usualment permeti assolir fitacions millors de les quantitats que ens interessen. Finalment, a l’apartat 5.4, anotem diverses comparacions entre les tres nocions de cabuda que acabem d’esmentar. 5.1

La dimensió VC

Mirem primer el cas d’un espai F d’hipòtesis binàries h : X → {0, 1}, que podem identificar a subconjunts de X : h ↔ h−1 (1) = 1h(x)=1 . Diem que F disgrega [shatters] un conjunt finit Z ⊂ X si tota funció binària de Z és la restricció d’una h ∈ F . La dimensió (o cabuda, o capacitat) de Vapnik-Chervonenkis de F , denotada VC(F ), es defineix com el màxim cardinal d’un subconjunt finit Z ⊂ X disgregat per F , si aquest màxim existeix, o ∞ altrament. Veiem, doncs, que VC és un concepte purament combinatori. En termes del càlcul pràctic, en el cas de cabuda k finita normalment es pot exhibir un Z de cardinal k disgregat per F i provar tot seguit que cap subconjunt de cardinal k + 1 ho pot ser. En el cas de capacitat infinita, s’ha de mostrar que per a tot k ∈ N hi ha un Z de cardinal k disgregat per F . Exemples. (1) Sigui X = R i F el conjunt de semirectes positives [a, ∞), a ∈ R. Llavors VC(F ) = 1. En efecte, donat Z = {z}, z ∈ X, hi ha semirectes que el contenen i d’altres que no, de manera que Z és disgregat per F . Per contra, si Z = {z, z0 } ⊂ R, z < z0 , una semirecta que contingui z també conté z0 i, per tant, Z no pot ser disgregat per F . (2) Encara a R, considerem el conjunt F d’intervals tancats. Llavors VC(F ) = 2, ja que si Z = {z, z0 } com en l’exemple anterior, hi ha intervals tancats disjunts de Z, d’altres que el contenen, i encara d’altres que contenen z i no z0 , i viceversa. En canvi, si Z = {z, z0 , z00 }, z < z0 < z00 , no hi ha cap interval tancat que contingui z i z00 i no contingui z0 , de manera que cap Z de cardinal 3 pot ser disgregat per F . Adonem-nos que en l’exemple (1) tindríem també capacitat 2 si a més de les semirectes positives consideréssim alhora les negatives. (3) Sigui F l’espai dels semiplans del pla X = R2 . Un conjunt Z de tres punts no alineats de X és disgregat per F , ja que per a tot subconjunt Z 0 de Z hi ha semiplans h tals que h ∩ Z = Z 0 . Per altra banda, cap conjunt de quatre punts distints de X pot ser disgregat per F . En efecte, podem suposar que no n’hi ha tres d’alineats, ja que un semiplà que conté els dos extrems d’un segment conté qualsevol altre punt d’aquest segment. També podem suposar que cap dels punts és interior al triangle format pels altres tres, ja que llavors aquest punt automàticament pertany a qualsevol semiplà que contingui el triangle. I si els quatre punts formen un quadrilàter convex, no hi ha cap semiplà que contingui els extrems d’una diagonal i exclogui els extrems de l’altra diagonal. En resum, cap conjunt de quatre punts pot ser disgregat per F i, així, VC(F ) = 3.

Joan Bruna i Sebastià Xambó

(4) L’exemple anterior és vàlid en qualsevol dimensió d á 2: la capacitat del conjunt F de semiespais de Rd és d + 1. La part més senzilla és trobar un conjunt Z de d + 1 punts disgregats per F . Sigui Z = {z0 , z1 , . . . , zd }, on z0 és l’origen i zj el punt unitat sobre el j-èsim eix de coordenades. Sigui {0, 1, . . . , d} = A t B una partició arbitrària i posem wj = 1 si j ∈ A i wj = −1 si j ∈ B. Llavors el semiespai definit per l’hiperplà d’equació h(x) = w0 /2 + w1 x1 + · · · + ws xd = 0 conté (exclou) els punts zj per a j ∈ A (j ∈ B), ja que h(z0 ) = w0 /2 i h(zj ) = w0 /2 + wj per a j > 0, d’on es desprèn que h(zj ) té el mateix signe que wj per a tot j. La part que queda (que cap conjunt de punts Z de cardinal d + 2 pot ser disgregat per F ) és una conseqüència del fet que existeix (lema de Radon) una partició Z = Z 0 t Z 00 tal que [Z 0 ] ∩ [Z 00 ] 6= ∅, on posem [Z 0 ] i [Z 00 ] per denotar les envolupants convexes de Z 0 i Z 00 : si hi hagués un semiespai que separés Z 0 i Z 00 , aquest semiespai també separaria [Z 0 ] i [Z 00 ]. (5) La capacitat de la família de polígons convexos de r o menys costats és 2r +1. En efecte, sigui Z un conjunt de 2r + 1 punts sobre una circumferència i femne una partició Z = Z 0 t Z 00 . Si |Z 0 | à r , el polígon convex amb vèrtexs Z 0 està contingut a la circumferència i, per tant, exclou els punts de Z 00 . Si en canvi |Z 00 | à r , llavors podem construir, a partir de les tangents a la circumferència en els punts de Z 00 , un polígon convex de |Z 00 | vèrtexs que inclou Z 0 i exclou Z 00 : basta desplaçar les tangents esmentades un infinitèsim envers el centre. Aquests arguments es poden modificar fàcilment per establir que els polígons convexos d’exactament r costats també tenen capacitat 2r + 1. Finalment, és clar que els polígons convexos, sense condicions sobre el nombre de costats, tenen capacitat ∞. El paper de VC en el problema de la generalització queda palès en el teorema següent. Teorema 5. Considerem k = VC(F ) i suposem k < ∞. Llavors tenim: s  k + ln(1/δ) . (1) L(h) àδ L̂D (h) + O  n 1 Alternativament, n = O ε2 (k + ln(1/δ) assegura |L(h) − L̂D (h)| àδ ε. 8

(2) Si h ∈ F satisfà LD (h) = 0, llavors n á ε (k ln(16/ε) + ln(2/δ)) garanteix

L(h) àδ ε. Remarca: l’expressió de la fita inferior de n és O kε ln(1/ε) + 1 ε ln(1/δ) . 1 En termes del cost, L(h) àδ O n (k ln(n/k) + ln(1/δ) si L̂D (h) = 0. Per acabar, anotem què passa quan VC és ∞ (cf. [176, teorema 6.6]. Teorema 6. Per a una classe F d’hipòtesis binàries tal que VC(F ) = ∞ existeixen oracles que cap algorisme pot aprendre.

Aprenentatge algorísmic i xarxes neuronals profundes

5.2

La dimensió de Pollard

Suposem que Y = [0, K] ⊂ R, K > 0, de manera que F és un conjunt de funcions h : X → [0, K]. Sigui X = {x1 , . . . , xn } un subconjunt de X. Diem que F disgrega X amb testimonis t1 , . . . , tn ∈ R si per a tot subconjunt X 0 de X existeix una funció h ∈ F tal que h(xj ) à tj o h(xj ) > tj segons que xj ∈ X 0 o xj 6∈ X 0 . La dimensió de Pollard de F , que denotarem Pol(F ), és el màxim cardinal d’un subconjunt X de X que F pot disgregar. En el cas binari, Y = {0, 1}, clarament tenim Pol(F ) = VC(F ). Un altre exemple és la igualtat Pol(F ) = dim(F ) si F és un espai vectorial de funcions reals de dimensió finita. Amb les notacions anteriors, posem p = Pol(F ) i sigui D ∼ P n , és a dir, un subconjunt de n elements de X extrets d’acord amb la distribució P de manera independent. Llavors tenim: Teorema 7 (Pollard, 1984). Per a tota h ∈ F , s s 2p en 1 1 |L̂D (h) − Ex∼P [h(x)]| àδ K ln +K ln . n p 2n δ 2 8K 2 1 1 Alternativament, |L̂D (h) − Ex∼P [h(x)]| àδ ε per a n á 8K ε2 p ln ε2 + 4 ln δ .

5.3

La complexitat de Rademacher

Aquesta noció es pot definir per a una família Fe de funcions h̃ : Z → [a, b] ⊂ R, en què (Z, P ) és un espai de probabilitat, i el seu propòsit és calibrar la capacitat de Fe d’encaixar un cert soroll aleatori. En l’aplicació al model bàsic, tindrem Z = X × Y, amb P (z) = P (x, y) = P (y|x)P (x) = Px (y)P (x), i Fe serà la família de funcions h̃ : X × Y → R, h ∈ F , definides per la relació (el defecte puntual ` s’ha introduït a l’apartat «Defecte», pàgina 17): h̃(x, y) = `(h(x), y).

(27)

En realitat hem de considerar dues nocions de complexitat de Rademacher: Radz (Fe ), on z = {z1 , . . . , zn } és una mostra donada (zj ∼ P ), i Radn (Fe ). La segona és la complexitat de Rademacher (per a mostres de longitud n) i la primera, la complexitat de Rademacher empírica (relativa a una mostra z). Per definir-les, ens cal introduir les variables de Rademacher σ = σ1 , . . . , σn a fi de representar un soroll binari aleatori. Són variables aleatòries independents, una per a cada dada de la mostra, a valors {−1, 1} equiprobables. La correlació d’una mostra d’aquest soroll amb els valors h̃(z) = h̃(z1 ), . . . , h̃(zn ) l’expressa el producte escalar σ · h̃(z). Per tant, suph̃∈Fe σ · h̃(z)/n expressa la millor correlació que es pot obtenir, en mitjana sobre la mostra, amb funcions de Fe . Amb tot això, ja podem definir les dues complexitats de Rademacher:   σ · h̃(z)   Radz (Fe ) = Eσ sup i Radn (Fe ) = Ez∼P n [Radz (Fe )]. (28) n h̃∈Fe

Joan Bruna i Sebastià Xambó

Teorema 8. Per a tot δ > 0 i tota h̃ ∈ Fe , es compleixen les desigualtats v u 2 u ln t δ e Ez∼P [h̃(z)] àδ L̂z (h̃) + 2Radz (F ) + 3 , 2n

(29)

v u 1 u ln t δ e . Ez∼P [h̃(z)] àδ L̂z (h̃) + 2Radn (F ) + 2n

(30)

Si particularitzem els resultats anteriors al cas del model bàsic, via la introducció de l’espai Fe associat a F explicada al principi d’aquest apartat, obtenim: Teorema 9 (Fitació de Rademacher). Sigui F un espai d’hipòtesis i D un conjunt de dades empíriques. Llavors per a tota h ∈ F es compleix la desigualtat s L(h) àδ L̂D (h) + 2Radn (F ) +

ln(1/δ) . 2n

(31)

∈ Rn mirant-lo Si abstraiem el paper de h̃(z) només com un vector a ∈ Rn , σ.a podem definir Rad(A) = Eσ supa∈A n per a tot subconjunt A de Rn , una noció que facilita l’establiment de propietats de Rad. Teorema 10 (Fita de Rad). Sigui A ⊂ Rn finit i L = supa∈A ka − āk, on ā és el baricentre de A. Llavors p L 2 ln |A| Rad(A) à . (32) n Si F és una classe d’hipòtesis binàries tal que VC(F ) = k, i D ∼ P n , llavors s RadD (F ) à

2k ln n . n

(33)

Escau comentar aquí que trobar bones cotes de la complexitat de Rademacher en xarxes neuronals és actualment un front actiu de recerca. 5.4

Ramificacions

Fem primer una ullada a fitacions per altres vies; després, a fitacions no uniformes, i, finalment, a una qüestió que considerem especialment important: el fenomen anomenat de doble descens que es manifesta en l’entrenament

Aprenentatge algorísmic i xarxes neuronals profundes

de xarxes neuronals profundes i que refuta la comprensió convencional del capmàs entre l’error d’entrenament i l’error de generalització (figura 1). Fitacions per altres vies Es poden obtenir cotes de generalització per altres vies, com ara emprant nocions d’estabilitat algorísmica [27]. Aquestes nocions es basen en l’anàlisi de sensibilitat, que tracta de quantificar la repercussió en la sortida d’un sistema d’una variació en l’entrada amb el propòsit de poder dissenyar sistemes resilients enfront de sorolls pertorbadors de l’entrada. Per a l’estat de l’art sobre les cotes obtingudes amb aquests plantejaments, tenim l’article recent [28], que a més obté cotes inferiors de l’error de generalització i cotes superiors substancialment millors que les conegudes. Fitacions no uniformes Les dimensions VC (agnòstica respecte de la distribució P que regeix la generació de dades) i Rad (que depèn de P ) tenen un caràcter uniforme en la bola Fδ , una condició que comporta certes limitacions, [134], i √ que correspon al ritme estadístic O(1/ n) de generalització. En situacions més favorables, és possible substituir aquesta anàlisi uniforme per una anàlisi més refinada basada en la complexitat local de l’espai d’hipòtesis a l’entorn de la solució de l’ERM regularitzat, culminant en un ritme ràpid [fast rate] O(1/n) en el cas de certs espais de nuclis gaussians, [16]. Aquesta anàlisi refinada també es pot aplicar en models de regressió esparsa [208]. La paradoxa del doble descens Un altre aspecte «pessimista» de les cotes de generalització vistes fins ara és que són agnòstiques a l’algorisme d’optimització utilitzat. La importància de considerar també aquest aspecte s’il.lustra amb la paradoxa del «doble descens». Esquematitzada a la figura 9, és un fenomen que exemplifica el contrast entre la comprensió convencional de l’anomenat compromís entre complexitat de l’espai d’hipòtesis i la taxa d’aprenentatge [bias-variance trade-off] [176, capítol 5] i el que en els darrers anys ha revelat l’experimentació amb xarxes neuronals profundes [134, 23, 22]. El compromís en qüestió procura equilibrar el subaprenentatge i el sobreaprenentatge escollint un model que sigui prou expressiu per poder extreure l’estructura rellevant de les dades, però també prou simple per no arreplegar-ne detalls espuris. Segons aquesta percepció, les xarxes neuronals amb moltes neurones (o ultraparametritzades) estarien descartades, ja que l’elevat nombre de paràmetres de què depenen permet que puguin memoritzar totes les dades d’entrenament i, a causa d’això, la seva capacitat generalitzadora hauria de ser molt baixa o nul.la. Tanmateix, la pràctica mostra que efectivament es poden ajustar amb exactitud a les dades d’entrenament i ensems tenir una capacitat de generalització que, de fet, augmenta amb la complexitat de la xarxa profunda. Per sort, l’entrellat de la paradoxa s’ha explicat fàcilment a [126] mitjançant la teoria de matrius aleatòries, un article remarcable en què també es posa de manifest que l’algorisme d’optimització té un paper fonamental de regularització implícita de l’ERM, cosa que també explica (per a models tractables com ara els models lineals generalitzats) la bona generalització de les xarxes neuronals ultraparametritzades.

Joan Bruna i Sebastià Xambó

tre

Capacitat F

Te st

llindar interpolació

Règim subparametritzat (clàssic)

Error

Te st

Error

subaprenentatge sobreaprenentatge Règim ultraparametritzat (doble descens)

Capacitat F

Figura 9: Adaptació de la figura 1 de [22], tenint en compte també els gràfics de [126]. a) Aquest gràfic és semblant al de la figura 1, però aquí a l’eix horitzontal hi ha la capacitat de F . Representa una descripció que regeix quan el nombre de paràmetres de les funcions de F és inferior al nombre de dades disponibles en l’entrenament: en augmentar la capacitat, l’error d’entrenament disminueix monòtonament, però l’error de generalització, mesurat usant dades de test, primer disminueix i a partir d’un cert valor, que separa el subaprenentatge del sobreaprenentatge, augmenta. b) Representa el comportament extraordinari, i paradoxal a simple vista, que apareix quan el nombre de paràmetres supera el nombre de dades d’entrenament: l’error de generalització torna a disminuir a partir del pic que separa els dos règims, fet que possibilita un aprenentatge pràcticament perfecte de les dades d’entrenament i ensems una capacitat de generalització que augmenta amb el nombre de paràmetres.

Serveixi, com a cloenda de la secció, una citació de Donoho a l’article [55], ja esmentat, sobre les «benediccions de la dimensionalitat», que «són menys àmpliament percebudes, però inclouen el fenomen de la concentració de mesura (així anomenat en la geometria dels espais de Banach), la qual cosa significa que certes fluctuacions aleatòries estan molt ben controlades en altes dimensions, i també l’èxit dels mètodes asimptòtics, àmpliament usats en estadística matemàtica i en física estadística, les quals coses suggereixen que es poden fer afirmacions en escenaris de dimensions molt elevades que resulten massa complicades en dimensions moderades».

Altres models i problemes oberts

Hem anat veient que l’AA té relació amb diversos dominis, particularment de matemàtiques i estadística, però també d’algorísmia i complexitat, física matemàtica, o combinatòria. Això subratlla el seu caràcter transversal i multidisciplinari, però aquesta llista es pot estendre amb d’altres dominis que poden oferir oportunitats importants per a la recerca, sigui teòrica o aplicada. En el proper apartat, 6.1, s’indiquen breument algunes de les connexions que ens semblen més rellevants. Els dos apartats següents es dediquen a la consideració una mica més aprofundida de la relació amb el problema general d’incorporar explicabilitat als AA, apartat 6.2, i amb l’àrea de les XN algebrogeomètriques, apartat 6.3. En el darrer apartat, 6.4, s’indiquen algunes qüestions obertes o que haurien de merèixer més atenció.

Aprenentatge algorísmic i xarxes neuronals profundes

6.1

Connexions

La tria d’aquest apartat fuig de la mera curiositat i en canvi es fixa en línies que aporten una comprensió més plena de l’AA i són rellevants per a indagacions futures. Teoria de la informació Potser el tractat [119] és el que representa millor aquesta connexió, ja que la seva resposta a la pregunta de per què és beneficiós unificar la teoria de la informació i l’AA és que «són dues cares d’una mateixa moneda». I afegeix: «Els cervells són l’àpex dels sistemes de compressió i comunicació, mentre que els algorismes d’última generació per a la compressió de dades i per als codis correctors d’errors utilitzen les mateixes eines que l’aprenentatge automàtic». Dels aspectes més concrets, destaquem les contribucions de Naftali Tishby i col.laboradors en el que anomenen «mètode/principi del coll d’ampolla de la informació» [information bottleneck method/principle]. Introduït a [193], és aplicat a l’AA profund a [194] i [177]. El treball més recent que hem trobat en aquest sentit, [157], és en col.laboració amb Z. Piran i R. Shwartz-Ziv, i el seu objecte és introduir el que anomenen un «coll d’ampolla dual». AA amb dades generades matemàticament El treball [111] és paradigmàtic d’aquesta connexió i suggereix possibilitats insospitades fins ara. Una de les idees que hi trobem és generar aleatòriament una mostra gran d’expressions matemàtiques f , en un format apropiat, i formar la llista de parells (f 0 , f ), on f 0 és la derivada de f (relativament fàcil de calcular mitjançant algorismes ben coneguts). L’AA ha de predir les f a partir de les f 0 . Els autors expliquen el que han descobert així: «Les XN tenen fama de resoldre millor problemes estadístics o numèrics que efectuar càlculs o manipulacions simbòliques. En aquest article demostrem que els AA poden ser sorprenentment bons en tasques matemàtiques més elaborades, com ara la integració simbòlica i la resolució d’equacions diferencials. Proposem una sintaxi per representar problemes matemàtics i mètodes per generar grans conjunts de dades que es poden utilitzar per entrenar models de seqüència a seqüència. Aconseguim resultats que superen els sistemes comercials d’àlgebra simbòlica com Matlab o Mathematica». El més sorprenent és que l’AA no coneix cap teoria de la integració ni cap regla de les que aprenem en els primers cursos d’anàlisi. Destaquem també uns treballs de Yang-Hui He i col.laboradors que obtenen resultats anàlegs en altres dominis: [81] (una monografia sobre qüestions plantejades per la teoria de cordes, i, especialment, de geometria algebraica i enumerativa), [82] (estructures algebraiques), [2] (teoria de nombres i la conjectura de Birch-Swinnerton-Dyer) i [83] (dirigit a esbrinar el comportament de l’AA en qüestions relatives a l’estudi de grafs finits, els autors escriuen que «les XN poden realitzar, amb alta eficiència i precisió, multitud de tasques que van des del reconeixement de la condició de planitud Ricci d’un graf, fins a la predicció de la bretxa espectral o la detecció de la presència de cicles hamiltonians»).

Joan Bruna i Sebastià Xambó

També encaixen perfectament en aquest punt els treballs [48] i [110]. Aquest darrer considera XN en grafs i ofereix una perspectiva de com es poden tractar amb AA. AA en física Els físics també estan interessats en l’impacte dels AA en el seu treball. Alguns, com [214], cerquen un «físic artificial» que pugui aprendre sense supervisió. En una línia similar trobem [94]. En canvi [41] ofereix una extensa panoràmica de les connexions entre les ciències físiques i l’AA. En aquest sentit és oportú tenir en compte la iniciativa [101] del Departament d’Energia dels Estats Units de crear un versió quàntica d’Internet, la qual cosa veiem com un estímul més per seguir indagant en l’AA. 6.2

Causalitat i AA explicables

En aquesta connexió, al davant cal posar les idees de Judea Pearl, explicades detalladament en llibres com ara [145] (que en particular conté el remarcable algorisme de propagació de creences en grafs), [146] (art i ciència de causes i efectes) i [147] (els fruits madurs de la recerca de l’autor durant més de dues dècades, un tractat sobre els fonaments de la causalitat). Com a text complementari, aparegut després de la primera edició (any 2000) de [147], vegeu [181] (remarcable per la seva claredat i concisió) i [68] (un breu article d’anàlisi de l’àrea des del punt de vista de les ciències socials: «Tot es complica quan movem el focus del què al què passa si i al per què»). Seguim encara amb J. Pearl i alguns treballs fonamentals apareguts en els darrers cinc anys: [148] (causes dels efectes i efectes de les causes), [149] (una apreciació de Trygve Haavelmo com un dels iniciadors dels càlculs causals), [199] («En contrast amb els enfocaments dels llibres de text com la maximització de l’esperança i el mètode del gradient, el nostre procediment és no iteratiu, produeix estimacions de paràmetres de forma tancada i elimina la necessitat d’inferència en una xarxa bayesiana») i [14] (sobre els problemes que comporta la fusió de dades en relació amb la causalitat). Finalment, dues peces força diferents però aclaridores: [150] (discuteix set obstacles a l’AA des del punt de vista de la causalitat) i [151] (una presentació relativament informal del seu pensament madur). Afegim el text [153] (introducció a la inferència causal i fonaments dels AA), que el gran nombre de citacions de treballs de Pearl confereix un caràcter de reconeixement a aquest investigador. Explicabilitat D’aquest tema, estretament relacionat amb la causalitat i amb la interpretabilitat, seleccionem uns pocs treballs recents que el tracten des de diversos punts de vista i que ens semblen entrades recomanables per iniciar-se en el seu estudi: [59, 218, 8, 7, 66]. 6.3

Xarxes neuronals algebrogeomètriques

Les quantitats x i w del model de neurona que hem considerat a l’apartat 2.3 són números reals. Però podem imaginar que siguin entitats d’una estructura

Aprenentatge algorísmic i xarxes neuronals profundes

algebraica A suficient per garantir que l’expressió x · w = x1 w1 + · · · + xn wn , i una funció d’activació σ : A → A, tinguin sentit. Per exemple, A pot ser una àlgebra real de dimensió finita, i σ , l’aplicació d’una sigmoide ordinària que actua component a component (respecte d’una base prefixada de l’àlgebra). Arribem així al concepte A-neurona i, connectant neurones tal com hem fet a l’apartat esmentat, a la noció A-xarxa neuronal, o A-XN. Una altra generalització consisteix a substituir x i w per estructures de dades més generals, com ara A-tensors [arrays], i el producte x · w per una operació x ? w apropiada. Entre aquestes operacions, les més usades son certs productes bilineals, com ara la convolució, i també no lineals, com ara el max-pooling. Així doncs, les neurones i xarxes neuronals usuals són R-neurones i R-xarxes neuronals. Més enllà dels números reals, entre els casos concrets més immediats d’àlgebres A podem esmentar C (números complexos), H (quaternions), O (octonions), una àlgebra de matrius R(n) o una àlgebra geomètrica G = Gr ,s de signatura (r , s). Per simplificar la terminologia, parlarem de xarxes reals, complexes, quaterniòniques (XNQ), octoniòniques, matricials i geomètriques (XNG), respectivament. La raó d’usar àlgebres geomètriques és que el seu formalisme està òptimament adaptat a expressar els fets geomètrics de qualsevol espai geomètric lineal, és a dir, d’un espai vectorial real E = Er ,s dotat d’una mètrica de signatura (r , s). La manera més directa d’introduir l’àlgebra geomètrica Gr ,s d’aquest espai, i ensems més propera a les idees en què W. K. Clifford (1845–1879) es va basar per a la seva creació, és que l’àlgebra exterior ΛEr ,s admet un producte bilineal associatiu (batejat com a producte geomètric pel mateix Clifford) tal que xx 0 = x · x 0 + x ∧ x 0 ,

x, x 0 ∈ E,

(34)

és a dir, que amalgama els dos productes (interior i exterior) introduïts per Grassmann (vegeu [216] per a una presentació detallada d’aquesta aproximació, que inclou també el tractament dels espais geomètrics no lineals, o [215, capítol 3] per a una presentació axiomàtica). Així podem pensar Gr ,s com l’àlgebra exterior enriquida amb el producte geomètric (aquesta estructura també es coneix com a àlgebra de Clifford). És clar, doncs, que té dimensió 2n , on n = r + s = dim E. Adonem-nos que l’equació (34) mostra que la graduació lineal de Gr ,s , que de fet és una graduació respecte del producte exterior, no ho és respecte del producte geomètric. Però la descomposició G = G + ⊕ G − en components de graus parells (G + ) i senars (G − ) és una graduació mòdul 2 també respecte del producte geomètric (en darrera instància això es deriva de l’equació (34), en la qual el producte de dos vectors es resol en un escalar, que té grau 0, i un bivector, que té grau 2). En particular, G + és una subàlgebra. + + Els isomorfismes G1,0 ' R ⊕ R, G0,1 ' G2,0 ' C, G2,0 ' R(2) o G0,2 ' G3,0 ' H, fàcils d’establir directament, són de fet exemples d’un ordit general, com podeu trobar a [215]. D’aquests isomorfismes, els que connecten més estretament + + l’àlgebra amb la geometria són C = G2,0 ' C i H = G3,0 ' H en el cas del pla i espai euclidians, respectivament (de C i H direm que són els números

Joan Bruna i Sebastià Xambó

complexos i els quaternions geomètrics, puix que emergeixen directament de la geometria i no d’una definició ad hoc com la usual per introduir C i H). Per a mostres de diverses aplicacions de G, vegeu [215, 112] i les seves bibliografies. Tot seguit aportem algunes referències generals sobre diverses XN algebrogeomètriques, amb uns comentaris breus. Per a consideracions més detallades sobre aquestes i altres referències, vegeu [217]. Xarxes neuronals complexes Potser la idea més important d’aquestes xarxes és que poden explotar les propietats de la fase dels números complexos. A l’inici de l’estudi d’aquestes xarxes destaquen els treballs de Hirose i la seva escola, molt enfocats al tractament del senyal, amb reculls com [85] (2003) i tractats com [141] (2009) o [86] (2012; una segona edició d’un llibre del mateix títol i autor publicat el 2006), i la col.lecció de deu articles aplegats a [87] (2013), dels quals sobresurt el primer, pel mateix Hirose (l’editor del volum), amb el títol Application fields and fundamental merits of complex-valued neural networks. Al mateix cercle pertany el text [1], que il.lustra amb experiments gràfics molt convincents el valor de tenir en compte la fase. Més recentment tenim [75] (2016), sobre xarxes complexes convolutives; [159] (2017), enfocat a la classificació d’imatges; [196] (2017), on l’èmfasi rau en les xarxes profundes, i [129], que aporta una valoració de les xarxes complexes en tasques de classificació de senyals reals. Finalment esmentem [198], en el qual és palesa la significació de les xarxes complexes des d’altres punts de vista, particularment el de l’AA profund, un «terme paraigua per a tècniques emergents que intenten generalitzar models neuronals profunds (estructurats) a dominis no euclidians com ara grafs i varietats». Xarxes quaterniòniques L’interès d’aquestes xarxes prové de la relació que tenen els quaternions (geomètrics, si us plau) amb el grup de rotacions de l’espai euclidià ordinari, una relació especialment diàfana en termes de H, ja que l’expressió h(x) = hx h̄, h ∈ H no nul, és un vector si x és un vector i h és una semblança de raó |h|2 (una rotació si h és unitari). Una altra raó és que els quaternions tenen tres fases i que aquestes fases es poden usar per extreure informació valuosa dels senyals que s’han de processar. La recerca en XNQ també ve de lluny, fins i tot abans que la de les xarxes complexes. Remetem a [29] i [88] per a informació històrica rellevant relativa al que s’anomena anàlisi de Clifford, sobretot en relació amb transformades de Fourier i d’ondetes en un context quaterniònic i en la seva generalització al context geomètric. En el tema més concret que ens ocupa, a l’origen hi ha Gerald Sommer i els seus col.laboradors: [38] (1998, generalització dels filtres de Gabor) i [36] (2000, generalització del perceptró multicapa). La memòria [42] presenta una teoria d’ondetes quaterniòniques «per a l’anàlisi i processament d’imatges» i [92] (2009) és una panoràmica de les propietats i aplicacions de les xarxes quaterniòniques fins aquell moment. A la darrera dècada, la recerca en XNQ ha prosseguit tant en el front aplicat com en el teòric. L’article [93] s’ocupa del perceptró multicapa quaterniònic.

Aprenentatge algorísmic i xarxes neuronals profundes

A [103] s’investiguen les XNQ de Hopfield i la seva invariància per rotacions. En els treballs [142] i [143], les XNQ s’apliquen a la comprensió del llenguatge parlat. Les XNQ profundes s’estudien a [67] i les convolutives, a [222]. Finalment [219] presenta una versió quaterniònica de les xarxes de càpsules adreçada a processar núvols de punts de l’espai ordinari, i a [130] s’introdueix una XNQ que ofereix invariància per contrast i sensibilitat als angles de rotació. Xarxes geomètriques Curiosament, l’estudi de les XNG va començar fins i tot abans que el de les XNQ, com per exemple a [152], i G. Sommer en fou un impulsor a principis del mil.lenni amb treballs com ara [182], en què desenvolupa els fonaments teòrics que li serveixen per a problemàtiques com la visió artificial i la robòtica, [37], dedicat a una G-versió del perceptró de capes múltiples, [61] i [39], que desenvolupen la noció de senyal monogènic. Una culminació d’aquests esforços és la tesi de Sven Buchholz, [35], que s’ha de considerar, com indica el seu títol, una teoria de la computació neuronal amb àlgebres geomètriques. Com a mostra d’aplicacions, citem [162] (segmentació d’imatges), [20] (vectors de suport en el context geomètric), els volums [18] (computació geomètrica per a transformades d’ondetes, visió artificial, aprenentatge, control i acció) i [21] (computació geomètrica en enginyeria i informàtica), [63] (ús de l’àlgebra geomètrica per a la detecció de vores en imatges en color), [99] (tècniques d’optimització en estimació geomètrica), [155] (mètodes d’agrupació basats en l’àlgebra geomètrica conforme G4,1 ) i [209] (tractament d’imatges multiespectrals amb àlgebra geomètrica). Acabem amb [19], el primer volum del que ha de ser un tractat sistemàtic d’aquests desenvolupaments. Altres xarxes algebrogeomètriques A l’article [213] (2020) es construeixen xarxes octoniòniques convolutives i s’apliquen a classificació d’imatges CIFAR-10 i CIFAR-100. Segons els autors, tenen millor convergència i precisió que altres xarxes aplicades a les mateixes tasques. Els octonions s’han aplicat també amb èxit a l’aprenentatge per diccionari [dictionary learning], com ara a [114] (2018), una aproximació que de fet es pot formular per a àlgebres més generals, que inclouen les geomètriques, com s’exposa a [115]. Examinem ara [89] (2020). En el resum es declara que: . . . els nostres resultats demostren que hi ha àlgebres alternatives que proporcionen millors paràmetres i eficiència computacional en comparació amb R. Considerem C, H, R(2), C(2), R(3), R(4), R ⊕ R (números dobles) i R3 amb el producte vectorial. A més, observem que la multiplicació d’aquestes àlgebres té una densitat de càlcul més elevada que la multiplicació real, una propietat útil en situacions amb una reutilització de paràmetres intrínsecament limitada, com ara inferència autoregressiva i xarxes neuronals esparses. Per tant, investiguem com es pot induir l’esparsitat a les xarxes considerades. Esperem que els nostres resultats pràctics en proves a gran escala fomentin una exploració posterior d’aquestes arquitectures no convencionals que interpel.len l’elecció per defecte d’utilitzar números reals per a pesos i activacions de xarxes neuronals.

Joan Bruna i Sebastià Xambó

Atès que potser no és el lloc per fer-ne una apreciació crítica, ens limitem a subratllar que ja hem comentat la natura geomètrica de C, H i R(2). Pel que fa als altres casos, R ⊕ R ' G1,0 , C(2) ' G1,3 (àlgebra geomètrica de l’espaitemps) i R(4) ' G2,2 . L’àlgebra (R3 , ×) és una àlgebra de Lie, però de fet la seva natura és geomètrica, ja que el producte vectorial de dos vectors és el dual de Hodge (dins l’àlgebra G3,0 ) del seu producte exterior. Per a totes aquestes qüestions podeu consultar [215]. Com a contrapunt, creiem que el valor de les xarxes geomètriques queda reforçat, tant per raons teòriques com pels aspectes computacionals. 6.4

Qüestions obertes

La teoria de l’AA és un camp de recerca activa, on conflueixen aspectes matemàtics particularment diversos, des de la teoria de la informació, per refinar nocions de complexitat adaptades a les xarxes ultraparametritzades; la física estadística, per analitzar límits computacionals i estadístics en gran dimensió, o l’anàlisi harmònica i l’optimització, elements crucials per descriure —i prescriure— algorismes en xarxes profundes. En conseqüència, actualment hi ha un gran nombre de qüestions obertes en tots aquests fronts. Considerem-ne algunes de les més remarcables. Models funcionals profunds Com s’ha esmentat a l’apartat 3.2, les xarxes neuronals profundes suposen un repte important en termes d’aproximació i d’optimització. Els mètodes de camp mitjà donen una resposta satisfactòria en el cas de les xarxes somes (apartat 4.3), i actualment un repte important és poder estendre’ls a models profunds, amb resultats preliminars que podeu trobar a [60]. Anàlisi quantitativa de xarxes somes Les xarxes somes, tot i ser la classe de xarxes neuronals més simple, són objecte de força qüestions obertes. En particular, resultats recents ([71, 53]) estudien cotes inferiors d’aprenentatge, és a dir, donen resultats negatius sobre la impossibilitat d’aprendre certes classes de funcions parametritzades per xarxes somes amb un nombre polinòmic de dades. En contrapartida, la teoria del camp mitjà pinta una situació més optimista (i més alineada amb el comportament empíric), però de moment en termes asimptòtics. Un problema d’importància màxima és, doncs, comprendre com es poden lligar aquestes dues perspectives amb una versió quantitativa dels resultats positius d’aprenentatge. Variacions del mètode del gradient descendent Els resultats empírics de les xarxes profundes depenen críticament del mètode d’optimització. Tot i que el mètode del gradient descendent és la versió més bàsica i que ofereix una visió matemàtica més nítida [184, 57, 44, 56, 30, 71], és necessari incorporar variacions importants, com ara la versió estocàstica [169, 98, 46, 189, 97], o les tècniques de renormalització [batch/layer normalization] [125, 168].

Aprenentatge algorísmic i xarxes neuronals profundes

Més enllà de l’aprenentatge supervisat El panorama de qüestions obertes és engrescador. Per esmentar un camp en particular, les tècniques d’autoaprenentatge [self-supervised learning] estan començant a donar fruits comparables, o fins i tot superiors, a les versions amb supervisió estàndard [74]. La teoria d’aprenentatge estadístic està tot just començant a considerar règims d’aprenentatge mes enllà del supervisat; per exemple, l’aprenentatge per transferència [transfer learning] [77], o l’esmentat autoaprenentatge [117, 195, 210] o la perspectiva de causalitat [6].

Probabilitat

En aquest apèndix recollim alguns conceptes i resultats de teoria de probabilitats emprats en diversos indrets de les seccions precedents. A.1

Desigualtat de Hoeffding

Considerem Xj ∈ [a, b], j = 1, . . . , m, variables aleatòries independents amb la 1 P mateixa mitjana µ, i definim µm = m j Xj . Llavors 2

P (|µ − µm | > ε) à 2e−2mε /(b−a) . Com a exemple, podem considerar el cas Xi ∈ [0, 2π ] amb distribució uniforme, de manera que µ = π , b − a = 2π , i l’exponent queda igual a − 2π1 2 mε2 , és a dir, P (|π − µm | > ε) à 2e A.2

−

1 mε2 2π 2

Probabilitat recíproca

Suposem que una variable aleatòria X satisfà P (X > ε) à f (ε) per a tot ε > 0, on f (ε) > 0 és una funció donada. Si δ0 > 0 és del domini de f , i f (δ0 ) = δ, llavors P (X à δ0 ) = 1 − P (X > δ0 ) á 1 − f (δ0 ) = 1 − δ. És a dir, assegurem la relació X à δ0 amb probabilitat almenys 1 − δ. La determinació de δ0 com a funció de δ és una qüestió que cal tractar en cada cas concret. Per q exemple, en la desigualtat de Hoeffding q per a les Xi ∈ [0, 2π ] 2 2 uniformes, δ0 = π m ln δ2 . Així doncs, |π − µm | à π m ln δ2 amb probabilitat d’almenys 1 − δ. Si considerem q Yj = cos Xj ∈ [−1, 1], que tenen mitjana 0, el 1 P 2 2 que trobem és m j Yj à m ln δ amb probabilitat d’almenys 1 − δ.

A.3

Desigualtat de McDiarmid

Sigui f : Zn → R una funció per a la qual existeix una constant c > 0 tal que |f (z1 , . . . , zj , . . . , zn ) − f (z1 , . . . , zj0 , . . . , zn | à c

(35)

Joan Bruna i Sebastià Xambó

per a tot j = 1, . . . , n i qualssevol z1 , . . . , zn , zj0 ∈ Z. Si z = z1 , . . . , zn ∈ Zn és una seqüència de variables aleatòries independents, llavors es compleixen les desigualtats !

P (f (z) − E[f (z]) á ε) à exp

−2ε2 mc 2 −2ε2 mc 2

P (f (z) − E[f (z)]) à −ε) à exp

(36)

(37)

Utilitzant ara la probabilitat recíproca, podem assegurar que s |f (z) − E[f (z)]| à c

2 m ln 2 δ

(38)

amb probabilitat no inferior a 1 − δ. Aquesta desigualtat, dita de «diferències fitades», és un ingredient principal en la demostració de les desigualtats de Rademacher. A.4

Lema de Gibbs i la divergència KL

Suposem que p = p1 , . . . , pn i q = q1 , . . . , qn són distribucions de probabilitat. Llavors X X − pj log2 (pj ) à − pj log2 (qj ), j

amb igualtat si, i només si, q = p. P D’això resulta que j pj log2 (pj /qj ) á 0, amb igualtat només si q = p. Aquesta expressió se sol conèixer com a divergència de Kullback-Leibler de p i q, i es denota KL(p, q). Convé remarcar que en general KL(q, p) 6= KL(p, q). La divergència KL és una eina important en la teoria de les xarxes bayesianes per comparar les distribucions de probabilitat en temps consecutius. Per altra P banda, vist que H(p) = − j pj log2 (pj ) és l’entropia de la distribució p, és a dir, la informació mitjana proporcionada en una prova de p, és natural que la divergència KL sigui també significativa en la teoria de la informació.

Notes bibliogràfiques

La bibliografia sobre AA, per no dir sobre IA, és vastíssima i creix diàriament. És, doncs, impossible donar-ne compte en un article panoràmic com aquest. Per tant, ens limitem a consignar la bibliografia que ens sembla més rellevant per a cada secció, sovint amb algun comentari o citació, i ensems a suggerir diversos materials que poden servir per aprofundir en els temes tractats o en d’altres de natura complementària.

Aprenentatge algorísmic i xarxes neuronals profundes

B.0

Notes a la Introducció

Tractats d’AA Generals: [80, 176, 72, 161, 3]. Aproximació bayesiana: [192, 144, 172]. Aplicacions: [173, 11]. Aspectes computacionals: [76, 135, 139]. Articles clàssics [123] (primer model matemàtic de les neurones biològiques), [165] (introducció del perceptró), [211] (ADALINE, neurona lineal adaptativa), [166] (neurodinàmica), [171] (algorisme de retropropagació), [127] (tractat sobre el perceptró, introducció a la geometria computacional, història de les idees d’aprenentatge i XN fins a 1988), [65] i [116] (reconeixement de patrons visuals amb XN), [102] (recull d’articles sobre la percepció com a inferència bayesiana), [133] (enciclopèdia de ciències cognitives). Les moltes cares de la IA És manifest que la IA, via el seu desenvolupament accelerat en tots els sectors, ja afecta tota la humanitat, i la direcció i el ritme de la seva evolució expansiva no sembla fàcil d’endevinar. Tanmateix, com s’indica a [66], «la societat ignora en gran manera les capacitats, els requisits i les pràctiques estàndard de la IA» i ensems «pren consciència dels perills que comporta la ignorància i, amb raó, demana solucions». Les reflexions, la bibliografia i les propostes d’aquest article són valuoses per a tothom concernit per aquestes incerteses i per la incidència que tenen en l’esfera ètica. Entre els documents que analitzen les múltiples facetes de l’IA, actual i futura, ens semblen molt rellevants l’article [52] i l’informe [188]. Escrits d’aquesta mena, i com el citat en el paràgraf anterior, són imprescindibles per formar-se una idea de conjunt, amb molt poc aparell tècnic, de la IA tal com s’entén actualment. B.1

Notes a la secció 1 (Preludis)

El tractat [132] ofereix una presentació sistemàtica a l’AA des d’una perspectiva probabilista. Per a una breu apreciació general sobre aquesta perspectiva, vegeu l’article [69]. El text [124] explica l’evolució històrica de la fórmula de Bayes-Laplace des de l’origen fins a la publicació del llibre. Documenta moltes aplicacions, com ara el fet que fou Alan Turing, en els seus treballs per a desxifrar l’Enigma, qui va promoure l’ús sistemàtic de la teoria de Bayes-Laplace en la forma en què s’ha conegut posteriorment. Un bon complement és [186], escrit per un dels protagonistes de la cerca de la bomba atòmica perduda l’any 1966 en el mar de la costa de Palomares a causa d’un accident de la força aèria americana i també del submarí nuclear Scorpion perdut per la marina americana a l’Atlàntic el maig de 1968. Amb el subtítol «Why so many predictions fail-but some don’t», l’autor de [179], potser l’harúspex més prestigiós en la predicció dels resultats electorals, ens diu que «El teorema de Bayes [. . . ] implica que hem de pensar d’una altra manera sobre les nostres idees —i com posar-les a prova. Ens hem d’acostumar més estretament amb la probabilitat i la incertesa. Hem de pensar amb més cura sobre les suposicions i creences amb què confrontem un problema» (pàgina 15).

Joan Bruna i Sebastià Xambó

El lema del creador de la teoria de patrons moderna, Ulf Grenander (1923– 2016), era usar la teoria de patrons per crear estructures matemàtiques derivades tant del món natural com del món creat pels humans. En aquesta teoria, els mètodes bayesians hi tenen un paper fonamental, com queda reflectit a [131]. En tot cas, la teoria de patrons és molt més general que el problema del seu reconeixement, fins ara el més estudiat, com ara a [25]. Anàlisi de components principals i descomposició en vectors singulars: [80, capítol 8], [113, capítol 7], [189], [208, capítol 8]. Aquests mètodes estan a l’origen de les tècniques de «reducció dimensional», un aspecte important de l’AA, [9]. Un tema relacionat és l’anomenat anàlisi discriminant, que podeu trobar en la majoria de tractats generals, com ara [109, capítol 8]. Finalment, [164] és una bona referència per a k-NN i k-mitjana, que comprèn també el tractament computacional. Coincidim amb l’autor en la noció que l’aprenentatge no supervisat és una àrea de recerca molt activa a la qual encara cal dedicar esforços per obtenir resultats generals satisfactoris. B.2

Notes a la secció 2 (Aprenentatge inductiu en gran dimensió)

Sobre el malefici dimensional, Donoho en va donar una descripció precisa a [55]: «la intractabilitat aparent de la cerca sistemàtica, o de l’aproximació acurada d’una funció, o de la seva integració, en un espai d’alta dimensió». De l’aprenentatge inductiu, també anomenat aprenentatge estadístic, [201] conté una exposició de l’estructura d’aquesta teoria per part d’un dels iniciadors de la seva forma moderna. Per a un resum, vegeu [202]. Esmentem també [108], un text relativament elemental, els extensos tractats [78] i [183] i la monografia [200]. En la presentació de l’aprenentatge inductiu hem recorregut a la noció d’expert, com una funció f ∗ : X → Y. En la pràctica, un expert també està sotmès a un cert grau d’incertesa. El tractament d’aquesta situació es pot fer substituint f ∗ per una distribució de probabilitat P (x, y) sobre X × Y, que podem mirar, via la relació P (x, y) = P (x)P (y|x), com una distribució de probabilitat Px (y) = P (y|x) sobre Y per a cada x ∈ X. L’adaptació del model bàsic a aquesta situació més general no ofereix dificultat i es pot trobar exposada en molts textos, com ara [78, 212, 200]. Una altra idea que ha resultat molt productiva és la de produir bons predictors a partir de predictors dèbils (és a dir, que encerten només una mica millor que un predictor aleatori). La generació de predictors dèbils és relativament fàcil, i és un fet remarcable que hi hagi un algorisme senzill i eficient per construir un predictor fort a partir dels febles. Es coneixen com a algorismes de potenciació [boosting] i el més popular, AdaBoost (potenciació adaptativa), fou introduït a [64], un treball en el qual s’estableix una fita a l’error empíric de l’algorisme, es fa una anàlisi en termes de la dimensió VC i s’indiquen aplicacions a problemes tant de classificació múltiple (com ara reconeixement de cares) com de regressió. Podeu trobar-ne una exposició excel.lent a [176, capítol 10]. Pel que fa a les neurones i les xarxes neuronals, hem adoptat l’esquema de [204]. N’hi ha versions més detallades en molts textos, com ara [5, 80, 140]. Esmentem també l’article panoràmic [174].

Aprenentatge algorísmic i xarxes neuronals profundes

Finalment, [49] compta com el primer article en què es va establir la capacitat de les xarxes neuronals per aproximar qualsevol funció contínua uniformement sobre compactes. Vegeu també [91] i [90]. L’article [220] ofereix una apreciació actualitzada d’aquesta problemàtica. B.3

Notes a la secció 3 (Aproximació)

Espais de Sobolev Una funció f : Ω → R és de la classe de Sobolev H s,p (Ω) si f i les seves derivades fins a ordre s són integrables a Lp (Ω); vegeu [170] per a més detalls. Notacions asimptòtiques Donades funcions f , g : R → R+ , diem que g(t) és O(f (t)) si existeix una constant c > 0 tal que g(t) à cf (t) per a t 0. Similarment, g(t) és Ω(f (t)) si existeix una constant c 0 > 0 tal que g(t) á c 0 f (t) per a t 0. Finalment, es diu que g(t) és Θ(f (t)) si és O(f (t)) i Ω(f (t)). B.4

Notes a la secció 4 (Optimització)

Convex per desplaçaments La generalització de la convexitat euclidiana als fluxos de gradient de Wasserstein [205, capítol 23]. Distància W2 de Wasserstein Donades dues de probabilitat µ i µ 0 en R mesures 0 2 0 2 un espai mètric M, W2 (µ, µ ) = infγ∈Γ (µ,µ0 ) d(x, x ) dγ(x, x 0 ), on Γ (µ, µ 0 ) és el conjunt de densitats de probabilitat sobre M × M amb densitats marginals µ i µ 0 . Vegeu [205, capítol 6] i, en particular, la discussió a les notes bibliogràfiques sobre la terminologia en què conclou que la més adient seria mètrica Lp mínima, o mètric de Kantorovich si hagués de portar un nom. Tanmateix, Villani també usa la terminologia usual. Funcions β-regulars Una funció f de classe C 1 és β-regular si ||∇f (x) − ∇f (y)|| à β||x − y||, és a dir, si ∇f és β-Lipschitz. Mínim local aproximat Si f és C 2 i ∇2 f és ρ-Lipschitz, un mínim local √ aproximat a menys de ε és un punt x tal que k∇f (x)k à ε i ∇2 f (x)+ ρεI ≺ 0. B.5

Notes a la secció 5 (Generalització)

A [158, pàgina 18], l’autor troba una mica inapropiada la imatge «d’engrunar en bocins petits» que suscita la noció de disgregar [shatter] una classe de funcions F un conjunt S, i que seria millor una imatge que evoqués la facultat de F de seleccionar qualsevol subconjunt de S, però l’accepta perquè «almenys és vívida». Per a més precisions, vegeu [185], una referència que hem d’agrair a un dels revisors. Per a la capacitat VC de l’espai de funcions que calcula una XN, vegeu [17]. La fita (32) de Rad(A) es coneix com a lema de Massart.

Joan Bruna i Sebastià Xambó

El teorema 8 es pot demostrar usant la desigualtat de McDiarmid (vegeu l’apartat A.3). Per q detalls i més informació, vegeu [176, capítol 26], [105, 107, 106]. B.6

Notes a la secció 6 (Altres models i problemes oberts)

Inferència bayesiana Consignem alguns dels textos cabdals apareguts durant aquest segle: [136] (un llibre de text sobre xarxes bayesianes); [104] (models gràfics probabilistes); [51] (modelització i raonament amb xarxes bayesianes); [50] (ús de la factorització de matrius per aprendre models de Markov; una bona mostra d’aplicació de la descomposició en valors singulars); [13] (raonament bayesià i AA); [128] (models gràfics per processar dades incompletes); [84] (llenços de Markov en el cervell, és a dir, fronteres estadístiques que regeixen les interaccions entre els esdeveniments a una banda i a l’altra del llenç). Aprenentatge amb reforç i algunes aplicacions [190] (un manual extens sobre l’aprenentatge amb reforç i sobre diversos temes relacionats); [178] (un article breu sobre l’AA en modalitat d’autoreforç per a jocs com els escacs o el go); [32] (i per al pòquer); [175] (un text recent sobre l’estat de l’art en aprenentatge amb reforç); [47] (aprenentatge amb reforç en el camp de la robòtica); [40] (aprenentatge amb reforç aplicat al problema del plegament de proteïnes). Teoria de patrons Es pot considerar que el pare de la teoria de patrons actual és Ulf Grenander (1923–2016). La relació d’aquesta teoria amb l’AA és profunda i sembla clar que no s’ha explorat en aquesta direcció tot el seu potencial. Certament, es poden citar les Lectures in Pattern Theory de Grenender (Springer LNiM 18, 24, 33), però la versió que ens sembla més adient com a inspiració per a l’AA és l’aproximació de David Mumford al volum [131] i a la monografia [221]. AA i intel.ligència En línies generals, hi ha dos grans ramals en construcció enfocats a l’estudi de l’aprenentatge i la intel.ligència des del punt de vista algorísmic. Un és el representat per l’AA, amb totes les seves variants, del qual hem intentat fer una presentació panoràmica en aquest treball. El propòsit de l’altre ramal, en canvi, és esbrinar l’estructura i el funcionament dels cervells del regne animal, principalment els dels mamífers i, molt especialment, els dels humans. Aquests dos ramals estan encara lluny de convergir, però tot sembla indicar que ho faran en algun moment futur. En acabar aquest article, s’ha publicat [79], un llibre remarcable tant pel seu estil divulgatiu com per les referències als treballs de recerca essencials en què es basen els seus arguments. El recomanem vivament a tothom que tingui interès per l’evolució de la interacció entre els dos ramals, una cruïlla interdisciplinària en la qual creiem que tindran un paper destacat moltes de les tècniques que hem descrit fins aquí, potser amb modificacions i potser amb d’altres no inventades encara.

Aprenentatge algorísmic i xarxes neuronals profundes

Agraïments A Joaquim Bruna i Floris, pel seu paper catalitzador en l’establiment d’aquesta col.laboració dels autors. A Manuel Udina, per les observacions precises que ens va enviar, i als revisors i editors pels suggeriments i correccions recollits en els seus informes detallats. Escrit en bona mesura en temps de covid-19, aquest article no hauria estat possible sense les facilitats de producció en paral.lel i a distància d’Overleaf, o d’edició local com TeXstudio, o de comunicació com Skype o Zoom.

Referències [1] Aizenberg, I. Complex-Valued Neural Networks with Multi-Valued Neurons. Berlín: Springer-Verlag, 2011. (Studies in Computational Intelligence; 353) [2] Alessandretti, L.; Baronchelli, A.; He, Y.-H. «Machine learning meets number theory: The data science of Birch-Swinnerton-Dyer». Preprint (2019). arXiv:1911.02008. [3] Alpaydin, E. Introduction to Machine Learning. 4a ed. Cambridge, MA: MIT Press, 2020. (Adaptive Computation and Machine Learning) [4] Anthony, M.; Bartlett, P. L. Neural Network Learning: Theoretical Foundations. Cambridge: Cambridge University Press, 1999. [5] Arbib, M. A. (ed.). The Handbook of Brain Theory and Neural Networks. 2a ed. Cambridge, MA: MIT Press, 2003. (A Bradford Book) [6] Arjovsky, M.; Bottou, L.; Gulrajani, I.; Lopez-Paz, D. «Invariant risk minimization». Preprint (2019). arXiv:1907.02893. [7] Arrieta, A. B.; Díaz-Rodríguez, N.; Del Ser, J. [et al.]. «Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI». Information Fusion, 58 (2020), 82–115. [8] Arya, V.; Bellamy, R. K. E.; Chen, P.-Y. [et al.]. «One explanation does not fit all: A toolkit and taxonomy of AI explainability techniques». Preprint (2019). arXiv:1909.03012. [9] Ayesha, S.; Hanif, M.; Talib, R. «Overview and comparative study of dimensionality reduction techniques for high dimensional data». Information Fusion, 59 (2020), 44–58. [10] Bach, F. «Breaking the curse of dimensionality with convex neutral networks». J. Mach. Learn. Res., 18 (2017), article núm. 19, 53 p. [11] Balas, V. E.; Roy, S. S.; Sharma, D.; Samui, P. (ed.). Handbook of Deep Learning Applications. Cham, Suïssa: Springer Nature Switzerland AG, 2019. (Smart Innovation, Systems and Technologies; 136) [12] Balcan, M.-F. «Rademacher complexity». Curs CS 8803 - Machine learning theory. Georgia Tech (2011). Lecture Notes 11/17. https: //www.cs.cmu.edu/~ninamf/ML11/lect1117.pdf.

Joan Bruna i Sebastià Xambó

[13] Barber, D. Bayesian Reasoning and Machine Learning. Cambridge: Cambridge University Press, 2012. [14] Bareinboim, E.; Pearl, J. «Causal inference and the data-fusion problem». Proc. Nat. Acad. Sci. U.S.A., 113 (27) (2016), 7345–7352. [15] Barron, A. R. «Approximation and estimation bounds for artificial neural networks». Mach. Learn., 14 (1) (1994), 115–133. [16] Bartlett, P. L.; Bousquet, O.; Mendelson, S. «Local Rademacher complexities». Ann. Statist., 33 (4) (2005), 1497–1537. [17] Bartlett, P. L.; Maass, W. «Vapnik-Chervonenkis dimension of neural nets». A: Arbib, M. (ed.). The Handbook of Brain Theory and Neural Networks. Cambridge, MA: The MIT Press, 2003, 1188–1192. [18] Bayro-Corrochano, E. Geometric Computing: for Wavelet Transforms, Robot Vision, Learning, Control and Action. Londres; Nova York: Springer, 2010. [19] Bayro-Corrochano, E. Geometric Algebra Applications Vol. I: Computer Vision, Graphics and Neurocomputing. Cham, Suïssa: Springer International Publishing, 2019. [20] Bayro-Corrochano, E. J.; Arana-Daniel, N. «Clifford support vector machines for classification, regression, and recurrence». IEEE Trans. Neural Networks, 21 (11) (2010), 1731–1746. [21] Bayro-Corrochano, E.; Scheuermann, G. (ed.). Geometric Algebra Computing: in Engineering and Computer Science. Londres: SpringerVerlag, 2010. [22] Belkin, M.; Hsu, D.; Ma, S.; Mandal, S. «Reconciling modern machinelearning practice and the classical bias-variance trade-off». Proc. Natl. Acad. Sci. USA, 116 (32) (2019), 15849–15854. [23] Belkin, M.; Ma, S.; Mandal, S. «To understand deep learning we need to understand kernel learning». Preprint (2018). arXiv:1802.01396. [24] Bietti, A.; Mairal, J. «Group invariance, stability to deformations, and complexity of deep convolutional representations». J. Mach. Learn. Res., 20 (2019), article núm. 25, 49 p. [25] Bishop, C. M. Pattern Recognition and Machine Learning. Nova York: Springer, 2006. (Information Science and Statistics) [26] Bottou, L.; Bousquet, O. «The tradeoffs of large scale learning». A: Advances in Neural Information Processing Systems 20: Proceedings of the 2007 Conference. Neural Information Processing Systems Foundation, Inc. (NIPS), 2008, 161–168. [27] Bousquet, O.; Elisseeff, A. «Stability and generalization». J. Mach. Learn. Res., 2 (3) (2002), 499–526. [28] Bousquet, O.; Klochkov, Y.; Zhivotovskiy, N. «Sharper bounds for uniformly stable algorithms». A: Proceedings of Machine Learning Research, 125, 2020, 610–626.

Aprenentatge algorísmic i xarxes neuronals profundes

[29] Brackx, F.; Hitzer, E.; Sangwine, S. J. «History of quaternion and Clifford-Fourier transforms and wavelets». A: Quaternion and Clifford Fourier Transforms and Wavelets. Basilea: Birkhäuser: Springer Basel AG, 2013, xi–xxvii. (Trends Math.) [30] Braverman, M.; Hazan, E.; Simchowitz, M.; Woodworth, B. «The gradient complexity of linear regression». A: Proceedings of Machine Learning Research, 125, 2020, 627–647. [31] Bronstein, M. M.; Bruna, J.; LeCun, Y.; Szlam, A.; Vandergheynst, P. «Geometric deep learning: going beyond Euclidean data». IEEE Signal Processing Magazine, 34 (4) (2017), 18–42. [32] Brown, N.; Sandholm, T. «Superhuman AI for multiplayer poker». Science, 365 (6456) (2019), 885–890. [33] Bruna, J.; Mallat, S. «Invariant scattering convolution networks». IEEE Trans. Pattern Anal. Mach. Intell., 35 (8) (2013), 1872–1886. [34] Bubeck, S. «Convex optimization: Algorithms and complexity». Preprint (2014). arXiv:1405.4980. [35] Buchholz, S. «A theory of neural computation with Clifford algebras». Tesi doctoral. Christian-Albrechts Universität Kiel, 2005. [36] Buchholz, S.; Sommer, G. «Quaternionic spinor MLP». A: ESANN’2000 Proceedings. D-Facto, 2000, 377–382. [37] Buchholz, S.; Sommer, G. «Clifford algebra multilayer perceptrons». A: Geometric Computing with Clifford Algebras. Berlín: Springer, 2001, 315–334. [38] Bulow, T.; Sommer, G. «Quaternionic Gabor filters for local structure classification». A: Proceedings. Fourteenth International Conference on Pattern Recognition (Cat. No. 98EX170). Vol 1. IEEE, 1998, 808–810. [39] Bülow, T.; Sommer, G. «Hypercomplex signals—a novel extension of the analytic signal to the multidimensional case». IEEE Trans. Signal Process., 49 (11) (2001), 2844–2852. [40] Callaway, E. «‘It will change everything’: DeepMind’s AI makes gigantic leap in solving protein structures». Nature, 588 (7837) (2020), 203–204. [41] Carleo, G.; Cirac, I.; Cranmer, K. [et al.]. «Machine learning and the physical sciences». Rev. Modern Phys., 91 (4) (2019), p. 045002. [42] Chan, W. L.; Choi, H.; Baraniuk, R. «Quaternion wavelets for image analysis and processing». A: IEEE International Conference on Image Processing (ICIP 2004). Vol. 5. IEEE, 2004, 3057–3060. [43] Chen, A.; Rotskoff, G. M.; Bruna, J.; Vanden-Eijnden, E. «A dynamical central limit theorem for shallow neural networks». Preprint (2020). arXiv:2008.09623. [44] Chizat, L.; Bach, F. «On the global convergence of gradient descent for over-parameterized models using optimal transport». Preprint (2018). arXiv:1805.09545.

Joan Bruna i Sebastià Xambó

[45] Chizat, L.; Oyallon, E.; Bach, F. «On lazy training in differentiable programming». A: Advances in Neural Information Processing Systems. Vol. 32. Curran Associates, Inc., 2019, 2937–2947. [46] Cho, K. «Foundations and advances in deep learning». Tesi doctoral. Aalto University School of Science, 2014. [47] Colomé, A.; Torras, C. Reinforcement Learning of Bimanual Robot Skills. Cham, Suïssa: Springer International Publishing, 2020. (Springer Tracts in Advanced Robotics; 134) [48] Cranmer, M.; Sanchez-Gonzalez, A.; Battaglia, P.; Xu, R.; Cranmer, K.; Spergel, D.; Ho, S. «Discovering symbolic models from deep learning with inductive biases». Preprint (2020). arXiv:2006.11287. [49] Cybenko, G. «Approximation by superpositions of a sigmoidal function». Math. Control Signals Systems, 2 (4) (1989), 303–314. [50] Cybenko, G.; Crespi, V. «Learning hidden Markov models using nonnegative matrix factorization». IEEE Trans. Inform. Theory, 57 (6) (2011), 3963–3970. [51] Darwiche, A. Modeling and Reasoning with Bayesian Networks. Cambridge: Cambridge University Press, 2009. [52] Darwiche, A. «Human-level intelligence or animal-like abilities?». Comm. ACM, 61 (10) (2018), 56–67. [53] Diakonikolas, I.; Kane, D. M.; Zarifis, N. «Near-optimal SQ lower bounds for agnostically learning halfspaces and ReLUs under Gaussian marginals». Preprint (2020). arXiv:2006.16200. [54] Domingo-Enrich, C.; Jelassi, S.; Mensch, A.; Rotskoff, G.; Bruna, J. «A mean-field analysis of two-player zero-sum games». Preprint (2020). arXiv:2002.06277. [55] Donoho, D. L. [et al.]. «High-dimensional data analysis: The curses and blessings of dimensionality». AMS Math Challenges Lecture, 1 (2000), 1–32. [56] Du, S.; Lee, J.; Li, H.; Wang, L.; Zhai, X. «Gradient descent finds global minima of deep neural networks». A: Proceedings of the 36th International Conference on Machine Learning. Vol. 97. PMLR: 2019, 1675–1685. [57] Du, S. S.; Zhai, X.; Poczos, B.; Singh, A. «Gradient descent provably optimizes over-parameterized neural networks». A: 7th International Conference on Learning Representations. OpenReview.net: 2019, 19 p. [58] Eldan, R.; Shamir, O. «The power of depth for feedforward neural networks». A: Proceedings of Machine Learning Research, 49, 2016, 907–940. [59] Escalante, H. J.; Escalera, S.; Guyon, I.; Baró, X.; Güçlütürk, Y.; Güçlü, U.; Van Gerven, M. (ed.). Explainable and Interpretable Models in Computer Vision and Machine Learning. Cham, Suïssa: Springer International Publishing, 2018. (Challenges in Machine Learning)

Aprenentatge algorísmic i xarxes neuronals profundes

[60] Fang, C.; Lee, J. D.; Yang, P.; Zhang, T. «Modeling from features: a meanfield framework for over-parameterized deep neural networks». Preprint (2020). arXiv:2007.01452. [61] Felsberg, M.; Sommer, G. «The monogenic signal». IEEE Trans. Signal Process., 49 (2) (2001), 3136–3144. [62] Felzenszwalb, P. F.; Girshick, R. B.; McAllester, D.; Ramanan, D. «Object detection with discriminatively trained part-based models». IEEE Trans. Pattern Anal. Mach. Intell., 32 (9) (2010), 1627–1645. [63] Franchini, S.; Gentile, A.; Sorbello, F.; Vassallo, G.; Vitabile, S. «Clifford algebra based edge detector for color images». A: 2012 Sixth International Conference on Complex, Intelligent, and Software Intensive Systems. IEEE, 2012, 84–91. [64] Freund, Y.; Schapire, R. E. «Game theory, on-line prediction and boosting». A: Proceedings of the Ninth Annual Conference on Computational Learning Theory. IEEE, 1996, 325–332. [65] Fukushima, K. «Neocognitron: A hierarchical neural network capable of visual pattern recognition». Neural networks, 1 (2) (1988), 119–130. [66] Garcia-Gasulla, D.; Cortés, A.; Alvarez-Napagao, S.; Cortés, U. «Signs for ethical AI: A route towards transparency». Preprint (2020). arXiv:2009.13871. [67] Gaudet, C. J.; Maida, A. S. «Deep quaternion networks». A: 2018 International Joint Conference on Neural Networks (IJCNN). IEEE, 2018, 1–8. [68] Gelman, A. «Causality and statistical learning». Preprint (2010). arXiv: 1003.2619. [69] Ghahramani, Z. «Probabilistic machine learning and artificial intelligence». Nature, 521 (7553) (2015), 452–459. [70] Girshick, R.; Donahue, J.; Darrell, T.; Malik, J. «Rich feature hierarchies for accurate object detection and semantic segmentation». A: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2014, 580–587. [71] Goel, S.; Gollakota, A.; Jin, Z.; Karmalkar, S.; Klivans, A. «Superpolynomial lower bounds for learning one-layer neural networks using gradient descent». Preprint (2020). arXiv:2006.12011. [72] Goodfellow, I.; Bengio, Y.; Courville, A. Deep Learning. Cambridge, MA: MIT Press, 2016. (Adaptive Computation and Machine Learning) [73] Greengard, L. The Rapid Evaluation of Potential Fields in Particle Systems. Cambridge, MA: MIT Press, 1988. (ACM Distinguished Dissertations) [74] Grill, J.-B.; Strub, F.; Altché, F. [et al.]. «Bootstrap your own latent: A new approach to self-supervised learning». Preprint (2020). arXiv:2006.07733.

Joan Bruna i Sebastià Xambó

[75] Guberman, N. «On complex valued convolutional neural networks». Preprint (2016). arXiv:1602.09046. [76] Guttag, J. Introduction to Computation and Programming using Python: With Application to Understanding Data. Cambridge, MA: MIT Press, 2016. [77] Hanneke, S.; Kpotufe, S. «A no-free-lunch theorem for multitask learning». Preprint (2020). arXiv:2006.15785. [78] Hastie, T.; Tibshirani, R.; Friedman, J. The Elements of Statistical Learning. Data Mining, Inference, and Prediction. 2a ed. Nova York: Springer, 2009. (Springer Series in Statistics) [79] Hawkins, J. A Thousand Brains: A New Theory of Intelligence. With a foreword by Richard Dawkins. Nova York: Basic Books, 2021. [80] Haykin, S. Neural Networks and Learning Machines. Pearson, 2009. [81] He, Y.-H. «The Calabi–Yau landscape: from geometry, to physics, to machine-learning». Preprint (2018). arXiv:1812.02893. [82] He, Y.-H.; Kim, M. «Learning algebraic structures: preliminary investigations». Preprint (2019). arXiv:1905.02263. [83] He, Y.-H.; Yau, S.-T. «Graph Laplacians, Riemannian manifolds and their machine-learning». Preprint 2020. arXiv:2006.16619. [84] Hipolito, I.; Ramstead, M.; Convertino, L.; Bhat, A.; Friston, K.; Parr, T. «Markov blankets in the brain». Preprint (2018). arXiv:2006. 02741. [85] Hirose, A. (ed.). Complex-Valued Neural Networks. Theories and Applications. River Edge, NJ: World Scientific Publishing Co., Inc., 2003. (Series on Innovative Intelligence; 5) [86] Hirose, A. Complex-Valued Neural Networks. 2a ed. Berlín, Heidelberg: Springer-Verlag, 2012. (Studies in Computational Intelligence; 400) [87] Hirose, A. (ed.). Complex-Valued Neural Networks. Advances and Applications. Piscataway, NJ: IEEE Press; Hoboken, NJ: John Wiley & Sons, Inc., 2013. (IEEE Press Series on Computational Intelligence) [88] Hitzer, E.; Sangwine, S. J. (ed.). Quaternion and Clifford Fourier Transforms and Wavelets. Basilea: Birkhäuser: Springer Basel AG, 2013. (Trends in Mathematics) [89] Hoffmann, J.; Schmitt, S.; Osindero, S.; Simonyan, K.; Elsen, E. «AlgebraNets». Preprint (2020). arXiv:2006.07360. [90] Hornik, K. «Approximation capabilities of multilayer feedforward networks». Neural networks, 4 (2) (1991), 251–257. [91] Hornik, K.; Stinchcombe, M.; White, H. «Multilayer feedforward networks are universal approximators». Neural Networks, 2 (5) (1989), 359–366. [92] Isokawa, T.; Matsui, N.; Nishimura, H. «Quaternionic neural networks: Fundamental properties and applications». A: Complex-Valued Neu-

Aprenentatge algorísmic i xarxes neuronals profundes

ral Networks: Utilizing High-Dimensional Parameters. IGI Global, 2009, 411–439. [93] Isokawa, T.; Nishimura, H.; Matsui, N. «Quaternionic multilayer perceptron with local analyticity». Information (Switzerland), 3 (4) (2012), 756–770. [94] Iten, R.; Metger, T.; Wilming, H.; Del Rio, L.; Renner, R. «Discovering physical concepts with neural networks». Phys. Rev. Lett., 124 (1), p. 010506 (2020). [95] Jacot, A.; Gabriel, F.; Hongler, C. «Neural tangent kernel: Convergence and generalization in neural networks». A: Bengio, S. [et al.]. Advances in Neural Information Processing Systems. Vol. 31, 2018, 8571–8580. [96] Jain, A. K.; Zhong, Y.; Lakshmanan, S. «Object matching using deformable templates». IEEE Trans. Pattern Anal. Mach. Intell., 18 (3) (1996), 267–278. [97] Jin, C.; Netrapalli, P.; Ge, R., Kakade, S. M.; Jordan, M. I. «On nonconvex optimization for machine learning: gradients, stochasticity, and saddle points». Preprint (2019). arXiv:1902.04811. [98] Johnson, R.; Zhang, T. «Accelerating stochastic gradient descent using predictive variance reduction». A: Advances in Neural Information Processing Systems. Vol. 26. Curran, 2014, 315–323. [99] Kanatani, K. «Overviews of optimization techniques for geometric estimation». Mem. Fac. Engrg. Okayama Univ., 47 (2013), 1–18. [100] Kingma, D. P.; Ba, J. «Adam: A method for stochastic optimization». Preprint (2014). arXiv:1412.6980. [101] Kleese van Dam, K.; Monda, I.; Peters, N.; Schenkel, T. «From longdistance entanglement to building a nationwide quantum internet: Report of the DOE Quantum Internet Blueprint Workshop». US, febrer 2020. [Disponible en línia a: http://doi.org/10.2172/1638794] [102] Knill, D. C.; Richards, W. (ed.). Perception as Bayesian Inference. Cambridge University Press, 1996. El primer article és «Pattern theory: a unifying perspective», de D. Mumford. [103] Kobayashi, M. «Rotational invariance of quaternionic Hopfield neural networks». IEEJ Transactions on Electrical and Electronic Engineering, 11 (4) (2016), 516–520. [104] Koller, D.; Friedman, N. Probabilistic Graphical Models. Principles and Techniques. Cambridge, MA: MIT Press, 2009. (Adaptive Computation and Machine Learning) [105] Koltchinskii, V. «Rademacher penalties and structural risk minimization». IEEE Trans. Inform. Theory, 47 (5) (2001), 1902–1914. [106] Koltchinskii, V. «Rademacher complexities and bounding the excess risk in active learning». J. Mach. Learn. Res., 11 (2010), 2457–2485.

Joan Bruna i Sebastià Xambó

[107] Koltchinskii, V.; Panchenko, D. «Rademacher processes and bounding the risk of function learning». A: High Dimensional Probability, II (Seattle, WA, 1999). Boston, MA: Birkhäuser Boston, 2000, 443–457. (Progr. Probab.; 47) [108] Kulkarni, S.; Harman, G. An Elementary Introduction to Statistical Learning Theory. Hoboken, NJ: John Wiley & Sons, Inc., 2011. (Wiley Series in Probability and Statistics) [109] Kung, S. Y. Kernel Methods and Machine Learning. Cambridge: Cambridge University Press, 2014. [110] Lamb, L. C.; Garcez, A.; Gori, M.; Prates, M.; Avelar, P.; Vardi, M. «Graph neural networks meet neural-symbolic computing: A survey and perspective». Preprint (2020). arXiv:2003.00330. [111] Lample, G.; Charton, F. «Deep learning for symbolic mathematics». Preprint (2019). arXiv:1912.01412. [112] Lavor, C.; Xambó-Descamps, S.; Zaplana, I. A Geometric Algebra Invitation to Space-Time Physics, Robotics and Molecular Geometry. Cham, Suïssa: Springer, 2018. (SpringerBriefs in Mathematics) [113] Lay, D. C.; Lay, S. R.; McDonald, J. J. Linear Algebra and its Applications. 5a ed. Pearson, 2016. [114] Lazendić, S.; De Bie, H.; Pižurica, A. «Octonion sparse representation for color and multispectral image processing». A: 2018 26th European Signal Processing Conference (EUSIPCO). IEEE, 2018, 608–612. [115] Lazendic, S.; Pizurica, A.; De Bie, H. «Hypercomplex algebras for dictionary learning». A: Early Proceedings of the AGACSE 2018 Conference. Campinas, São Paulo, Brasil: Unicamp: IMECC, 2018, 57–64. [116] LeCun, Y.; Boser, B.; Denker, J. S.; Henderson, D.; Howard, R. E.; Hubbard, W.; Jackel, L. D. «Backpropagation applied to handwritten zip code recognition». Neural Comput., 1 (4) (1989), 541–551. [117] Lee, J. D.; Lei, Q.; Saunshi, N.; Zhuo, J. «Predicting what you already know helps: Provable self-supervised learning». Preprint (2020). arXiv:2008.01064. [118] Linial, N.; Mansour, Y.; Nisan, N. «Constant depth circuits, Fourier transform, and learnability». J. Assoc. Comput. Mach., 40 (3) (1993), 607–620. [119] MacKay, D. J. C. Information Theory, Inference and Learning Algorithms. Version 7.2 (fourth printing). Cambridge: Cambridge University Press, 2005. [120] Mallat, S. A Wavelet Tour of Signal Processing. San Diego, CA: Academic Press, Inc., 1998. [121] Mallat, S. «Group invariant scattering». Comm. Pure Appl. Math., 65 (10) (2012), 1331–1398. [122] Mallat, S. «Understanding deep convolutional networks». Philos. Trans. Roy. Soc. A, 374 (2065) (2016), p. 20150203.

Aprenentatge algorísmic i xarxes neuronals profundes

[123] McCulloch, W. S.; Pitts, W. «A logical calculus of the ideas immanent in nervous activity». Bull. Math. Biophys., 5 (1943), 115–133. [124] McGrayne, S. B. The Theory That Would Not Die. How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, & Emerged Triumphant from Two Centuries of Controversy. New Haven, CT: Yale University Press, 2011. [125] Mehta, P.; Schwab, D. J. «An exact mapping between the variational renormalization group and deep learning». Preprint (2014). arXiv:1410.3831. [126] Mei, S.; Montanari, A. «The generalization error of random features regression: Precise asymptotics and double descent curve». Preprint (2019). arXiv:1908.05355. [127] Minsky, M.; Papert, S. A. Perceptrons: An Introduction to Computational Geometry. Cambridge, MA: MIT Press, 1988. [Expanded edition of the 1969 “Perceptrons”] [128] Mohan, K.; Pearl, J. «Graphical models for processing missing data». Preprint (2018). arXiv:1801.03583. [129] Mönning, N.; Manandhar, S. «Evaluation of complex-valued neural networks on real-valued classification tasks». Preprint (2018). arXiv: 1811.12351. [130] Moya-Sánchez, E. U.; Xambó-Descamps, S.; Pérez, A. S.; SalazarColores, S.; Martínez-Ortega, J.; Cortés, U. «A bio-inspired quaternion local phase CNN layer with contrast invariance and linear sensitivity to rotation angles». Pattern Recognition Lett., 131 (2021), 56–62. [131] Mumford, D.; Desolneux, A. Pattern Theory. The Stochastic Analysis of Real-World Signals. Natick, MA: A K Peters, Ltd., 2010. (Applying Mathematics) [132] Murphy, K. P. Machine Learning: A Probabilistic Perspective. Cambridge, MA: MIT Press, 2012. [133] Nadel, L. (ed.). Encyclopedia of Cognitive Science. Londres: Nature Publishing Group, 2003. [134] Nagarajan, V.; Kolter, J. Z. «Deterministic PAC-Bayesian generalization bounds for deep networks via generalizing noise-resilience». Preprint (2019). arXiv:1905.13344. [135] Nandy, A.; Biswas, M. Reinforcement Learning: With Open AI, TensorFlow and Keras Using Python. Berkeley, CA: Apress, 2017. [136] Neapolitan, R. E. Learning Bayesian Networks. Upper Saddle River, NJ: Pearson Prentice Hall, 2004. (Artificial Intelligence; 38) [137] Nemirovsky, A. S.; Yudin, D. B. Problem Complexity and Method Efficiency in Optimization. Nova York: John Wiley & Sons, Inc., 1983. (WileyInterscience Series in Discrete Mathematics)

Joan Bruna i Sebastià Xambó

[138] Nesterov, Yu. E. «A method for solving the convex programming problem with convergence rate O(1/k2 )». Dokl. Akad. Nauk SSSR, 269 (3) (1983), 543–547. [En rus] [139] Nguyen, G.; Dlugolinsky, S.; Bobák, M.; Tran, V.; García, A. L.; Heredia, I.; Malík, P.; Hluchỳ, L. «Machine learning and deep learning frameworks and libraries for large-scale data mining: a survey». Artificial Intelligence Review, 52 (1) (2019), 77–124. [140] Nielsen, M. A. Neural Networks and Deep Learning. San Francisco, CA, EUA: Determination Press, 2015. [141] Nitta, T. Complex-Valued Neural Networks: Utilizing High-Dimensional Parameters. Hershey, PA: Information Science Reference, 2009. [142] Parcollet, T.; Morchid, M.; Bousquet, P.-M.; Dufour, R.; Linarès, G.; De Mori, R. «Quaternion neural networks for spoken language understanding». A: 2016 IEEE Spoken Language Technology Workshop (SLT). IEEE, 2016, 362–368. [143] Parcollet, T.; Zhang, Y.; Morchid, M.; Trabelsi, C.; Linarès, G.; De Mori, R.; Bengio, Y. «Quaternion convolutional neural networks for end-toend automatic speech recognition». Preprint (2018). arXiv:1806.07789. [144] Patel, A. B.; Nguyen, T.; Baraniuk, R. G. «A probabilistic theory of deep learning». Preprint (2015). arXiv:1504.00641. [145] Pearl, J. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. San Mateo, CA: Morgan Kaufmann, 1988. (The Morgan Kaufmann Series in Representation and Reasoning) [146] Pearl, J. «The art and science of cause and effect». Conferència pública impartida el novembre de 1996 dins del UCLA Faculty Research Lectureship Program, 1996. [147] Pearl, J. Causality. Models, Reasoning, and Inference. 2a ed. Cambridge: Cambridge University Press, 2009. [148] Pearl, J. «Causes of effects and effects of causes». Sociol. Methods Res., 44 (1) (2015), 149–164. [149] Pearl, J. «Trygve Haavelmo and the emergence of causal calculus». Econometric Theory, 31 (1) (2015), 152–179. [150] Pearl, J. «Theoretical impediments to machine learning with seven sparks from the causal revolution». Preprint (2018). arXiv:1801.04016. [151] Pearl, J.; Mackenzie, D. The Book of Why. The New Science of Cause and Effect. Nova York: Basic Books, 2018. [152] Pearson, J. K.; Bisset, D. L. «Neural networks in the Clifford domain». A: Proceedings of 1994 IEEE International Conference on Neural Networks (ICNN’94). Vol. 3. IEEE, 1994,1465–1469. [153] Peters, J.; Janzing, D.; Schölkopf, B. Elements of Causal Inference. Foundations and Learning Algorithms. Cambridge, MA: MIT Press, 2017. (Adaptive Computation and Machine Learning)

Aprenentatge algorísmic i xarxes neuronals profundes

[154] Pham, H. T.; Nguyen, P.-M. «A note on the global convergence of multilayer neural networks in the mean field regime». Preprint 2020. arXiv:2006.09355. [155] Pham, M. T.; Tachibana, K. «A conformal geometric algebra based clustering method and its applications». Adv. Appl. Clifford Algebr., 26 (3) (2016), 1013–1032. [156] Pinkus, A. «Density in approximation theory». Surv. Approx. Theory, 1 (2005), 1–45. [157] Piran, Z.; Shwartz-Ziv, R.; Tishby, N. «The Dual Information Bottleneck». Preprint (2020). arXiv:2006.04641. [158] Pollard, D. Convergence of Stochastic Processes. Nova York: SpringerVerlag, 1984. (Springer Series in Statistics) [159] Popa, C.-A. «Complex-Valued Convolutional Neural Networks for RealValued Image Classification». A: 2017 International Joint Conference on Neural Networks (IJCNN). IEEE, 2017, 816–822. [160] Rahimi, A.; Recht, B. «Random features for large-scale kernel machines». A: Advances in Neural Information Processing Systems. Vol. 20. Curran Associates, Inc., 2008, 1177–1184. [161] Rebala, G.; Ravi, A.; Churiwala, S. An Introduction to Machine Learning. Cham, Suïssa: Springer International Publishing, 2019. [162] Rivera-Rovelo, J.; Bayro-Corrochano, E. «Medical image segmentation using a self-organizing neural network and Clifford geometric algebra». A: The 2006 IEEE International Joint Conference on Neural Network Proceedings. IEEE, 2006, 3538–3545. [163] Robbins, H.; Monro, S. «A stochastic approximation method». Ann. Math. Statist., 22 (3) (1951), 400–407. [164] Rosebrock, A. Deep Learning for Computer Vision with Python: ImageNet Bundle. PyImageSearch, 2017. [165] Rosenblatt, F. «The perceptron: a probabilistic model for information storage and organization in the brain». Psychol. Rev., 65 (6) (1958), 386. [166] Rosenblatt, F. Principles of Neurodynamics. Perceptrons and the Theory of Brain Mechanisms. Washington, DC: Spartan Books, 1962. [167] Rotskoff, G.; Jelassi, S.; Bruna, J.; Vanden-Eijnden, E. «Global convergence of neuron birth-death dynamics». Preprint (2019). arXiv: 1902.01843. [168] Rotskoff, G. M.; Vanden-Eijnden, E. «Trainability and accuracy of neural networks: An interacting particle system approach». Preprint (2018). arXiv:1805.00915. [169] Roux, N. L.; Schmidt, M.; Bach, F. R. «A stochastic gradient method with an exponential convergence-rate for finite training sets». A: Proceedings of the 25th International Conference on Neural Information Processing Systems. Vol. 2, 2012, 2663–2671.

Joan Bruna i Sebastià Xambó

[170] Rudin, W. Functional Analysis. 2a ed. Nova York: McGraw-Hill, Inc., 1991. (International Series in Pure and Applied Mathematics) [171] Rumelhart, D. E.; Hinton, G. E.; Williams, R. J. «Learning representations by back-propagating errors». Nature, 323 (6088) (1986), 533–536. [172] Russell, S.; Norvig, P. Artificial Intelligence: A Modern Approach. 3a ed. Pearson, 2010. [173] Said, A.; Torra, V. (ed.). Data Science in Practice. Cham, Suïssa: Springer International Publishing, 2019. (Studies in Big Data; 46) [174] Schmidhuber, J. «Deep learning in neural networks: An overview». Neural networks, 61 (2015), 85–117. [175] Sewak, M. Deep Reinforcement Learning. Frontiers of Artificial Intelligence. Springer, 2019. [176] Shalev-Shwartz, S.; Ben-David, S. Understanding Machine Learning: From Theory to Algorithms. Cambridge: Cambridge University Press, 2014. [177] Shwartz-Ziv, R.; Tishby, N. «Opening the black box of deep neural networks via information». Preprint (2017). arXiv:1703.00810. [178] Silver, D.; Hubert, T.; Schrittwieser, J. [et al.]. «A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play». Science, 362 (6419) (2018), 1140–1144. [179] Silver, N. The Signal and the Noise: Why so Many Predictions Fail–But Some Don’t. Penguin, 2012. [180] Sirignano, J.; Spiliopoulos, K. «Mean field analysis of deep neural networks». Preprint (2019). arXiv:1903.04440. [181] Sloman, S. Causal Models: How People Think About the World and its Alternatives. Oxford: Oxford University Press, 2005. [182] Sommer, G. (ed.). Geometric Computing with Clifford Algebras. Theoretical Foundations and Applications in Computer Vision and Robotics. Berlín: Springer-Verlag, 2001. [183] Spanos, A. Probability Theory and Statistical Inference. Econometric Modeling with Observational Data. 2a ed. Cambridge: Cambridge University Press, 2019. [184] Sra, S.; Nowozin, S.; Wright, S. J. (ed.). Optimization for Machine Learning. Cambridge, MA: MIT Press, 2012. (Neural Information Processing Series) [185] Steele, J. M. «Empirical discrepancies and subadditive processes». Ann. Probability, 6 (1) (1978), 118–127. [186] Stone, L. D. Theory of Optimal Search. Nova York; Londres: Academic Press [Harcourt Brace Jovanovich, Publishers], 1975. (Mathematics in Science and Engineering; 118) [187] Stone, C. J. «Consistent nonparametric regression». Ann. Statist., 5 (4) (1977), 595–645.

Aprenentatge algorísmic i xarxes neuronals profundes

[188] Stone, P.; Brooks, R.; Brynjolfsson, E. [et al.]. «Artificial intelligence and life in 2030». One Hundred Year Study on Artificial Intelligence: Report of the 2015 Study Panel, Setembre 2016. [189] Strang, G. Linear Algebra and Learning from Data. Wellesley-Cambridge Press, 2019. [190] Sutton, R. S.; Barto, A. G. Reinforcement Learning: An Introduction. 2a ed. Cambridge, MA: MIT Press, 2018. (Adaptive Computation and Machine Learning) [191] Szegedy, C.; Zaremba, W.; Sutskever, I.; Bruna, J.; Erhan, D.; Goodfellow, I.; Fergus, R. «Intriguing properties of neural networks». Preprint (2014). arXiv:1312.6199. [192] Theodoridis, S. Machine Learning: A Bayesian and Optimization Perspective. Academic Press, 2015. [193] Tishby, N.; Pereira, F. C.; Bialek, W. «The information bottleneck method». Preprint (2020). arXiv:physics/0004057. [194] Tishby, N.; Zaslavsky, N. «Deep learning and the information bottleneck principle». Preprint (2015). arXiv:1503.02406. [195] Tosh, C.; Krishnamurthy, A.; Hsu, D. «Contrastive learning, multi-view redundancy, and linear models». Preprint (2020). arXiv:2008.10150. [196] Trabelsi, C.; Bilaniuk, O.; Zhang, Y. [et al.]. «Deep complex networks». Preprint (2017). arXiv:1705.09792. [197] Tsybakov, A. B. «Pointwise and sup-norm sharp adaptive estimation of functions on the Sobolev classes». Ann. Statist., 26 (6) (1998), 2420–2469. [198] Tygert, M.; Bruna, J.; Chintala, S.; LeCun, Y.; Piantino, S.; Szlam, A. «A mathematical motivation for complex-valued convolutional networks». Neural Comput., 28 (5) (2016), 815–825. [199] Van den Broeck, G.; Mohan, K.; Choi, A.; Darwiche, A.; Pearl, J. «Efficient algorithms for Bayesian network parameter learning from incomplete data». A: Proceedings of the 31st Conference on Uncertainty in Artificial Intelligence (UAI). 2015, 161–170. [200] Vân Lê, H. «Mathematical foundations of machine learning». (2020). [Disponible en línia a: https://users.math.cas.cz/hvle/MFML.pdf] [201] Vapnik, V. N. Statistical Learning Theory. John Wiley & Sons, Inc., 1998. (Adaptive and Learning Systems for Signal Processing, Communications, and Control; 1) [202] Vapnik, V. N. «An overview of statistical learning theory». IEEE Trans. Neural Networks, 10 (5) (1999), 988–999. [203] Vapnik, V. N.; Chervonenkis, A. Ya. «On the uniform convergence of relative frequencies of events to their probabilities». Theor. Probability Appl., 16 (1971), 264–280. [204] Vidal, R.; Bruna, J.; Giryes, R.; Soatto, S. «Mathematics of deep learning». Preprint (2017). arXiv:1712.04741.

Joan Bruna i Sebastià Xambó

[205] Villani, C. Optimal Transport. Old and New. Berlín: Springer-Verlag, 2009. (Grundlehren der Mathematischen Wissenschaften; 338) [206] von Luxburg, U.; Bousquet, O. «Distance-based classification with Lipschitz functions». J. Mach. Learn. Res., 5 (2004), 669–695. [207] von Luxburg, U.; Schölkopf, B. «Statistical learning theory: Models, concepts, and results». A: Handbook of the History of Logic. Elsevier, 2011, 651–706. (Inductive logic; 10) [208] Wainwright, M. J. High-dimensional Statistics. A Non-asymptotic Viewpoint. Cambridge: Cambridge University Press, 2019. (Cambridge Series in Statistical and Probabilistic Mathematics; 48) [209] Wang, R.; Shi, Y.; Cao, W. «GA-SURF: A new speeded-up robust feature extraction algorithm for multispectral images based on geometric algebra». Pattern Recognition Lett., 127 (2019), 11–17. [210] Wei, C.; Shen, K.; Chen, Y.; Ma, T. «Theoretical analysis of selftraining with deep networks on unlabeled data». Preprint (2020). arXiv: 2010.03622. [211] Widrow, B.; Hoff, M. E. «Adaptive switching circuits». Technical report Stanford Electronics Labs, Stanford University, CA (1960). [212] Wolf, M. M. «Mathematical foundations of supervised learning (growing lecture notes)». (2018). [Disponible en línia a: https://www-m5.ma.tum. de/foswiki/pub/M5/Allgemeines/MA4801− 2018S/ML− notes− main.pdf] [213] Wu, J.; Xu, L.; Wu, F.; Kong, Y.; Senhadji, L.; Shu, H. «Deep octonion networks». Neurocomputing, 397 (2020), 179–181. [214] Wu, T.; Tegmark, M. «Toward an AI Physicist for unsupervised learning». Preprint (2018). arXiv:1810.10525. [215] Xambó-Descamps, S. Real Spinorial Groups. A Short Mathematical Introduction. SpringerBriefs in Mathematics. Cham: Springer, 2018. (SBMAC SpringerBriefs) [216] Xambó-Descamps, S. «Calculi on geometric spaces». En premsa (2021). [217] Xambó-Descamps, S.; Moya-Sánchez, E. U. «Geometric calculi and automatic learning–An outline». A: Delshams, A.; Xambó-Descamps, S. (ed.). Systems, Patterns and Data Engineering with Geometric Calculi. Springer, 2021, en premsa. (ICIAM2019 SEMA SIMAI Springer Series) [218] Ying, Z.; Bourgeois, D.; You, J.; Zitnik, M.; Leskovec, J. «Gnnexplainer: Generating explanations for graph neural networks». A: Bengio, S. [et al.]. Advances in Neural Information Processing Systems. Vol. 32, 2019, 9240–9251. [219] Zhao, Y.; Birdal, T.; Lenssen, J. E.; Menegatti, E.; Guibas, L.; Tombari, F. «Quaternion equivariant capsule networks for 3D point clouds». Preprint (2019). arXiv:1912.12098. [220] Zhou, D.-X. «Universality of deep convolutional neural networks». Appl. Comput. Harmon. Anal., 48 (2) (2020), 787–794.

Aprenentatge algorísmic i xarxes neuronals profundes

[221] Zhu, S.-C.; Mumford, D. «A Stochastic Grammar of Images». Foundations and Trends in Computer Graphics and Vision, 2 (4) (2006), 259–362. [222] Zhu, X.; Xu, Y.; Xu, H.; Chen, C. «Quaternion convolutional neural networks». A: Computer Vision - ECCV 2018. Springer, 2018, 631–647. [223] Zweig, A.; Bruna, J. «A functional perspective on learning symmetric functions with neural networks». Preprint (2020). arXiv:2008.06952.

Joan Bruna Courant Institute & Center for Data Science, New York University 60 Fifth Avenue, Office 612 Nova York, USA bruna@cims.nyu.edu Sebastià Xambó Departament de Matemàtiques, UPC, i Visitant BSC Edifici OMEGA, c/ Jordi Girona 1-3 08034 Barcelona, Spain sebastia.xambo@upc.edu

Butlletí de la Societat Catalana de Matemàtiques Vol. 36, núm. 1, 2021. Pàg. 69–113. DOI: 10.2436/20.2002.01.98

Conjectures Armengol Gasull

Resum: L’objectiu d’aquest treball és donar a conèixer diverses conjectures matemàtiques que tenen en comú el fet d’ocupar-se de qüestions que es poden entendre sense haver de ser un matemàtic professional. Les agruparem en tres grans blocs: les que parlen de números primers, les que involucren números naturals i, en un tercer bloc heterogeni, les que tracten problemes de diverses branques de les matemàtiques. En total parlarem, amb més o menys profunditat, de més de quaranta conjectures. També es planteja la possibilitat d’usar les conjectures com una eina de motivació per als estudiants de batxillerat i dels primers anys d’universitat, i presentar així les matemàtiques com una disciplina viva i en creixement. Paraules clau: conjectures, teoria de números, números primers, problemes oberts, popularització de les matemàtiques.

Classificació MSC2010: 00A05, 00A09, 00A27, 11A.

Introducció En aquest treball donarem a conèixer diverses conjectures matemàtiques, que comparteixen el fet d’afirmar qüestions que es poden entendre sense que calgui ser un matemàtic professional.1 En particular, només considerarem conjectures tals que el seu enunciat sigui curt i autocontingut. Cadascuna d’elles es pot llegir de manera independent. El nostre objectiu, a part d’ampliar els coneixements i entretenir els lectors, és mostrar les matemàtiques no com una ciència tancada en la qual tot es coneix, ans més aviat el contrari, com una disciplina viva i en creixement. Com veurem, tot i que les conjectures que es detallen toquen diferents àmbits de les matemàtiques, la majoria d’elles són de caire teòric o lúdic i deixen de banda una de les raons de ser de les matemàtiques: la modelització i la comprensió del món. Això sí, els mateixos matemàtics que han proposat o estudiat aquestes conjectures són els que han fet avançar la matemàtica en totes les seves vessants. 1 Una altra qüestió ben diferent és el nivell i la profunditat matemàtics necessaris per a saber si són certes o falses!

Armengol Gasull

Figura 1: Darrer teorema de Fermat.

Però, què és una conjectura matemàtica? Una possible definició seria que és un resultat consistent amb tot el que es coneix, però no s’ha pogut verificar si és cert o fals. Tanmateix, potser podem entendre millor el que és llegint un tros de la correspondència que el 1742 van tenir el matemàtic i científic suís Leonhard Euler i el matemàtic prussià Christian Goldbach, sobre el que avui en dia es coneix com a conjectura de Goldbach. Euler li deia: Que [. . .] tot número enter parell és una suma de dos primers, jo ho veig com un teorema completament cert, però no ho puc provar.

Així, una conjectura és un resultat que molts matemàtics pensen que hauria de ser un teorema, però que cap d’ells no ha pogut provar. A més, aquest candidat a teorema ha resistit tots els esforços per buscar-li un contraexemple. I si la conjectura admet ser estudiada amb l’ajut de programes informàtics, s’ha pogut verificar fins a on poden arribar els ordinadors més potents disponibles fins al moment. Finalment, és possible que existeixin idees heurístiques, probabilístiques o intuïtives que també fan pensar que és certa. Hi ha conjectures degudes a matemàtics il.lustres que han resultat certes i unes altres falses. Un dels exemples més famosos de conjectura certa és la que es va popularitzar com a darrer teorema de Fermat, quan encara no era un teorema. Va ser enunciat pel matemàtic i advocat francès Pierre de Fermat el 1637, i afirmava que l’equació x n + y n = zn , per a 2 < n ∈ N, no tenia solucions (x, y, z) ∈ N3 ; vegeu un segell dedicat al tema a la figura 1. La demostració d’aquest resultat va haver d’esperar fins al 1995, i és deguda al matemàtic anglès Andrew J. Wiles. Una altra conjectura ben famosa, però molt més tècnica sobre una caracterització topològica de les esferes 3-dimensionals, i que ja és també un teorema, és la conjectura de Poincaré demostrada el 2003 pel matemàtic rus Grigori I. Perelman. Euler, el 1769, en un intent d’estendre el darrer teorema de Fermat, va proposar la conjectura següent, que ens servirà per a il.lustrar el cas contrari: si per a certs n > 1, k > 1 enters hi ha (x1 , x2 , . . . , xn , y) ∈ Nn+1 tal que k x1k + x2k + · · · + xn = y k,

aleshores n ≥ k. Un exemple conegut ja a l’antiga Grècia i coherent amb la conjectura és 33 + 43 + 53 = 63 . El primer contraexemple d’aquesta conjectura, per a k = 5, va ser trobat usant un programa d’ordinador per Lander i Parkin el 1966, 275 + 845 + 1105 + 1335 = 1445 ,

Conjectures

i està publicat en el que potser és l’article més curt de matemàtiques ([71]): cinc línies de text i una referència. El 1986, Noam D. Elkies va trobar, també via programació, el primer contraexemple per a k = 4. El més senzill que es coneix és de l’any 1988 i és degut a Roger E. Frye, 958004 + 2175194 + 4145604 = 4224814 . Per a k = 3 la conjectura és certa, ja que, com acabem de comentar, el darrer teorema de Fermat és, avui en dia, un teorema. Aquest treball no intenta de cap manera llistar totes les conjectures matemàtiques existents, ni tan sols presentar les més importants. El criteri que s’ha intentat seguir en la selecció feta és que els seus enunciats estiguin a l’abast d’estudiants de batxillerat o dels primers anys de carreres científiques i, també, de persones que tenen un interès ampli per les matemàtiques. Sense ànims de ser exhaustius, però per completesa, donarem els noms d’algunes conjectures famoses que no descriurem aquí i que requereixen més coneixements matemàtics per a entendre’n els enunciats: la conjectura ABC (també coneguda com a conjectura d’Oesterlé-Masser) o la conjectura de Birch i Swinnerton-Dyer (teoria de nombres), la conjectura de Carathéodory (geometria diferencial), la conjectura de Hadamard (combinatòria), les conjectures de Kaplansky (àlgebra), el lema de tancament o closing lemma de Pugh (sistemes dinàmics), la finitud de les configuracions centrals (mecànica celeste), etcètera. En moltes de les conjectures que presentem es donen referències més detallades i, en particular, moltes de les relacionades amb teoria de nombres apareixen al llibre Unsolved Problems in Number Theory, de Richard K. Guy ([52]) o [6, 82]. També s’han consultat els treballs [57, 58, 59, 60, 111]. A part d’aquestes referències, s’han usat de manera sistemàtica diverses pàgines web. Així, a la Wikipedia en anglès s’han consultat les pàgines amb els títols: «List of unsolved problems in mathematics», «List of conjectures» i «Conjectures», amb els seus enllaços corresponents. També hi ha molta informació a les pàgines del MathWorld-A Wolfram Web Resource i a la del CNRS-Images des mathématiques dins la secció «Les conjectures du trimestre». Les conjectures de què parlarem s’han dividit en tres grups. Cada grup es presenta en una secció diferent. Així, a la secció 1 incloem les que estan estretament relacionades amb els números primers i la seva estructura. Per tant, ens ocuparem de les conjectures sobre els primers bessons, de Legendre, imposant expressions concretes per als números primers, de Goldbach, de Lemoine, d’Oppermann, de Brocard, d’Andrica, de Firoozbakht, de Cramér, de Gilbreath, segona de Hardy-Littlewood, dels primers de Germain, i de Grimm. La secció 2 està dedicada a conjectures que involucren números naturals. Considerem les conjectures sobre els números perfectes, d’Erdős-Straus, de Brocard-Ramanujan-Erdős, de Goormaghtigh, de Carmichael, de Singmaster, de Beal, sobre la màxima persistència multiplicativa, la de no palindromia, i de Selfridge.

Armengol Gasull

Finalment, a la secció 3 hi ha un popurri de conjectures sobre temes diferents. Parlem de la conjectura de Lagarias equivalent a la hipòtesi de Riemann, i les conjectures 3x + 1, jacobiana, de Casas-Alvero, sobre la normalitat de π , sobre la irracionalitat de γ, sobre la seqüència de Kolakoski, de Frankl, de Toeplitz, d’Erdős-Szekeres, del billars triangulars, del sofà, i de Levi-Hadwiger. De manera tangencial, també parlarem al text de les conjectures de Polignac, de les cadenes de Cunningham, de Dickson, de Sierpiński i de Kakeya. És clar que els gustos i els coneixements de l’autor també han influït en la tria feta. A l’última secció incloem algunes reflexions sobre la utilitat tant didàctica com científica i pràctica d’estudiar conjectures matemàtiques. Com veurem, en particular moltes de les conjectures que es presenten ens proporcionen idees interessants i engrescadores per introduir els nostres alumnes en el món de la investigació i en el de la programació. En aquesta direcció, podeu llegir el blog de Ben Braun del maig del 2005: «Famous Unsolved Math Problems as Homework», penjat als blogs de l’American Mathematical Society dins de la secció «On Teaching and Learning Mathematics». També aprofitarem aquesta secció per a presentar alguns exemples famosos de propietats que són certes per a molts casos particulars i podrien fer pensar que donen lloc a una conjectura o, millor encara, a un teorema, però que finalment són falses. Acabarem aquesta introducció amb un aspecte del qual a vegades s’oblida parlar a l’hora d’enfrontar-se a una conjectura: hi ha la possibilitat que una conjectura no sigui ni certa ni falsa. Per il.lustrar aquesta darrera afirmació, posarem un parell d’exemples. El més famós és el relacionat amb l’anomenada hipòtesi del continu. Ho expliquem breument. Si hi ha dos conjunts entre els quals podem definir una aplicació bijectiva, es diu que tenen la mateixa cardinalitat. Així, els conjunts N, Z o Q tenen cardinalitat numerable, o també anomenada ℵ0 , que es llegeix com alef sub zero. Per altra banda, els conjunts (0, 1), [0, 1], R, C, R2 , R3 tenen la mateixa cardinalitat que el conjunt de tots els subconjunts de N, i aquesta es denota com 2ℵ0 . Així, sorgeix una pregunta molt natural: hi ha algun conjunt amb una cardinalitat intermèdia entre ℵ0 i 2ℵ0 ? De fet, aquesta pregunta va ser el primer problema d’una llista de vint-i-tres que va posar el matemàtic alemany David Hilbert a la comunitat matemàtica, l’any 1900 a París en el Segon Congrés Internacional de Matemàtics. La no existència de conjunts amb cardinalitat entre ℵ0 i 2ℵ0 és precisament el que s’anomena hipòtesi del continu. L’any 1939, Kurt Gödel, matemàtic, filòsof i especialista en lògica austroamericà, va demostrar que la hipòtesi del continu és compatible amb tots els altres axiomes de la teoria de conjunts. Per tant, mai no se’n podrà demostrar la falsedat. L’any 1963, el matemàtic nord-americà Paul Cohen va demostrar la indecidibilitat de la hipòtesi del continu. Això vol dir que tant si suposem que la hipòtesi del continu és certa com si considerem que és falsa, no comporta cap contradicció amb els axiomes esmentats. En altres paraules, tant si haguéssim conjecturat l’existència d’aquest conjunt com si haguéssim conjecturat la seva no existència, mai ho hauríem pogut demostrar.

Conjectures

És curiós observar que abans que es demostrés el darrer teorema de Fermat, fins i tot s’especulava que pogués ser un resultat indecidible; en relació amb això, consulteu l’interessant treball de John H. Conway ([29]). De fet, en el seu treball Conway demostra l’existència d’enunciats similars al presentat a la conjectura 3x + 1, de la qual parlarem més endavant, que són indecidibles.

Conjectures sobre números primers

Euclides ja va demostrar que hi ha infinits primers i, de fet, entre els dos llibres [81, 92] hi ha una dotzena de proves diferents d’aquest fet; vegeu també [99]. A més, es coneixen moltes propietats sobre la seva distribució. Per exemple, el 1896, el matemàtic francès Jacques Hadamard i el matemàtic belga Charles-Jean de la Vallée-Poussin van provar, usant idees del matemàtic alemany Georg Friedrich B. Riemann, que si π (n) denota el nombre de números primers menors o iguals que n, lim

n→∞

π (n) ln(n) = 1. n

Per una banda, hi ha propietats interessants dels primers que són fàcils de demostrar. Per exemple, que per a tot m ∈ N hi ha com a mínim m números consecutius de manera que cap d’ells és primer, o que per a tot primer p ≥ 5, el residu de p 2 entre 24 és sempre 1. Per a demostrar la primera propietat, podem prendre (m + 1)! + k, per a k = 2, 3, . . . , m + 1, i, clarament, cada (m + 1)! + k no és primer ja que és divisible per k. La prova de la segona és equivalent a veure que p 2 = 24` + 1, per a un cert ` ∈ N, o, en altres paraules, a veure que (p + 1)(p − 1) és divisible per 24. Considerem els tres números consecutius: p − 1 < p < p + 1. És clar que p − 1 i p + 1 són ambdós parells i, encara més, un d’ells ha de ser múltiple de 4. D’una manera similar, donats tres números consecutius, 3 ha de dividir-ne un d’aquests. Com que p és primer, en el nostre cas ha de dividir o bé p − 1 o bé p + 1. En resum, (p − 1)(p + 1) ha de tenir els divisors 2, 3, 4 i, per tant, ha de ser divisible per 24, tal com volíem provar. Per altra banda, hi ha propietats dels primers molt difícils de demostrar. En aquesta secció enunciarem diverses conjectures sobre els primers i la seva distribució. Les quatre primeres inclouen els coneguts com els quatre problemes de Landau, ja que el matemàtic alemany Edmund Landau els va enunciar al Congrés Internacional de Matemàtics del 1912. Com veurem, n’hi ha de dos tipus. Les de Goldbach i Lemoine usen els primers com una mena de descomposició additiva de tots els enters positius. Totes les altres n’estudien la distribució. Conjectura sobre els primers bessons. Hi ha infinites parelles de números primers de la forma p, p + 2. Les primeres parelles de primers bessons són (3, 5), (5, 7), (11, 13), (17, 19). És fàcil raonar que 5 és l’únic número que apareix a dues parelles dife-

Armengol Gasull

rents. L’any 2018, la parella més gran de primers bessons coneguda era 2 996 863 034 895 × 21 290 000 ± 1, formada per números amb més de 380 000 xifres. 101 163 229

103 167 233

107 173 239

109 179 241

113 181 251

127 191 257

131 193 263

137 197 269

139 199 271

149 211 277

151 223 281

157 227 283

Taula 1: Primers entre 100 i 292. En negreta (en dues tonalitats), els parells bessons.

Aquesta conjectura va ser estesa el 1849, pel matemàtic francès Alphonse de Polignac, qui va preguntar-se si per a tot número natural k hi ha infinits primers de manera que p i p + 2k siguin ambdós primers. Aquesta segona propietat es coneix com a conjectura de Polignac. Observeu que per a la conjectura que ens ocupa k = 1. La conjectura sobre els primers bessons sembla que és de les més antigues en teoria de nombres, tot i que els progressos més grans cap a la seva possible demostració són molt recents. L’any 2013, Yitang Zhang ([116]) va provar que hi ha un k menor que 35 milions, de manera que existeixen infinites parelles de números primers que difereixen 2k. Més concretament, el seu teorema ens diu que lim inf(pn+1 − pn ) < 7 × 107 , n→∞

on, com sempre, pn indica el primer enèsim. Avui en dia s’està rebaixant significativament aquesta fita amb les contribucions de James Maynard i Terence Tao. Una de les maneresP(no senzilles) de demostrar l’existència d’infinits primers és provar que la sèrie p primer 1/p és divergent; vegeu [1, 28, 41]. És molt curiós observar que el matemàtic noruec Viggo Brun va demostrar el 1919 ([16]) que si considerem la sèrie formada pels inversos dels primers bessons, ! X 1 1 1 1 1 1 1 1 + = + + + + + + p p+2 3 5 5 7 11 13 p, p+2 primers +

1 1 1 1 + + + + ··· , 17 19 29 31

aquesta és convergent. El valor de la seva suma es coneix avui en dia com la constant de Brun, B2 , i el seu valor aproximat és 1.90216 ([83, 28]). Malauradament, aquest resultat no prova la conjectura, ja que és coherent amb el fet que sigui certa o falsa. El que sí que dona és una via per a intentar demostrar-la: provar que B2 és irracional. Conjectura de Legendre. Per a tot 0 < n ∈ N hi ha un número primer p que satisfà n2 < p < (n + 1)2 . La conjectura de Legendre ve recollida a diferents textos i s’atribueix al matemàtic francès Adrien-Marie Legendre, que va viure a cavall dels segles xviii

Conjectures

i xix. El resultat relacionat més important és degut al matemàtic xinès Jing-Run Chen ([26]), qui el 1975 va provar que la conjectura és certa si s’admet que p sigui o bé primer o bé semiprimer. Recordem que un número es diu semiprimer si és el producte de dos primers, eventualment iguals. Un resultat similar, però més dèbil, va ser conjecturat el 1845 pel matemàtic francès Joseph L. F. Bertrand. Aquest afirmava que per a tot 3 < n ∈ N hi ha un número primer p que satisfà n < p < 2n − 2, i va verificar-ho per a tots els números menors que 3 × 106 . La conjectura de Bertrand es va convertir en teorema quan va ser demostrada pel matemàtic rus Pafnuti L. Txebixev el 1852. Conjectures obtingudes imposant expressions concretes per als números primers. Hi ha infinits primers de cada una de les formes següents: n2 + 1,

n! + 1,

n! − 1,

2n + 1,

2n − 1.

La qüestió sobre l’existència d’infinits primers de la forma n2 +1 es remunta a Euler, és el quart problema dels de la llista de Landau i també apareix en una conjectura dels matemàtics britànics Godfrey H. Hardy i John E. Littlewood ([54, 103]) que, de fet, afirma el mateix per a números de la forma An2 + Bn + C, per a molts valors enters de A, B i C. Òbviament, per exemple, no hi ha primers de les formes n2 − 1 = (n + 1)(n − 1) o n2 + 2n + 1 = (n + 1)2 . Segons Shanks [102], entre els números enters n entre 1 i 180 000 n’hi ha 11 223 per als quals n2 + 1 és primer. Un exemple concret de primer és (4 × 1034 )2 + 1. Segons que coneix l’autor, els números primers més grans coneguts de les dues formes següents són 150209! + 1 i 208003! − 1. En una línia similar, el matemàtic prussià Johann P. G. L. Dirichlet el 1837 va demostrar que, variant n ∈ N, qualsevol expressió An + B amb A i B enters coprimers dona lloc a infinits números primers. Els números primers de la forma 2n + 1 s’anomenen primers de Fermat. Ara demostrarem que si 2n + 1 > 2 és primer, aleshores n = 2m . Per començar, és fàcil provar que per a tot 0 < k, a 6= b ∈ R, a − b divideix ak − bk . Això és degut a la igualtat ak − bk = (a − b)(ak−1 + ak−2 b + ak−3 b2 + · · · + abk−2 + bk−1 ). Si considerem 2n + 1, on n no és una potència de 2, tenim que n = r s per a un cert s, senar. Aleshores, prenent a = 2r , b = −1 i k = s, en la igualtat anterior tenim que 2r + 1 divideix 2r s − (−1)s = 2n + 1, i, per tant, 2n + 1 no és primer. En conseqüència, els únics números 2n + 1 que poden ser primers són els m de la forma 22 + 1 =: Fm , que són els anomenats números de Fermat. Se sap, des dels temps de Fermat, que els Fm són primers per a m = 0, 1, 2, 3, 4. Euler va provar que F5 té el factor 641. La seva descomposició en factors primers és F5 = 232 + 1 = 4 294 967 297 = 641 × 6 700 417.

Armengol Gasull

De fet, no es coneix cap més número de Fermat que sigui primer, i avui en dia es comença a pensar que potser no n’hi haurà cap més. Els números primers de la forma 2n − 1 s’anomenen primers de Mersenne, en honor al matemàtic francès Marin Mersenne (1588–1648). En parlarem en la secció següent, quan estudiem els números perfectes. Conjectura de Goldbach. Tot número enter parell, més gran que 2, és suma de dos números primers. Aquesta conjectura és un dels problemes oberts més famosos en matemàtiques. Com ja hem dit a la introducció, apareix el 1742 a partir de la correspondència entre Christian Goldbach i Leonhard Euler. Per exemple, 100 = 3 + 97 = 11 + 89 = 17 + 83 = 29 + 71 = 41 + 59 = 47 + 53. Avui en dia se sap que és certa per a tots els naturals fins a 4 × 1018 . De fet, el que Goldbach va començar proposant és que tot número enter més gran que 5 era suma de tres números primers (bé, de fet, ell va dir tot número més gran que 2, ja que, per aquell temps, encara es considerava 1 com a primer) i Euler li va respondre que la seva conjectura era conseqüència de la que hem enunciat. L’afirmació de Goldbach, també coneguda com a conjectura dèbil de Goldbach, es considera provada per Harald Helfgott el 2013 ([56]), tot i que encara no ha estat publicada a cap revista amb procés de revisió. Un dels avenços més importants en la direcció de provar la conjectura de Goldbach és degut de nou a Jing-Run Chen. El 1973 va demostrar que per a n parell prou gran, n és o bé la suma de dos primers o bé la suma d’un primer i un semiprimer ([25]). Un altre resultat molt relacionat és el del recent treball de Terence Tao ([109]), en què l’autor prova que tot número senar més gran que 1 és suma de, com a màxim, cinc primers. Conjectura de Lemoine. Tot número senar, més gran que 5, és la suma d’un número primer i el doble d’un número primer. Aquesta conjectura és molt semblant a l’anterior. Va ser proposada el 1894 pel matemàtic i enginyer francès Émile Lemoine. Hardy i Littlewood la van llistar com a Conjectura I en un dels seus treballs. Per exemple, 47 = 13 + 2 × 17 = 37 + 2 × 5 = 41 + 2 × 3 = 43 + 2 × 2. Canviant els primers per altres tipus de números, com per exemple quadrats de números naturals, hi ha resultats amb el mateix esperit que aquesta conjectura i la de Goldbach. Així, Lagrange va demostrar que tot enter positiu és suma de quatre quadrats. Conjectura d’Oppermann. Per a tot 1 < n ∈ N, hi ha un parell de números primers p i q que satisfà n(n − 1) < p < n2 < q < n(n + 1).

Conjectures

La conjectura d’Oppermann és molt similar a la de Legendre, però encara més restrictiva. Va ser enunciada pel matemàtic danès Ludvig Oppermann el 1877. Conjectura de Brocard. Per a tot n ≥ 2 hi ha com a mínim quatre números 2 2 primers entre pn i pn+1 , on pn denota l’enèsim número primer. Aquesta conjectura va ser proposada pel matemàtic i meteoròleg francès Henri Brocard a principis del segle xx. Per exemple, entre p22 = 9 i p32 = 25 tenim cinc números primers: 11, 13, 17, 19, 23. L’expressió de la conjectura en 2 2 una fórmula és ∆(n) = π (pn+1 ) − π (pn ) ≥ 4, on recordem que π (n) denota el nombre de primers menors o iguals que n. Així, els primers valors de ∆ per a n ≥ 2 són: 5, 6, 15, 9, 22, 11, 27, 47, 16, . . . Conjectura d’Andrica. Per a tot n ≥ 1 es compleix que A(n) := √ pn < 1, on pn denota l’enèsim número primer.

√

pn+1 −

Aquesta conjectura va ser proposada pel matemàtic romanès Dorin Andrica el 1986 ([2]). Per exemple, és fàcil veure que A(n) < 1 quan i pn+1 = √ pn = m √ m + 2 són una parella de primers bessons, ja que A(n) = m + 2 − m < 0.51, per a m ≥ 3. De fet, la conjectura ens diu que el forat entre dos primers √ consecutius, pn+1 − pn , compleix pn+1 − pn < 1 + 2 pn . S’ha comprovat √ √que A(n) < 1 fins a n = 1016 i el valor màxim fins al moment és A(4) = 11 − 7 ≈ 0.67; vegeu a la figura 2 la gràfica de A per a n ≤ 1000. Fins i tot a [112] es proposa que A(n) < 1/2, per a n > 30. 0.6 0.5 0.4 0.3 0.2 0.1 100

200

300

400

Figura 2: Valors de

500

600

700

800

900

1000

√ √ pn+1 − pn per a 1 ≤ n ≤ 1000.

√ Conjectura de Firoozbakht. La funció n pn , on pn denota l’enèsim número primer, és estrictament decreixent. Va ser proposada pel matemàtic iranià Farideh Firoozbakht el 1982. S’ha verificat per a tots els primers menors que 264 .

Armengol Gasull

Conjectura de Cramér. Es compleix que lim sup n→∞

pn+1 − pn ln2 (pn )

= 1,

on pn denota l’enèsim número primer. L’enunciat que donem és una versió una mica més forta que la conjectura que va proposar el matemàtic suec Harald Cramér el 1936, segons la qual pn+1 − pn = O(ln2 (pn )), i que és la que s’intenta provar avui en dia. El mateix Cramér va demostrar que si la hipòtesi de Riemann, de la qual parlarem més √ endavant, fos certa, aleshores pn+1 − pn = O( pn ln(pn )). Recordem que es diu que f (n) = O(g(n)) si existeix N ∈ N i K ∈ R tals que per a tot n ≥ N, |f (n)| ≤ Kg(n). El 1931, Westzynthius ja va demostrar que lim sup n→∞

pn+1 − pn = ∞. ln(pn )

Conjectura de Gilbreath. Sigui {pn }n la successió dels números primers (1) ordenats. Per a tot 0 < n ∈ N, definim dn = pn+1 − pn i, de manera recurrent, (k+1) (k) (k) per a tot k > 0, dn = |dn+1 − dn |. Aleshores, per a tot k ∈ N \ {0}, es (k) compleix que d1 = 1. El seu nom es deu al màgic nord-americà Norman L. Gilbreath, que la va formular el 1958, quan era estudiant. Tot i el nom amb què es coneix, l’any 1878 el matemàtic autodidacte francès François Proth ja l’havia proposat i intentat demostrar. (k) Per exemple, en els càlculs següents es comprova que d1 = 1, per a k ≤ 6. 2, 3, 5, 7, 11, 13, 17, 19, 23, 29, 31, . . . 1, 2, 2, 4, 2, 4, 2, 4, 6, 2, . . . 1, 0, 2, 2, 2, 2, 2, 2, 4, . . . 1, 2, 0, 0, 0, 0, 0, 2, . . . 1, 2, 0, 0, 0, 0, 2, . . . 1, 2, 0, 0, 0, 2, . . . 1, 2, 0, 0, 2, . . . (k)

Se sap que d1 = 1, per a k ≤ 3.4×1011 . Paul Erdős va especular sobre el fet que aquesta conjectura és certa, però segurament passarien més de dos-cents anys abans no es pogués demostrar. La raó principal és que no és semblant a altres tipus de problemes estudiats pels quals hi ha eines matemàtiques molt potents i ben desenvolupades. De fet, el matemàtic hongarès és famós per la qualitat i la quantitat dels seus treballs i pel gran nombre de col.laboradors que va tenir. D’altra banda, fins i tot hi ha una pàgina a la Wikipedia dedicada exclusivament a les seves conjectures. Quan s’està escrivint aquest article hi ha una llista de

Conjectures

dotze conjectures obertes i catorze de resoltes, de les quals només una ha resultat ser falsa. Segona conjectura de Hardy-Littlewood. Sigui π (x) la funció que compta el nombre de números primers menors o iguals que x. Aleshores π (x + y) ≤ π (x) + π (y) per a tot x ≥ 2, y ≥ 2. Aquesta conjectura va ser proposada el 1923 per Hardy i Littlewood al mateix temps que una primera conjectura que generalitzava la de l’existència d’infinites parelles de primers bessons ([54, 93]). Per exemple, 16 252 325 = π (3 × 108 ) < π (108 ) + π (2 × 108 ) = = 5 761 455 + 11 078 937 = 16 840 392. És curiós observar que, el 1974, Richards va demostrar que ambdues conjectures de Hardy-Littlewood són incompatibles; vegeu, de nou, [93]. Conjectura dels primers de Germain. Hi ha infinites parelles de números primers de la forma p, 2p + 1. Aquesta conjectura és similar a la dels primers bessons. Un número primer p es diu que és un primer de Germain si S(p) = 2p + 1 és també primer. Aquests números van ser considerats per primer cop per la matemàtica francesa MarieSophie Germain (1776–1831) en els seus intents de provar el darrer teorema de Fermat. Uns quants d’aquests són 2, 3, 5, 11, 23, 29, 41, 53, 83, 89, . . . , 491, 509, 593, . . . i el més gran que es coneix té més de 380 000 xifres. Una seqüència de números de la forma [p, S(p), S(S(p)), . . . , S k (p)], on m S (p) = S(S m−1 (p)), en la qual tots els seus elements són primers s’anomena cadena de Cunningham ([30]), en honor al matemàtic britànic Allan Cunningham (1842–1928). En aquesta cadena, tots els elements menys l’últim són primers de Germain. Un exemple de cadena completa, és a dir, que no es pot allargar més, de mida 6 és [89, 179, 359, 719, 1439, 2879], ja que 5759 = 13 × 443. Es conjectura també que per a tot k ∈ N hi ha infinites cadenes de Cunningham de mida k. A la vegada, aquesta nova conjectura va ser estesa el 1904 per la coneguda com a conjectura de Dickson ([35]), que no descrivim amb detall. En poques paraules, afirma que fixades k ∈ N expressions afins en n del tipus considerat per Dirichlet, An + B amb coeficients naturals, en molts casos aquestes donen lloc simultàniament a k números primers, per a infinits valors de n. Conjectura de Grimm. Donats k números naturals consecutius, n+1, . . . , n+k de manera que cap d’ells és primer, hi ha k primers diferents, q1 , q2 , . . . , qk , no necessàriament ordenats, tals que cada qj divideix n + j per a 1 ≤ j ≤ k. Per exemple, els tretze números consecutius entre 114 i 126 són compostos (no primers) i tenen, respectivament, els divisors primers 2, 23, 29, 13, 59, 17, 3, 11, 61, 41, 31, 5, i 7, tots diferents. Aquesta conjectura va ser proposada per Grimm en un article del 1969 ([49]).

Armengol Gasull

Conjectures sobre números naturals

Recollim aquí diferents conjectures que tenen en comú el fet d’involucrar números naturals, però en les quals l’objectiu no és l’estudi dels números primers. Algunes d’aquestes consideren equacions diofàntiques, és a dir, equacions amb coeficients enters (i moltes d’elles polinomials) per a les quals només es busquen solucions enteres. Conjectura sobre els números perfectes. Hi ha infinits números perfectes. Es diu que un número natural n és perfecte si és igual a la suma de tots els seus divisors menors que ell mateix. Així, el més petit és 6 = 1 + 2 + 3. El primer a estudiar-los va ser Euclides, qui ja va demostrar que si 2n − 1 és primer, aleshores 2n−1 (2n − 1) és un número perfecte. Com ja hem comentat, els primers de la forma Mn = 2n − 1 s’anomenen primers de Mersenne, i no és difícil veure que una condició necessària perquè 2n − 1 sigui primer és que n sigui primer. Això es deu al fet que si n = pq, aleshores 2n − 1 = (2p )q − 1 = (2p − 1)((2p )q−1 + (2p )q−2 + · · · + 2p + 1), ja que x q − 1 = (x − 1)(x q−1 + x q−2 + · · · + x + 1). La condició no és suficient, com mostra l’exemple M11 = 211 − 1 = 2047 = 23 × 89. Ara bé, hi ha una caracterització dels casos primers introduïda el 1878 pel matemàtic francès Édouard Lucas i completada el 1930 pel matemàtic nord-americà Derrick H. Lehmer. Avui en dia, aquesta condició es coneix com el test de primeritat de Lucas-Lehmer; vegeu ([63, 98]) i les seves referències. Aquest test ens diu que si per a tot n ∈ N introduïm la seqüència de números de Lucas-Lehmer Ln+1 = L2n − 2,

L1 = 4,

aleshores, per a n ≥ 3, Mn = 2n − 1 és primer si, i només si, Mn divideix Ln−1 .

Figura 3: El 39è primer de Mersenne, trobat el 2001.

Conjectures

Per exemple, com que M3 = 7 divideix L2 = 14, tenim que 7 és primer. D’una manera similar, M5 = 31 divideix L4 = 37 634 = 31 × 1214 i, per tant, 31 és primer. En canvi, es pot comprovar que M11 no divideix L10 . De fet, el 1876, Lucas va utilitzar el seu resultat per a demostrar que M127 és un número primer (de trenta-nou xifres). Avui en dia és el més gran trobat sense l’ajut de cap ordinador. A finals del 2018 es va trobar el primer de Mersenne més gran conegut fins avui, que correspon a n = 82 589 933, és el que fa 51, té més de 24 × 106 dígits i també és el número primer més gran conegut. A la figura 3 es mostra un segell dedicat al 39è primer de Mersenne. Tots els números perfectes coneguts són de la forma 2n−1 (2n − 1). Els quatre primers ja van ser donats per Euclides i són 6, 28, 496 i 8128. Els tres següents eren coneguts al segle xii pel matemàtic egipci Ismail ibn Fallus: 33 550 336 = 212 (213 − 1), 8 589 869 056 = 216 (217 − 1) i 137 438 691 328 = 218 (219 − 1). A Europa no es van trobar fins al segle xvi. Euler, al segle xviii, va provar que tots els números perfectes parells eren de la forma 2n−1 (2n − 1). Aquest resultat se sol conèixer com el teorema d’Euclides-Euler. Avui en dia es coneixen cinquanta-un números perfectes parells i el més gran correspon al primer de Mersenne esmentat a dalt. Com a conseqüència del teorema d’Euclides-Euler, tots els números perfectes parells acaben en 6 o en 8. Provem-ho. Recordem que n ha de ser primer, i si n > 2, aleshores o bé n = 4m + 1 o bé n = 4m + 3. En el primer cas, 2n−1 (2n − 1) = 24m (24m+1 − 1) = 16m (2 × 16m − 1) ≡ ≡ 6m (2 × 6m − 1) ≡ 6(12 − 1) ≡ 6

(mod 10),

ja que 6 ≡ 6 (mod 10). Recordem que, donats r , s ∈ N, r ≡ s (mod 10) si, i només si, acaben amb la mateixa xifra. D’una manera similar, si n = 4m + 3, 2n−1 (2n −1) = 4×16m (8×16m −1) ≡ 4×6(8×6−1) ≡ 4(8−1) ≡ 8

(mod 10).

Per tant, el resultat es compleix per a tots els números perfectes més grans que 6. Per a 6 és trivial. L’expressió en base dos de tots els números perfectes coneguts és ben curiosa i es dedueix clarament de la igualtat 2n−1 (2n − 1) = 2n−1 (2n−1 + 2n−2 + · · · + 22 + 2 + 1) = = 22n−2 + 22n−3 + · · · + 2n+1 + 2n + 2n−1 . Així, 610 = 1102 , 2810 = 11 1002 , 49610 = 111 110 0002 , 812810 = 1 111 111 000 0002 .

Armengol Gasull

D’altra banda, és curiós observar que tot número parell perfecte és la suma dels primers 2n − 1 números enters i, també, si és més gran que 6, la suma de tots els senars al cub fins a 2(n+1)/2 − 1. Per exemple, 6 = 21 (22 − 1) = 1 + 2 + 3, 28 = 22 (23 − 1) = 1 + 2 + 3 + 4 + 5 + 6 + 7 = 13 + 33 , 496 = 24 (25 − 1) = 1 + 2 + 3 + · · · + 29 + 30 + 31 = 13 + 33 + 53 + 73 , 8128 = 26 (27 − 1) = 1 + 2 + 3 + · · · + 126 + 127 = = 13 + 33 + 53 + · · · + 133 + 153 , 33 550 336 = 212 (213 − 1) = 1 + 2 + 3 + · · · + 8190 + 8191 = = 13 + 33 + 53 + · · · + 1253 + 1273 .

3 4 5

Figura 4: Prova sense paraules d’una fórmula per trobar la suma dels cubs.

Aquesta segona propietat es deu al fet que  2 n n X X n(n + 1) 2 n2 (n + 1)2 3 k = k = = ; 2 4 k=1 k=1 vegeu la figura 4. Per tant, 13 +33 + · · · +(2m − 1)3 = (13 + 23 + · · · +(2m)3 ) − (23 + 43 + · · · +(2m)3 ) = =

(2m)2 (2m + 1)2 m2 (m + 1)2 − 23 = m2 (2m2 −1). 4 4

Així, prenent m2 = 2n−1 obtenim el resultat desitjat. La major part dels resultats presentats en aquesta secció han estat extrets de l’excel.lent treball de revisió [113]. En resum, es conjectura que hi ha infinits números perfectes, i també es pensa que no n’hi haurà cap de senar. De fet, si n’hi hagués algun, hauria de ser més gran que 101500 ; vegeu [88].

Conjectures

Conjectura d’Erdős-Straus. Per a tot 2 < k ∈ N, hi ha tres números naturals `, m i n tals que 1 1 1 4 = + + . k ` m n Paul Erdős i Ernst G. Straus van formular aquesta conjectura el 1948; vegeu [39] i les seves referències. Està relacionada amb les anomenades fraccions egípcies, que era la forma en què els antics egipcis representaven els números racionals. De fet, se sap que tot número racional és suma d’un nombre finit de fraccions de la forma 1/n, totes diferents. Aquesta és una representació del número en fraccions egípcies i no ha de ser necessàriament única. Per exemple, 4 1 1 1 1 1 1 = + + = + + , 5 2 4 20 2 5 10 1 1 1 1 1 1 1 4 = + + = + + + . 17 5 30 510 5 29 1233 3 039 345 Al papir de Rhind hi ha una taula de fraccions egípcies per a molts números de la forma 2/k; vegeu [96]. De fet, les matemàtiques varen ser molt importants a la civilització egípcia; vegeu la figura 5.

Figura 5: Esfinx de Gizeh amb la piràmide de Kefren de fons.

No és difícil provar que, si la conjectura fos falsa, el primer contraexemple seria un número k primer. En efecte, si k = pq, amb p, q ∈ N, aleshores l’expressió desitjada de 4/k es pot obtenir a partir de la de 4/p o 4/q com segueix: 4 1 4 1 1 1 1 1 1 1 = × = + + = + + . k p q p ` m n p` pm pn S’ha vist que la conjectura és certa per a tot k ≤ 1017 . Quan certes congruències es compleixen, és fàcil trobar la descomposició d’Erdős-Straus. Per exemple, si k ≡ 2 (mod 3), és a dir, k = 3j + 2, j ∈ N, tenim 4 4 1 1 1 1 1 1 = = + + = + + . k 3j + 2 3j + 2 j + 1 (j + 1)(3j + 2) k (k + 1)/3 k(k + 1)/3

Armengol Gasull

Molt més en general, ja se sap que el resultat és cert sempre que k 6≡ 1, 121, 169, 289, 361, 529

(mod 840),

Fractals i Medicina

com observa Guy al seu llibre [52], a partir de resultats de diversos autors; vegeu també [62]. El mateix problema, però per a fraccions de la forma 5/k, es coneix com a lloc a la i catifa de Sierpiński, o apolonès l’espaiWaclaw començant amb un conjectura de Sierpiński és deguda al matemàtic Sierpiński, fa- tetraedre o un cub. mós en particular per definir el fractal conegut com a triangle de Sierpiński; vegeu la figura 6.

Figura 6: Triangle de Sierpiński.

Figura Triangle i catifa de Sierpiński. Si permetem que un dels valors `, m, n2:sigui enter negatiu, és molt fàcil descompondre 4/k com volem. La clau es troba en el fet que si k = 2j + 1 és senar, aleshores tenim

En el cas del tetraedre, s’elimina a cada pas la meitat del seu volum

4 4 1 1 1 1 1 i només es − deixen 4 1tetraedres amb la meitat del tetraedre = = + = iguals + ik+1 − costat ; k−1 k−1 k+1 k 2j + 1 j j + 1 j(j + 1)(2j + 1) k

2 2 2 total, vegeu la Figura 3. De figures2 fractals corresponents al cub n’hi ha dues de [62]. famoses. En les dues, a cada pas es divideix cada cub en 27 cubets més consulteu de nou petits. En la que dóna lloc a l’anomenada esponja de Menger, s’eliminen 7 Conjectura de Brocard-Ramanujan-Erdős. naturals cubets, el del mig de cada cara Les i el úniques central, solucions i com sempre, aquest procés es va de l’equació n! + 1 = m2 són les parelles (n, m) ∈ {(4, 5), (5, 11), (7, 71)}. repetint indefinidament. Aquest nom és degut al matemàtic austríac/nordamericà va Karl quiper va primer proposar construcció Aquesta conjectura serMenger, proposada copaquesta pel matemàtic i me-l’any 1926. En l’esponja de Sierpiński, a cadadepas, s’elimina només el cub pel del mig. L’aspecte teoròleg francès Henri Brocard en un parell treballs el 1876 i el 1885, famós matemàtic indi Srinivasa 1913cub, i, també, Paul Erdős; està ben ple de exterior d’aquest Ramanujan fractal és eleld’un però per el seu interior vegeu [9]. El 1993, Overholt va demostrar que si la conjectura ABC, esmentada foradets.

a la introducció, fos certa, aleshores l’equació considerada tindria un nombre finit de solucions naturals; vegeu [89]. Una qüestió que recorda aquesta conjectura va ser proposada el 2005 per C. M. Tomaszewski quan es preguntava si els únics números que a la vegada són triangulars i factorials són 1, 6 i 120. Recordem que els números triangulars m(m+1) són els números naturals 1 + 2 + 3 + · · · + m = . Per tant, la qüestió 2 és equivalent a: Són les parelles (n, m) ∈ {(1, 1), (3, 3), (5, 15)} les úniques solucions naturals de 2(n!) = m(m + 1)? Una altra qüestió semblant és sobre l’equació d’Erdős-Moser, 1n + 2n + · · · + (m − 1)n = mn , de la qual es conjectura que té com a única solució 1 + 2 = 3.

Figura 3: Tetraedre de Sierpiński i esponja de Menger.

Conjectures

Conjectura de Goormaghtigh. Les úniques solucions amb x > y > 1, m, n > 2, i x, y, n, m ∈ N de l’equació yn − 1 xm − 1 = x−1 y −1 són (x, y, m, n) = (5, 2, 3, 5) i (x, y, m, n) = (90, 2, 3, 13). El matemàtic i enginyer belga René Goormaghtigh la va formular el 1917. Clarament, 53 − 1 25 − 1 = = 31 5−1 2−1

903 − 1 213 − 1 = = 8191. 90 − 1 2−1

A partir de la identitat x m − 1 = (x − 1)(x m−1 + x m−2 + · · · + x 2 + x + 1), tenim que les dues igualtats anteriors són equivalents a 1115 = 11 1112

11190 = 1 111 111 111 1112 ,

respectivament, on k` denota l’expressió d’un número natural en base `. Així, si la conjectura és certa, 31 i 8191 serien els únics números naturals que s’expressen en dues bases diferents com a tires successives de números 1. Aquest tipus de números s’anomenen repunits. L’etimologia del nom és clara: repetició d’unitats. Observeu que tots els números de Mersenne, 2n − 1 són repunits en base 2. Conjectura de Carmichael. Sigui ϕ(n) el nombre d’enters positius menors o iguals que n ∈ N que són coprimers amb n. Aleshores, per a tot n ∈ N existeix un m 6= n tal que ϕ(n) = ϕ(m). Recordem que es diu que dos números naturals són coprimers si el seu màxim comú divisor és 1. La funció ϕ s’anomena funció ϕ d’Euler. Per exemple, ϕ(20) = 8, ja que 1, 3, 7, 9, 11, 13, 17, 19 són els únics coprimers amb 20, menors que ell. El matemàtic nord-americà Robert D. Carmichael va formular la conjectura el 1922, quinze anys després de pensar que tenia una demostració del mateix resultat; vegeu [18, 19]. Se sap que si no fos certa, el contraexemple hauria de tenir més de 1010 xifres. Per exemple, ϕ(69) = ϕ(92) = ϕ(138) = 44. També, per a tot primer p > 2, ϕ(p) = ϕ(2p) = p − 1. Una manera de provar-ho és usar la propietat que si el mcd(m, n) = 1, aleshores ϕ(m n) = ϕ(m)ϕ(n). Per tant, com que per a p > 2, primer, mcd(2, p) = 1, ϕ(2p) = ϕ(2)ϕ(p) = ϕ(p). Conjectura de Singmaster. Hi ha un valor S ∈ N tal que qualsevol número diferent de 1 apareix al triangle de Tartaglia, com a màxim, S cops. Aquest triangle de números combinatoris es coneix a Occident amb els noms triangle de Tartaglia o de Pascal, deguts al matemàtic italià Niccolò Fontana (ca. 1499–1557), anomenat Tartaglia, i al matemàtic francès Blaise Pascal (1623–1662). Tot i així, sembla que a Europa es va usar abans a França

Armengol Gasull

(Gersònides, segle xiv) i Alemanya (Petrus Apianus, segle xvi). De fet, molt abans, ja es coneixia a l’Índia, a Pèrsia (Iran) o a la Xina. Per exemple, a l’Índia al voltant del segle ii abans de Crist ja l’usava el matemàtic indi Acharya Pingala, a l’Iran se l’anomena triangle de Khayyám, en honor a l’astrònom i matemàtic Omar Khayyám (1048–1131) i a la Xina se’l coneix com a triangle de Yang Hui pel matemàtic del mateix nom que va viure entre 1238 i 1298. De fet, sembla que a Pèrsia i a la Xina aquest triangle era conegut fins i tot una mica abans dels matemàtics que li donem nom. A la figura 7 se’n pot veure una reproducció del 1303, que usa números xinesos tradicionals i una altra amb numeració actual. És curiós observar que hi ha una errada al gravat xinès. S’assigna el 7 7 valor 34 a 3 en lloc del valor 35, tot i que el seu valor simètric 4 és correcte; vegeu també [111, p. 57].

Figura 7: Triangles de Tartaglia/Pascal.

El matemàtic britànic David Singmaster va proposar la conjectura que ens ocupa, el 1971. Ell mateix va provar el 1975 que hi ha infinits valors que apareixen com a mínim sis vegades. Un d’ells és 120, ! ! ! ! ! ! 120 120 16 16 10 10 120 = = = = = = . 1 119 2 14 3 7 De fet, se sap que ! ! m m m= = = 1 m−1

! n+1 = k+1

! n+1 = n−k

n k+2

! =

! n , n−k−2

on per a cada i ∈ N, n i k venen donats per les igualtats n = F2i+2 F2i+3 − 1, k = F 2i F2i+3 − 1, on Fj és el j-èsim número de Fibonacci (amb F0 = 0 i F1 = 1) i n+1 k+1

; vegeu [104]. L’únic número conegut que apareix vuit cops és ! ! ! ! ! ! ! ! 3003 3003 78 78 15 15 14 14 3003 = = = = = = = = . 1 3002 2 76 5 10 6 8

Conjectures

Així, en cas de ser certa la conjectura, S ≥ 8. Sembla que Singmaster pensava que S podria ser 10 o 12. El que sí que és fàcil veure és que qualsevol 1 < m ∈ N apareix un nombre finit de vegades. Això es deu al fet que el valor m només pot aparèixer a les primeres m + 1 files. Conjectura de Beal. Si A, B, C, `, m, n ∈ N són enters positius, amb `, m, n > 2 i tals que A` + B m = C n , aleshores A, B i C tenen un factor primer en comú. Aquesta conjectura va ser formulada el 1993 pel banquer i matemàtic aficionat Andrew Beal, mentre investigava extensions del cèlebre darrer teorema de Fermat, del qual ja hem parlat a la introducció. L’exemple 73 + 132 = 29 mostra per què es demana que tots els exponents siguin més grans que 2. És clar que hi ha altres solucions amb A, B i C no coprimers. Per exemple, per a k ≥ 1, 2k + 2k = 2k+1 o 33k + (2 × 3k )3 = 33k+2 . Conjectura sobre la màxima persistència multiplicativa. Donat n ∈ N, sigui Π(n) ∈ N el producte de totes les seves xifres. Denotem com Pm(n) ∈ N el mínim enter k tal que Πk (n) = Πk+1 (n), on Π0 (n) = n i Πk (n) = Π(Πk−1 (n)). Aleshores, per a tot n ∈ N, Pm(n) ≤ 11. Donat n ∈ N, el valor Pm(n) s’anomena persistència multiplicativa de n. El seu significat es veu més clarament posant-ne un exemple. Si considerem n = 68 889, tenim que Π(68889) = 6 × 8 × 8 × 8 × 9 = 27 648. Si continuem aplicant successivament Π, obtenim 68 889 → 27 648 → 2688 → 768 → 336 → 54 → 20 → 0 → 0 → 0 → · · · , és a dir, que Pm(68889) = 7, ja que Π7 (68889) = Π8 (68889) = 0 i no hi ha hagut cap coincidència anterior entre dos valors consecutius de les iteracions. Els números més petits amb persistències multiplicatives 1, 2, . . . , 11 són 10, 25, 39, 77, 679, 6788, 68 889, 2 677 889, 26 888 999, 3 778 888 999, M = 277 777 788 888 899. De fet, se sap que no apareixen persistències més altes per a n < 10233 . Aquesta conjectura comença amb el treball de Neil J. A. Sloane ([106]) publicat el 1973 al Journal of Recreational Mathematics. Observem que, per exemple, Π(M) = 219 34 76 . En general, una primera simplificació ja observada per ell és que la descomposició en factors primers de qualsevol Π(n) amb persistència més gran que 3 ha de ser o bé 2i 3j 7k o 3i 5j 7k i, per tant, només cal estudiar la persistència d’aquests dos tipus de números. L’afirmació és certa, ja que, com que Π(n) és producte de números d’una xifra, Π(n) = 2i 3j 5k 7m , amb els exponents enters més grans o iguals que zero, i a més, si apareixen a la vegada el 2 i el 5, és a dir, si i > 0 i k > 0, Π` (2i 3j 5k 7m ) = 0, per a tot 0 < ` ∈ N, ja que 2i 3j 5k 7m acaba en zero. S’ha estudiat també el problema quan els números estan expressats en altres bases; vegeu per exemple [32]. El treball citat ataca el problema des del punt de vista dels sistemes dinàmics.

Armengol Gasull

Conjectura de no palindromia. Sigui f : N → N l’aplicació definida per f (n) = n + rever(n), on rever és l’aplicació que inverteix l’ordre de les xifres de n. Aleshores hi ha infinits valors de n tals que si es consideren tots els números f k (n), per a 0 < k ∈ N, on f 0 = Id i f k (n) = f (f k−1 (n)), cap d’ells és capicua. A més, el menor d’aquests números és 196. Com en la conjectura anterior, comencem amb un cas senzill per entendre millor l’enunciat. Per exemple, si prenem n = 183, f (183) = 183 + 381 = 564, i tenim 183 → 564 → 564 + 465 = 1029 → 1029 + 9201 = 10 230 → 10 230 + 3201 = 13 431, que és capicua. Si es comença amb n = 89, es necessiten vint-i-quatre iteracions per trobar un valor capicua, que és 8 813 200 023 188. Resulta que si es comença amb n = 196, encara no s’ha trobat cap iterat que sigui capicua, tot i els milions que se n’han fet ([87]). Es desconeix qui va ser el primer que va estudiar aquesta qüestió; la referència més antiga és un treball de Lehmer ([73]) a la revista belga de divulgació matemàtica Sphinx, que només es va publicar entre 1931 i 1939. La qüestió es va tornar a popularitzar a partir del treball de Trigg ([110]), publicat el 1967. En anglès, els números n tals que cap dels seus iterats és capicua s’anomenen de vegades números de Lychrel (gairebé un anagrama del nom Cheryl). Els primers números que podrien ser de Lychrel són 196, 295, 394, 493, 592, 689, 691, 788, 790, 879, 887, 978, 986, . . . A la figura 8 fem la gràfica de la funció h que assigna a cada n ∈ N el mínim valor h(n) ≤ 1000 que fa que f h(n) sigui capicua, o 1000 en cas que cap dels 1000 primers iterats ho sigui. Per claredat, restringim la gràfica a la banda 1 ≤ h(n) ≤ 40. Els pics que presenta corresponen als tretze valors de la llista anterior. Observeu que, per a tots els altres valors, h(n) és, com a màxim, 24. De totes maneres, es pot veure que hi ha valors n > 1000 tals que h(n) és molt més gran. L’autor agraeix a Toni Guillamon que hagi compartit el codi que permet generar aquesta figura. 40

# iterats

30 20 10 0

200

400

600

800

n Figura 8: Possibles números de Lychrel.

1000

Conjectures

En resum, avui en dia no es coneix cap número de Lychrel en base 10. Per altra banda, sí que se sap que hi ha números de Lychrel en base 2. Per exemple, n = 10 1102 (que correspon a 22 en base 10) ho és. Això es deu al fet que f 4 (n) = 10 110 1002 , ja que 10 1102 → 10 1102 +01 1012 = 100 0112 → 1 010 1002 → 1 101 0012 → 10 110 1002 , f 8 (n) = 1 011 101 0002 , f 12 (n) = 101 111 010 0002 , i, en general, com es demostra a [15], després de 4m iteracions s’arriba a un número que comença en 10, després té m + 1 uns, segueix un 01 i acaba amb m + 1 zeros. Els palíndroms formats per frases han estat sempre un tema de gran interès. N’hi ha molts i de molt macos; vegeu la figura 9.

Tabac, acaba’t!

Anima’t, no contamina! Tramaran anar a Mart

Figura 9: Palíndroms donats per frases capicua.

Conjectura de Selfridge. El menor número senar k ∈ N tal que k × 2n + 1 és no primer, per a tot n ∈ N, és k = k0 = 78 557. En general, un número senar k ∈ N es diu de Sierpiński si k × 2n + 1 és no primer per a tot n ∈ N. Així, en altres paraules, la conjectura afirma que k0 és el menor número de Sierpiński. De fet, el 1960 Sierpiński va provar que hi ha infinits números de Sierpiński. Els primers que es coneixen són k0 , 271 129 i 271 577. La prova que k0 ho és es deu al matemàtic nord-americà John L. Selfridge, qui va fer la conjectura que ens ocupa el 1962. Actualment, els únics candidats a desbancar el valor k0 són 21 181, 22 699, 24 737, 55 459, i 67 607. Per a tots els altres valors de k < k0 , hi ha un n(k) de manera que k × 2n(k) + 1 és primer. De fet, fins al 2017 hi havia el 10 223 a la llista anterior, però es va demostrar que 10 223 × 231 172 165 + 1 és primer. Per als números de la forma k × 2n − 1, que es diuen de Riesel, en honor al matemàtic suec Hans Ivar Riesel, hi ha resultats i problemes similars. En aquest cas, el menor k trobat que compleix la propietat desitjada és 509 203.

Altres conjectures

Aquesta secció és d’un caire miscel.lani, ja que comprèn moltes àrees diferents de la matemàtica.

Armengol Gasull

Versió de Lagarias de la hipòtesi de Riemann. Si Hn = X

j=1 1/j, aleshores

d ≤ Hn + exp(Hn ) ln(Hn ),

d|n

amb igualtat només per a n = 1. En l’enunciat, els valors Hn són les sumes parcials de la sèrie harmònica i P són coneguts com a números harmònics, i σ (n) = d/n d és la funció suma dels divisors de n. Per exemple, σ (6) = 12 i, de fet, per a tots els números perfectes σ (n) = 2n. Es té que H6 + exp(H6 ) ln(H6 ) ≈ 12.83; vegeu també la figura 10. Tot i que la conjectura anterior només involucra conceptes senzills, Lagarias a [68] prova que és equivalent a la famosa hipòtesi de Riemann, enunciada pel matemàtic alemany el 1859. Recordem-la breument. Considerem la funció zeta de Riemann definida com segueix: al semiplà complex Re(s) > 1, és la sèrie convergent

ζ(s) =

∞ X 1 , s n n=1

i al semiplà tancat complementari, és la seva extensió analítica; vegeu [37, 38, 91]. És conegut que aquesta funció només té una singularitat a s = 1, que és un pol simple. La hipòtesi de Riemann afirma que tots els zeros no reals de ζ estan sobre la recta Re(s) = 1/2. Si la conjectura fos certa, implicaria un coneixement millor de la distribució dels números primers i tindria moltes aplicacions en altres problemes de la matemàtica i la física; vegeu de nou [37, 68]. De fet, avui en dia aquesta conjectura està considerada una de les més importants en matemàtiques.

2500 2000 1500 1000 500 100

200

300

400

500

600

700

800

900 1000

Figura 10: Valors de Hn + exp(Hn ) ln(Hn ) − σ (n) per a n ≤ 1000.

Conjectures

Conjectura 3x + 1. Si per a qualsevol x0 ∈ N, considerem la successió {xn }n>0  3xn + 1    , quan xn és senar, xn+1 = g(xn ) = x 2    n, quan xn és parell, 2 hi ha un N = N(x0 ) tal que {xn }n>N és la successió 2, 1, 2, 1, 2, 1, . . . Per exemple, si comencem amb x0 = 11, la successió és 11, 17, 26, 13, 20, 10, 5, 8, 4, 2, 1, 2, 1, . . . En llenguatge dinàmic, la conjectura ens diu que l’òrbita de tota condició inicial natural acaba en l’òrbita 2-periòdica {1, 2}. A la figura 11 es mostren els 164 iterats que es necessiten per a arribar fins a 2, si x0 = 6171. De fet, per primer cop x164 = 2 i el més allunyat és x46 = 487 700. Se sap que el resultat és cert per a tot x0 menor que 87×260 . Hi ha molta més informació als articles de revisió [24, 67, 69]. Segons l’autor d’un d’ells, Jeffrey C. Lagarias, «aquesta conjectura és un problema extraordinàriament difícil, completament fora de l’abast de les matemàtiques d’avui en dia». De vegades es presenta una versió equivalent de la conjectura en la qual el 3xn2+1 es canvia simplement per un 3xn + 1 en la definició de g. Aquesta equivalència es deu al fet que 3xn + 1 és sempre parell. És clar que aleshores la conjectura té un enunciat equivalent al que afirma que tota successió {xn }n>0 té els termes 4, 2, 1, 4, 2, 1, 4, 2, 1, . . . per a n > N(x0 ). Òbviament, com que les òrbites s’allarguen, el nou valor de N(x0 ) per al qual la successió arriba al seu comportament límit augmenta.

400 000 4 000

300 000

3 000

200 000

2 000

100 000

1 000

100

120

140

160

100

120

140

160

Figura 11: Òrbita corresponent a x0 = 6171 fins a arribar al valor 2 i ampliació dels darrers valors.

Sembla que la primera persona que va estudiar aquesta qüestió va ser el matemàtic alemany Lothar Collatz, pels volts del 1930. També es coneix com a conjectura de Collatz, conjectura d’Ulam, problema de Kakutani o problema de Syracuse.

Armengol Gasull

El resultat no és cert per a x0 ∈ Z no positius. Començant amb x0 ∈ {0, −1, −5, −17} apareixen quatre comportaments finals diferents. Per exemple, tenim −5, −7, −10, −5, −7, −10, . . . De moment no s’han trobat altres comportaments finals. L’aplicació g es pot estendre als números reals o als complexos, com π 3z + 1 π 1 + 4z − (1 + 2z) cos(π z) z z + sin2 z = . g(z) = cos2 2 2 2 2 4 Aquesta aplicació presenta dinàmiques complicades; vegeu [23, 75]. Conjectura jacobiana. Si F : Cn → Cn és una aplicació polinomial tal que det(DF (x)) ≡ c, on 0 6= c ∈ C, aleshores F és globalment invertible (i la seva inversa també és polinomial). Aquesta conjectura va ser proposada pel matemàtic alemany Ott-Heinrich Keller el 1939 per a polinomis amb coeficients enters i, amb el temps, es va estendre al cas general. De vegades se l’anomena, també, problema de Keller. L’afirmació que la inversa és polinomial està entre parèntesis perquè ja s’ha provat que, si F és globalment invertible, aleshores obligatòriament la inversa és també polinomial. De fet, pels resultats de Bialynicki-Birula i Rosenlicht del 1962 i de Rudin del 1995, se sap que fins i tot n’hi ha prou amb provar només que F és injectiva. Per a tenir més informació sobre la conjectura i referències dels resultats que descrivim a continuació, podeu consultar la monografia d’Arno van den Essen sobre el tema ([44]). Recordem que DF indica la matriu jacobiana de l’aplicació. Així, si F admet una inversa global diferenciable, diguem-ne G, tenim que G(F (x)) ≡ x. Derivant, obtenim DG(F (x))DF (x) ≡ Id. Prenent determinants, tenim que det(DG(F (x)) det(DF (x)) ≡ 1, i, en conseqüència, det(DF (x)) 6= 0 per a tot x ∈ C. Ara bé, si F és una aplicació polinomial, det(F (x)) és un polinomi en n-variables a C, i l’única manera perquè no s’anul.li mai és que sigui una constant. En poques paraules, acabem de veure que det(DF (x)) ≡ c, amb 0 6= c ∈ C, és una condició necessària perquè una F polinomial sigui globalment invertible. Pel teorema de la funció inversa, aquesta condició implica l’existència d’inversa local a tots els punts. El que ens diu la conjectura és que aquesta condició també és suficient. La conjectura només es planteja per a polinomis, atès que per a funcions analítiques ja se sap que no és certa. L’exemple que se sol presentar és l’aplicació de C2 en si mateix, √ √ F (x, y) = (F1 (x, y), F2 (x, y)) = ( 2ex/2 cos(ye−x ), 2ex/2 sin(ye−x )). En aquest exemple, per a tot (x, y) ∈ C2 , det(DF (x, y)) =

∂F1 (x, y) ∂F2 (x, y) ∂F1 (x, y) ∂F2 (x, y) − = 1, ∂x ∂y ∂y ∂x

però F (0, y + 2kπ ) = F (0, y) per a tot k ∈ Z.

Conjectures

Usant resultats bàsics d’àlgebra lineal, és clar que la conjectura es compleix quan F té grau 1. Si F té grau 2, la conjectura es compleix, tal com va demostrar Stuart Wang l’any 1980. El més curiós d’això és que, també a principis dels vuitanta, Bass, Connell i Wright, per una banda, i Yagzhev, per una altra, van provar que si la conjectura fos certa en qualsevol dimensió, per a totes les F de grau 3, també seria certa en general i per a qualsevol dimensió. Així mateix, és molt fàcil veure que la conjectura és certa en dimensió 1, però per a n = 2, fins i tot en el cas d’aplicacions polinomials reals, encara és un problema obert. En l’original article [43], l’autor explica que segons una enquesta feta per ell l’any 1977 entre els assistents a un congrés sobre el tema, el 62.4 % pensava que la conjectura en general seria falsa. En cap moment hem parlat de la «finor» d’una conjectura. Direm que una conjectura és fina si debilitant una mica les seves hipòtesis ja no és certa. En aquest sentit, és famosa la broma que es fa sobre la conjectura jacobiana. Seria la «metaconjectura» següent: si una conjectura és més forta que la conjectura jacobiana (és a dir, la implica però no és equivalent), aleshores és falsa. Fins al moment, aquesta metaconjectura s’ha mostrat certa! Per exemple, durant uns quants anys es va pensar que per a aplicacions polinomials reals de Rn en si mateix, es podia substituir la hipòtesi det(DF (x)) ≡ c 6= 0 per la hipòtesi més dèbil det(DF (x)) 6= 0, per a tot x ∈ Rn , i el resultat d’invertibilitat global seguia essent cert. L’any 1994, Pinchuk va donar el primer contraexemple per a n = 2 i grau 25. Conjectura de Casas-Alvero. Si un polinomi P de grau n a C[x] té alguna de les seves arrels en comú amb cada una de les seves derivades P (k) , k = 1, 2, . . . , n − 1, aleshores P (z) = a(z − b)n per a certs 0 6= a, b ∈ C. En principi, les arrels comunes entre P i cada P (k) poden dependre de k, però, si la conjectura fos certa, precisament ens diria que aquesta arrel sempre ha de ser la mateixa. Casas-Alvero va arribar a aquest problema a principis d’aquest segle treballant en el seu article [20], en el qual intentava obtenir criteris d’irreductibilitat per a sèries de potències complexes en dues variables. A [21] podeu llegir una explicació de la conjectura en les seves pròpies paraules. Els graus més petits per als quals la conjectura no s’ha provat són n = 24, 28, o 30. També se sap que és certa quan n és de la forma p m , 2p m , 3p m o 4p m , per a un cert primer p i m ∈ N; vegeu [22, 34, 36, 47]. Quan P ∈ R[x], afegint que totes les seves arrels són reals, també es conjectura el resultat equivalent. La conjectura no és certa per a polinomis sobre cossos amb característica p 6= 0. Per exemple, considerem P (x) = x 2 (x 2 + 1) en característica 5 amb arrels 0, 0, 2 i 3. Aleshores P 0 (x) = 2x(2x 2 + 1), P 00 (x) = 12x 2 + 2 = 2(x 2 + 1) i P 000 (x) = 4x, i tots ells comparteixen arrels amb P .

Armengol Gasull

Conjectura sobre la normalitat de π . Per a tot 0 < k ∈ N, en l’expressió decimal de π qualsevol bloc de k dígits apareix amb probabilitat 10−k . Un número real x es diu normal (en base 10) si, en les seves xifres decimals, qualsevol bloc de k dígits apareix amb una freqüència relativa límit 10−k ; vegeu [5, 65, 84]. Més concretament, si B és un bloc qualsevol de k dígits i denotem amb mn (B, x) el nombre de vegades que el bloc B apareix en les primeres n xifres decimals de x, aleshores, per a tot bloc B, lim

n→∞

mn (B, x) 1 = . n 10k

Els números normals són, d’alguna manera, els «més aleatoris». El matemàtic francès Émile Borel va demostrar que gairebé tots els números són normals, però no és gens fàcil donar-ne exemples concrets. Alguns dels números normals més famosos són 0.12345678910111213 . . . , 0.149162536496481 . . . , 0.2357111317192329 . . . Aquests corresponen a posar de manera consecutiva el números naturals, els quadrats o els números primers, respectivament. Les proves corresponents són de Champernowne (1933), Bezikóvitx (1935), i Copeland i Erdős (1946). Si π fos normal, en particular, la proporció de qualsevol dels deu dígits a les seves xifres decimals seria 1/10. Les comprovacions que s’han fet fins al moment semblen donar suport a la conjectura. Per exemple, segons els càlculs de Kanada del 1995 (vegeu [33, cap. 10]), les primeres 6 × 109 xifres decimals mostren les freqüències següents: «0» :

599 963 005,

«5» :

600 017 176,

«1» :

600 033 260,

«6» :

600 016 588,

«2» :

599 999 169,

«7» :

600 009 044,

«3» :

600 000 243,

«8» :

599 987 038,

«9» :

600 017 038.

«4» :

599 957 439, √ Tampoc se sap si 2 o e són normals.

Conjectura sobre la irracionalitat de γ. El número 1 1 1 γ = lim 1 + + + · · · + − ln(n) n→∞ 2 3 n és irracional. La constant γ s’anomena constant d’Euler o d’Euler-Mascheroni i és, conjuntament amb π , e i el número d’or Φ, una de les més famoses dins de les matemàtiques. El seu nom prové dels estudis del matemàtic italià Lorenzo Mascheroni, qui el 1790 la va calcular amb dinou xifres decimals correctes, i

Conjectures

dels de Gauss, qui el 1812 la va obtenir amb quaranta xifres significatives. El seu valor aproximat és γ ≈ 0.577218. És un número que apareix a moltíssims llocs; vegeu [55, 70]. Veiem-ne uns quants exemples: Z∞ γ=−

Z∞

e−x ln(x) dx,

e−x ln2 (x) dx = γ 2 +

π2 , 6

o γ=

∞ X

(−1)k

k=2

ζ(k) k

ζ(k) =

∞ X 1 , k n n=1

i ζ és la famosa funció zeta de Riemann. Gronwall ([50]) el 1913 prova lim sup n→∞

σ (n) = eγ , n ln(ln(n))

on recordem que σ (n) denota la suma de tots els divisors de n. Se sap que π , e i Φ són irracionals. Intentar provar que γ també és irracional és un dels grans reptes per a la comunitat matemàtica. S’ha demostrat que si fos racional, el seu denominador hauria de ser més gran que 10244 663 . A [107] es desenvolupen criteris per intentar provar-ho. Una altra constant famosa és la constant de Catalan, G=

∞ X

1 1 1 (−1)n = 1 − 2 + 2 − 2 + · · · = 0.915965594 . . . 2 (2n + 1) 3 5 7 n=0

S’anomena així en honor al matemàtic francobelga Eugène C. Catalan, qui en un article del 1883 ja la va denotar per G. Apareix sovint en treballs sobre combinatòria. Es pensa que G és irracional, però aquest fet no s’ha pogut demostrar. Més en general, es pot considerar l’anomenada funció β de Dirichlet: β(s) =

∞ X

(−1)n , (2n + 1)s n=0

de manera que G = β(2). Per una banda, per exemple, β(1) = π /4, β(3) = π 3 /32 són irracionals. Per una altra, tot i que, com ja hem dit, no s’ha pogut demostrar que β(2) ho sigui, hi ha un resultat molt curiós en aquesta direcció ([117]): com a mínim, un dels sis números β(2k), k = 1, 2, . . . , 6, és irracional. De fet, fins fa poc s’intentava demostrar la que es coneixia com a conjectura de Catalan, proposada per ell el 1884. Segons aquesta, els dos únics números naturals positius consecutius que són potències naturals d’un número natural són el 8 = 23 i el 9 = 32 . El 2002, aquesta conjectura es va convertir en un teorema degut al treball [80] del matemàtic romanès Preda Mihăilescu.

Armengol Gasull

Conjectura sobre la seqüència de Kolakoski. Si considerem la seqüència autogenerada de Kolakoski K = 1, 2, 2, 1, 1, 2, 1, 2, 2, 1, 2, 2, 1, 1, 2, 1, 1, 2, 2, 1, 2, 1, 1, 2, 1, 2, 2, 1, 1, . . . , aleshores lim

n→∞

1 nombre d’uns entre els n primers termes de K = . n 2

Comencem explicant què vol dir que la seqüència K sigui autogenerada. A partir d’una seqüència qualsevol S formada només per successius 1 i 2, en construïm una altra S0 formada pels números naturals que corresponen al nombre de vegades consecutives que surt cadascun dels dígits, en el mateix ordre en el què apareixen a la seqüència. Per exemple, S = 1, 2, 2, 2, 1, 1, 1, 1, 2, 1, 2, 1, 1, 1, 2, 1, . . . =⇒ S0 = 1, 3, 4, 1, 1, 1, 3, 1, . . . La seqüència s’anomena autogenerada si S = S0 i, per tant, (S0 )0 = S. Clarament, en una seqüència autogenerada no hi ha ni més de dos 1 ni més de dos 2 consecutius. Pensant una mica no és difícil veure que n’hi ha només una que comenci amb 1, que es denota per K, que es va «autogenerant» i que els seus primers termes són els de l’enunciat de la conjectura. Així, K 0 = K. La que comença amb 2 no és més que la mateixa K sense el primer 1. És un problema obert trobar una expressió explícita per al seu terme enèsim. A molts llocs es coneix també com a seqüència d’Oldenburger-Kolakoski. El seu nom es deu a l’artista i aficionat a la matemàtica recreativa nord-americà William Kolakoski, qui la va descriure el 1965, tot i que ja l’havia considerat el 1939 el matemàtic i enginyer, també nord-americà, Rufus Oldenburger. A [86] es prova que existeix un N tal que sup n≥N

1 nombre d’uns entre els n primers termes de K − ≤ 0.00008, n 2

resultat que és coherent amb la conjectura, tot i que ni tan sols prova que el límit que es vol calcular existeix. Hi ha seqüències de Kolakoski que usen altres números. Per exemple, usant només 1 i 3 tenim la successió 1, 3, 3, 3, 1, 1, 1, 3, 3, 3, 1, 3, 1, 3, 3, 3, 1, 1, 1, 3, 3, 3, 1, 3, 3, 3, 1, 3, 3, 3, . . . , que és autogenerada, i també es poden obtenir seqüències autogenerades usant alfabets amb més números. Conjectura de Frankl. Sigui F una família finita no trivial de conjunts finits de manera que, si A, B ∈ F , es compleix que A ∪ B ∈ F . Aleshores hi ha un element que pertany com a mínim a la meitat dels conjunts de F .

Conjectures

Les famílies de conjunts F que compleixen aquesta propietat s’anomenen famílies tancades per la unió. Que la família sigui no trivial, senzillament vol dir que té algun element més que el conjunt buit. Aquesta conjectura va ser proposada el 1979 pel matemàtic hongarès Péter Frankl. Hi ha casos especials en els quals la prova és senzilla. Per exemple, suposem que F té un conjunt C = {x} que té un sol element. Siguin A1 , A2 , . . . , Ak tots els elements de F que no contenen x. Aleshores Aj ∪ {x}, j = 1, 2, . . . , k, també han de ser elements de F i, òbviament, contenen x. Per tant, com a mínim la meitat dels elements de F contenen x. Se sap també que la conjectura és certa, per exemple, per a famílies formades com a màxim per quaranta-sis conjunts ([95]) o per a famílies en les què la unió de tots els seus conjunts té com a màxim onze elements ([13]). Conjectura de Toeplitz. Qualsevol corba plana, contínua, tancada i simple conté quatre punts que són els vèrtexs d’un quadrat. Recordem que una corba plana, contínua, tancada i simple ve donada per una aplicació contínua i injectiva f : S1 → R2 i s’anomena corba de Jordan, en honor al matemàtic francès Camille Jordan. Aquesta conjectura va ser proposada pel matemàtic alemany Otto Toeplitz l’any 1911 i de vegades també és coneguda com la conjectura del quadrat inscrit; vegeu la figura 12. Podeu consultar-ne molta informació a l’excel.lent treball de revisió [78]. En particular, se sap que és certa si la corba envolta un conjunt convex (és a dir, tal que, donats dos punts qualssevol del conjunt, el segment que els uneix està totalment contingut al conjunt), si ve donada per una funció dos cops derivable amb continuïtat, o si està formada per un nombre finit de trossos analítics, de manera que cada tros té un nombre finit de punts d’inflexió o altres singularitats, i als punts de no analiticitat les derivades per la dreta i l’esquerra existeixen; per a més detalls, vegeu [40]. Així, en particular, és certa per a tots els polígons. Es pot veure que els triangles obtusangles admeten un sol quadrat inscrit; els rectangles, dos, i els acutangles, exactament tres.

Figura 12: Un quadrat inscrit.

Armengol Gasull

Hi ha resultats provats quan, en comptes d’un quadrat, es busca una altra figura inscrita. Per exemple, Nielsen ([85]) prova el 1995 que hi ha molts rombes i paral.lelograms inscrits. Per altra banda, Meyerson ([79]) inclou al seu treball una prova basada en una conferència de Vaughan del 1977 de l’existència d’un rectangle inscrit per a tota corba de Jordan. La prova és molt maca i està basada en eines purament topològiques. Conjectura d’Erdős-Szekeres. Per a tot 2 < n ∈ N, el mínim nombre de punts al pla, de manera que mai tres d’ells estan alineats, però que sempre n’hi ha n que són vèrtexs d’un polígon convex de n costats, és f (n) = 2n−2 + 1. Aquest problema, sense donar l’expressió general de f (n), sembla que va ser proposat i resolt per a n = 5 per la matemàtica australianohongaresa Esther Klein el 1933 en un seminari; vegeu una il.lustració per a n = 6 a la figura 13. L’existència d’una funció f (n) i la conjectura per a la seva expressió explícita es deuen al treball del 1935 ([42]) de Paul Erdős i del també matemàtic australianohongarès George Szekeres, qui va acabar casant-se amb Klein (després, Esther Szekeres).

Figura 13: Una situació de la conjectura d’Erdős-Szekeres per a n = 6 amb disset punts.

La solució per a n = 5 ja apareix el 1935 al treball [42], atribuïda a Endre Makai. Curiosament, el 2006, de nou Szekeres i Peters ([108]) proven la conjectura per a n = 6. És, probablement, el cas d’interval de temps més llarg entre dues publicacions matemàtiques del mateix autor i sobre el mateix tema: setanta anys. De fet, el treball és pòstum, ja que George Szekeres va morir el 2005. També és conegut que, per a tot n, la funció f (n) és més gran o igual que 2n−2 + 1. Conjectura dels billars triangulars. En un billar triangular sempre hi ha una trajectòria periòdica.

Conjectures

Comencem prenent un billar convex tal que la seva vora ve donada per una corba diferenciable i amb derivada contínua. Considerem les trajectòries d’una bola puntual que es mou sense fregament i que rebota a les vores de la manera natural, és a dir, de manera que l’angle d’incidència és igual a l’angle de reflexió. És conegut que sempre hi ha trajectòries periòdiques ([64]). El nombre de vegades que una trajectòria periòdica toca la vora s’anomena el seu període.

Figura 14: Trajectòries de període 3 i 6 en un billar triangular acutangle.

Si prenem un billar convex, però de manera que la seva vora és un polígon, té sentit plantejar-se si també serà cert que sempre hi ha una trajectòria periòdica. En aquests billars, si en algun moment la bola toca un dels vèrtexs de la vora, es considera la trajectòria com a acabada i, per descomptat, no periòdica. Curiosament, fins i tot per a billars triangulars aquesta qüestió és un problema obert. Comentem alguns casos particulars de billars triangulars en els quals se sap que la conjectura és certa. Per exemple, quan la vora és un triangle acutangle sempre hi ha una trajectòria periòdica de període 3. Aquesta trajectòria està formada pel triangle que té com a vèrtexs els punts base a les vores de les tres altures; vegeu la figura 14. Molta de la informació que donem està extreta del treball [66], que està dedicat als microlàsers triangulars orgànics, i de [4, 53]. A la trajectòria anterior de vegades se l’anomena trajectòria de Fagnano, en honor al matemàtic italià Giulio Fagnano, qui ja la va trobar el 1775 per resoldre un altre problema: buscar el triangle inscrit en un triangle acutangle amb longitud mínima. La conjectura també és certa per a triangles rectangles ([27, 114, 115, 61]), per a triangles isòsceles ([27]), per a triangles obtusangles en els quals cap angle té més de 100 graus ([101]), per a altres triangles obtusangles ([53]) i per a triangles racionals ([12]). Recordem que un triangle s’anomena racional si tots els seus angles són múltiples racionals de π . Conjectura del sofà més gran. L’àrea màxima d’un «sofà» pla que pot lliscar per un passadís pla d’amplada 1 amb forma de L és S0 = 2.219531 . . . Aquest problema va ser proposat pel matemàtic austrocanadenc Leo Moser el 1966. Matemàticament, un sofà serà qualsevol figura plana connexa amb

100

Armengol Gasull

àrea ben definida. En el treball [97] es poden trobar més referències i detalls sobre el tema i és el que hem consultat per a la breu explicació que segueix. Observem que la conjectura que presentem només dona les primeres xifres significatives de S0 .

Figura 15: Sofàs simples i sofà de Hammersley.

És fàcil trobar sofàs d’àrea 1 (quadrat) i d’àrea π /2 (semicircular) que poden travessar el passadís. El primer sofà amb una mica de mèrit és conegut com a sofà de Hammersley i té àrea π /2 + 2/π ≈ 2.2074. Aquest s’assembla al perfil de l’auricular d’un telèfon fix antic i està format per un rectangle de mides 1 × 4/π , al qual s’ha tret un semicercle de radi 2/π , i s’hi han afegit dos quarts de cercle de radi 1 als costats; vegeu la figura 15. Observeu que la seva vora està formada per sis trossos de corbes algebraiques. El conegut com a sofà de Gerver és una petita variació del de Hammersley, és a dir, té una forma semblant, però en aquest cas la seva vora està formada per divuit trossos de corbes analítiques de les quals tres són rectes i quinze venen donades com a solucions d’un sistema no lineal de quatre equacions. Aquestes corbes també es poden veure com a solucions de certes equacions diferencials. Les primeres xifres decimals de l’àrea del sofà de Gerver són les que proposa la conjectura. √ El 1968, Hammersley ja va demostrar que S0 ≤ 2 2 ≈ 2.8284 i, el 2017, Kallus i Romik van millorar el seu resultat, provant que S0 ≤ 2.37. Una qüestió que recorda molt la conjectura del sofà és l’anomenat problema de Kakeya, proposat el 1917 pel matemàtic japonès Soichi Kakeya. La nostra principal font és el capítol «The finite Kakeya problem» de l’interessant llibre [1]. Kakeya es preguntava quin era el subconjunt més petit del pla en el qual una agulla de longitud 1 pot girar sense sortir-ne fent una volta completa. La matematització de la paraula girar és que els moviments de l’agulla siguin continus. Pensant una mica, és clar que ho pot fer en un disc √ de diàmetre 1 (àrea π /4 ≈ 0.785) o en un triangle equilàter d’altura 1 (àrea 3/3 ≈ 0.577). De fet, Juluis Pal el 1920 va demostrar que aquest triangle és la figura convexa d’àrea mínima que ho permet. Però sembla que el mateix Kakeya ja va trobar una

Conjectures

101

figura no convexa d’àrea més petita. Concretament, una figura amb vora una corba anomenada deltoide, amb àrea π /8 ≈ 0.393, que ve donada pels punts del pla que compleixen (x 2 + y 2 )2 − 2x(x 2 − 3y 2 ) +

9 2 27 (x + y 2 ) − = 0; 8 256

vegeu la figura 16. La gran sorpresa va ser quan el matemàtic rus Abram S. Bezikóvitx el 1928 va trobar conjunts complicats, amb molts forats i diàmetres grans, que permetien fer-ho i tenien àrea tan petita com es volgués. Més endavant Cunningham ([31]) va aconseguir provar el mateix, però amb conjunts sense cap forat i que cabien dins d’un cercle de diàmetre 2.

Figura 16: Corba deltoide.

En els seus treballs, Bezikóvitx va començar a tractar un problema relacionat, definint un conjunt de Kakeya (avui en dia també conegut com a conjunt de Bezikóvitx) com un subconjunt de Rn , n ≥ 2, que conté el segment unitat (l’agulla) en totes les orientacions possibles. Observeu que s’ha eliminat la hipòtesi que l’agulla s’ha de moure contínuament i es considera el problema en dimensió arbitrària. Aleshores Bezikóvitx va demostrar el sorprenent resultat de que per a tot n ≥ 2, hi ha conjunts de Kakeya amb mesura 0. Per a distingir millor entre tots els conjunts que tenen la mateixa mesura, el 1918 el matemàtic alemany Felix Hausdorff va introduir el que avui en dia s’anomena dimensió de Hausdorff o, també, dimensió de Hausdorff-Bezikóvitx. No entrarem en detalls sobre la seva definició; simplement comentarem que, donat un conjunt C ⊂ Rn , el fet que aquesta dimensió, que com a màxim és n, no sigui un enter és una de les condicions perquè C sigui el que s’anomena un conjunt fractal. Per exemple, els conjunts numerables tenen mesura 0 i dimensió de Hausdorff 0, i el famós conjunt de Cantor, contingut a R, té mesura 0 i dimensió de Hausdorff ln(2)/ ln(3) ≈ 0.63. Per a més detalls, consulteu [45]. L’anomenada conjectura de Kakeya afirma que, per a tot 2 ≤ n ∈ N, la dimensió de Hausdorff de tot conjunt de Kakeya a Rn és n. Aquesta conjectura només ha estat provada per a n = 2; vegeu-ne dues il.lustracions a la figura 17. Si fos certa, ens diria que tot i que els conjunts de Kakeya poden tenir mesura 0, la seva dimensió de Hausdorff és la més gran possible o, en altres paraules, que estan «molt plens de punts».

102

Armengol Gasull

Figura 17: Cobriments amb tres i quatre còpies homotètiques a R2 tal com afirma la conjectura de Levi-Hadwiger, ja provada al pla.

Conjectura de Levi-Hadwiger. Qualsevol cos convex inclòs a Rn es pot cobrir per 2n o menys còpies homotètiques (més petites) d’ell mateix. A més, només se’n necessiten 2n si el cos és un paral.lelepípede. Recordem que un cos es diu que és convex si, donats dos punts qualssevol d’aquest cos, el segment que els uneix hi està totalment contingut. Aquesta conjectura va ser proposada independentment, el 1955, pel matemàtic alemany Friedrich W. Levi i, el 1957, pel matemàtic suís Hugo Hadwiger. De fet, el mateix Levi ([76]) va demostrar que la conjectura és certa per a n = 2. Aquesta conjectura i moltes altres sobre el que s’anomena geometria discreta es poden consultar a la monografia [14].

Utilitat didàctica i pràctica de les conjectures

El matemàtic britanicolibanès Michael F. Atiyah, en el seu llibre [3], comenta: «Alguns problemes obren portes, alguns les tanquen i uns altres queden com a curiositats, però tots ells aguditzen el nostre enginy, actuen com a reptes a la nostra inventiva i posen a prova els nostres coneixements». Aquesta afirmació es pot aplicar, sens dubte, a les conjectures matemàtiques. No puc deixar de parlar en aquest punt d’un exemple recent de conjectura lúdica i que té petites semblances amb les conjectures sobre la màxima persistència multiplicativa i la de no palindromia. Basant-se en una conversa entre els protagonistes de la famosa sèrie televisiva The Big Bang Theory, de la CBS, el 2015 a [17] els autors van introduir el que van anomenar conjectura de Sheldon, en honor al personatge Sheldon Cooper. Per a enunciar-la, definirem el que és un primer de Sheldon. Recordem que, com en tot el treball, pn denota el primer enèsim. • Direm que pn compleix la propietat del producte si Π(pn ) = n, on Π(k) és el producte de les xifres de k. Per exemple, p21 = 73 i Π(73) = 21. • Direm que pn compleix la propietat del mirall si rever(pn ) = prever(n) , on recordem que rever(k) denota l’aplicació que inverteix l’ordre de les xifres de k. Per exemple, rever(p21 ) = rever(73) = 37 i prever(21) = p12 = 37.

Conjectures

103

Un primer és un primer de Sheldon si compleix les dues propietats anteriors. Per exemple, 73 ho és. La conjectura afirmava que 73 era l’únic primer de Sheldon i va ser provada el 2019 a [90]. De fet, en el seu treball els autors proposen una nova conjectura: els únics primers que compleixen la propietat del producte són p7 = 17,

p21 = 73

p181 440 = 2 475 989.

Observem que 2 × 4 × 7 × 5 × 9 × 8 × 9 = 181 440. Al mateix treball se suggereix que segurament hi ha infinits números primers que compleixen la propietat del mirall. Com veiem, el món de les conjectures no s’acaba mai. A més, a la sèrie de televisió, Sheldon afirma que 73 és el millor número natural del món, ja que 73 també és capicua en base 2, 73 = 1 001 0012 . Totes les conjectures de les dues primeres seccions, i també alguna de les que apareixen a la darrera secció, tenen una cosa en comú: ràpidament ens venen ganes de comprovar-les per a números petits o casos particulars. Un segon pas, molt natural, és que pensem a fer un programa que vagi més enllà del que hem pogut fer amb paper i llapis. Jo mateix, un dels primers programes que vaig fer, ja fa més de quaranta anys, va ser per buscar números perfectes. De fet, aquesta segona opció és molt bona per intentar demostrar que certes conjectures són falses, però mai ens donarà cap demostració. Les conjectures presentades en aquest treball han estat comprovades per moltíssima gent, i amb els ordinadors més potents, i de moment resisteixen com a conjectures. De fet, de ben segur que cada cop que apareixen ordinadors més potents hi ha gent que intenta buscar contraexemples de moltes d’elles. Exposarem a continuació uns quants exemples en els quals s’ha d’arribar cada cop més lluny per veure que una determinada propietat no és certa. N’apareixen molts més a [7, 51]. Aquests exemples serveixen per a consolidar la idea que, per molt lluny que puguem arribar fent càlculs, mai podrem estar segurs que un resultat és cert si no en trobem una demostració. Comencem per un de molt senzill: el polinomi P (n) = n2 + n + 41, donat per Euler el 1772, proporciona valors primers per a n = 0, 1, 2, . . . , 38, 39. Així, P (0) = 41 i P (39) = 1601 són primers. Ara bé, P (40) = 40 × 41 + 41 = 412 . Un altre polinomi que dona valors primers per a n = 0, 1, . . . , 79, és Q(n) = n2 − 79n + 1601, tot i que només dona quaranta números primers diferents. Això es deu al fet que Q(n) = (n − 40)2 + (n − 40) + 41 i que, com va observar Legendre el 1798, el polinomi n2 − n + 41 també dona valors primers per a n = 0, 1, 2, . . . , 38, 39 i, a més, proporciona els mateixos primers que el polinomi d’Euler. Per a aquest nou polinomi Q(80) = 412 ja no és primer. Continuem amb un exemple sorprenent sobre el valor de certes integrals impròpies i convergents; vegeu [10, 100]. Es pot demostrar que Z∞ n Y x π Jn = 2 cos(x) sinc dx = , si n = 1, 2, . . . , 56, 2k − 1 2 0 k=1

104

Armengol Gasull

però J57 < π /2, tot i que J57 és molt proper a π /2. La funció sinc(x) = sin(x)/x té nom propi, degut a la seva aparició freqüent en el processament digital de senyals i en la teoria de la informació, i es coneix com a sinus cardinal. Integrals similars a Jn se solen anomenar integrals de Borwein perquè els germans Borwein, matemàtics escocesos contemporanis, van mostrar per primer cop aquest tipus de fenomen ([10]). Actualment hi ha exemples d’integrals de Borwein dependents d’un paràmetre n que es mantenen constants fins a un valor de n, amb més de quaranta dígits, i després canvien de valor. En l’exemple presentat, a [100] es demostra un fet gens evident: la raó del canvi per a n = 57 és que 2.994 ≈

56 X

57 X 1 1 1 1 1 1 = 1+ +· · ·+ <3< = 1+ +· · ·+ ≈ 3.003. 2k − 1 3 111 2k − 1 3 113 k=1 k=1

Un tercer exemple ens el proporciona una de les anomenades curses de primers; vegeu [48]. Dividim en dos equips els números primers: equip E1 , format pels de la forma 3n + 1, i equip E2 , format pels de la forma 3n + 2. Així, E1 = (7, 13, 19, . . . ) i E2 = (2, 5, 11, 17, . . . ). Si, per a j = 1, 2, definim πj (x) = nombre de primers a Ej menors o iguals que x, la qüestió consisteix a saber, a mesura que x augmenta, si una de les dues funcions és sempre més gran que l’altra. És clar que π (x) = π1 (x) + π2 (x) + 1, ja que 3 no és a cap dels dos equips. Aquesta cursa és molt disputada, ja que se sap que π1 (x) lim = 1. x→∞ π2 (x) Aquest resultat és també cert en general quan es comparen primers de les formes An + B i An + C, amb A, B coprimers i A, C coprimers. Clarament és, a més, més fort que el resultat de Dirichlet, el qual hem esmentat quan parlàvem sobre les conjectures que busquen números primers amb expressions concretes. En el cas que ens ocupa, per exemple, l’equip E2 comença guanyant i continua guanyant durant força temps: π2 (100) = 13 > 11 = π1 (100) o π2 (105 ) = 4807 > 4784 = π1 (105 ). De fet, la desigualtat es manté fins a x = 608 981 813 029, valor en el què l’equip E1 es posa per davant per primer cop. Se sap que cap dels dos equips guanya la cursa ja que van alternant indefinidament la seva posició. Una situació semblant es presenta quan es compara la funció π (x), que recordem que compta el nombre de primers menors o iguals que x, amb la funció logaritme integral (Z ) Zx Zx 1−ε 1 1 1 li(x) = dt = lim+ dt + dt . ε→0 ln(t) 0 ln(t) 0 1+ε ln(t)

105

Conjectures

El mateix Gauss, amb quinze anys, el 1796 va demostrar que π (x) < li(x) per a x < 3 × 106 . Durant més de cent anys es va pensar que la desigualtat es mantenia per a tot x > 0, fins que, el 1914, Littlewood ([77]) va demostrar que π (x) − li(x) canvia de signe infinits cops quan x tendeix a infinit. Les fites superiors per al primer valor de x pel qual la funció π (x) − li(x) s’anulla s’anomenen números de Skewes en honor al matemàtic sud-africà Stanley Skewes, qui, el 1955, va donar la primera fita explícita, que era un número immens ([105]). Avui en dia, la millor fita explícita té més de 300 dígits i al seu voltant la funció diferència té més de 10150 zeros ([8]). Aquestes fites es poden obtenir a partir d’un resultat clau del 1966 de Lehman ([72]), el qual usa que tots els zeros no trivials de la funció zeta de Riemann, amb part imaginària menor que un cert valor, tenen part real 1/2. Intuïtivament, com més gran és aquest valor, més petit és el número de Skewes obtingut. Els dos últims exemples són també força espectaculars. En el primer d’ells ens preguntem si és cert o no que n17 + 9 i (n + 1)17 + 9 són primers entre si. Resulta que ho són per a tot n < N. En canvi, per a n = N, on N = 8 424 432 925 592 889 329 288 197 322 308 900 672 459 420 460 792 433 té cinquanta-una xifres, no ho són. De fet, tenen un màxim comú divisor m també de cinquanta-una xifres, on m = Resn (n17 +9, (n+1)17 +9) i Resn denota la resultant dels dos polinomis respecte a n. Per a més detalls, vegeu [46]. En l’últim exemple estudiem si, per a tot n ∈ N \ {0}, la quantitat 1381n2 + 1 pot ser un quadrat perfecte. La resposta és que no ho és per a tot n < M, però en canvi ho és per primer cop per a n = M, on M = 2 472 690 352 775 053 537 868 141 555 978 544 119 564 691 977 342 423 075 952 738 420 té més de seixanta xifres. De fet, les equacions diofàntiques de la forma dn2 + 1 = m2 , d ∈ N, es coneixen com a equacions de Pell i se sap que sempre que d no sigui un quadrat perfecte tenen infinites solucions (n, m) ∈ N2 i hi ha algoritmes per trobar-les totes i saber quina és la més petita; vegeu, per exemple, [74] i les seves referències. De manera similar, tenim que 9949n2 +1 és un quadrat per primer cop per a un valor n amb més de 200 xifres i 24 229n2 +1 ho és, també per primer cop, per a un n amb més de 300 xifres. Aquests valors de d s’han tret de la interessant pàgina web «The On-Line Encyclopedia of Integer Sequences», de la secció amb número de referència A033316. Un altre interès didàctic de les conjectures numèriques proposades és que proporcionen idees interessants i engrescadores per introduir els nostres alumnes en el món de la investigació i en el de la programació; vegeu de nou la pàgina web comentada a la introducció. Finalment, per si algú es pregunta si, a banda de l’interès científic i intellectual (els quals no són gens menyspreables), el fet de pensar les conjectures numèriques que hem presentat en aquest treball té algun interès pràctic, recor-

106

Armengol Gasull

dem a continuació, com a exemple, el paper que va tenir l’estudi dels primers bessons en la detecció d’un dels errors més famosos i greus que presentava un processador comercial. Durant el càlcul de la constant de Brun, B2 (suma dels inversos dels primers bessons), el 1994, Thomas Nicely ([83]) va trobar el famós error (bug) en les divisions que feia el processador Intel Pentium, i, més precisament, quan considerava el parell de primers bessons 824 633 702 441 i 824 633 702 443; vegeu [30]. El seu famós missatge de correu electrònic començava així: Sembla que hi ha un error a la unitat de coma flotant (coprocessador numèric) de molts, i potser tots, els processadors Pentium. En resum, el Pentium FPU torna valors erronis per a determinades divisions. Per exemple, 1/824 633 702 441.0 es calcula incorrectament (tots els dígits més enllà del vuitè dígit significatiu són erronis). . .

En poques paraules, els processadors es testen amb càlculs matemàtics, el màxim de complexos possible. Aquests càlculs involucren tant el coneixement de números primers enormes, com la implementació d’algoritmes per a calcular xifres i més xifres decimals de certs números paradigmàtics, com, per exemple, π ; vegeu [11]. A més, avui en dia és ben conegut que l’ús de números primers tan grans com sigui possible, té un paper essencial en el xifratge i la codificació d’informació. Un exemple famós és l’algorisme de xifratge de clau pública RSA; vegeu [94]. Sobre els materials audiovisuals Tot i que fins ara només hem citat treballs en paper i pàgines web, voldria esmentar que avui en dia l’existència de materials audiovisuals pot millorar substancialment la comprensió de les matemàtiques. A tall d’exemples, aconsellem veure a YouTube els vídeos amb títols «Who cares about topology? (Inscribed rectangle problem)» sobre l’existència d’un rectangle inscrit per a tota corba de Jordan, o «The moving sofa problem» sobre la conjectura del seu títol. També és molt interessant escoltar la xerrada de Joseph Oesterlé el 2013 amb títol «Some simple open problems in mathematics», dins del IMSC 50 Years Golden Jubilee Celebrations i disponible a la Xarxa.

Agraïments L’autor vol agrair a Francesc Mañosas i Wolfgang Pitsch els seus suggeriments sobre una primera versió d’aquest treball. També, a Gregori Guasp, la seva ajuda en la preparació de moltes de les il.lustracions que conté. L’autor ha rebut el suport del Ministeri de Ciència i Innovació, a través del projecte PID2019104658GB-I00, i de l’Agència de Gestió d’Ajuts Universitaris i de Recerca Generalitat de Catalunya, referència 2017-SGR-1617.

Conjectures

107

Referències [1] Aigner, M.; Ziegler, G. M. Proofs from THE BOOK. Berlín: Springer, 1988. [2] Andrica, D. «Note on a conjecture in prime number theory». Studia Univ. Babeş-Bolyai Math., 31 (4) (1986), 44–48. [3] Arnold, V.; Atiyah, M.; Lax, P.; Mazur, B. (ed.). Mathematics: Frontiers and Perspectives. International Mathematical Union. American Mathematical Society, 2000. [4] Artigue, A. «Órbitas periódicas en billares triangulares». Miscelánea Mat., 59 (2015), 19–40. [5] Bailey, D. H.; Crandall, R. E. «On the random character of fundamental constant expansions». Experiment. Math., 10 (2) (2001), 175–190. [6] Bajnok, B. An Invitation to Abstract Mathematics. Nova York: SpringerVerlag, 2013. (Undergraduate Texts in Mathematics) [7] Barahmand, A. «On mathematical conjectures and counterexamples». J. Humanist. Math., 9 (1) (2019), 295–303. [8] Bays, C.; Hudson, R. H. «A new bound for the smallest x with π (x) > li(x)». Math. Comp., 69 (231) (2000), 1285–1296. [9] Berndt, B. C.; Galway, W. F. «On the Brocard-Ramanujan diophantine equation n! + 1 = m2 ». Ramanujan J., 4 (1) (2000), 41–42. [10] Borwein, D.; Borwein, J. M. «Some remarkable properties of sinc and related integrals». Ramanujan J., 5 (1) (2001), 73–89. [11] Borwein, J. M.; Macklem, M. S. «The (digital) life of Pi». Austral. Math. Soc. Gaz., 33 (4) (2006), 243–248. [12] Boshernitzan, M.; Galperin, G.; Krüger, T.; Troubetzkoy, S. «Periodic billiard orbits are dense in rational polygons». Trans. Amer. Math. Soc., 350 (9) (1998), 3523–3535. [13] Bošnjak, I.; Marković, P. «The 11-element case of Frankl’s conjecture». Electron. J. Combin., 15 (2008), R88. [14] Brass, P.; Moser, W.; Pach, J. Research Problems in Discrete Geometry. Nova York: Springer, 2005. [15] Brousseau, A. «Palindromes by addition in base two». Math. Mag., 42 (1969), 254–256. [16] Brun, V. «La série 1/5 + 1/7 + 1/11 + 1/13 + 1/17 + 1/19 + 1/29 + 1/31 + 1/41 + 1/43 + 1/59 + 1/61 + · · · où les dénominateurs sont “nombres premiers jumeaux” est convergente où finie». Bull. Sci. Math. (2), 43 (1919), 100–104 i 124–128. [17] Byrnes, J.; Spicer, C.; Turnquist, A. «The Sheldon conjecture». Math Horiz., 23 (2) (2015), 12–15. [18] Carmichael, R. D. «On Euler’s φ-function». Bull. Amer. Math. Soc., 13 (5) (1907), 241–243.

108

Armengol Gasull

[19] Carmichael, R. D. «Note on Euler’s φ-function». Bull. Amer. Math. Soc., 28 (3) (1922), 109–110. [20] Casas-Alvero, E. «Higher order polar germs». J. Algebra, 240 (1) (2001), 326–337. [21] Casas-Alvero, E. «La conjetura de Casas-Alvero, contada por Eduardo Casas-Alvero». Entrevista. https://www.gaussianos.com/la-conjetura -de-casas-alvero-contada-por-eduardo-casas-alvero/. [22] Castryck, W.; Laterveer, R.; Ounaïes, M. «Constraints on counterexamples to the Casas-Alvero conjecture and a verification in degree 12». Math. Comp., 83 (290) (2014), 3017–3037. [23] Chamberland, M. «A continuous extension of the 3x + 1 problem to the real line». Dynam. Contin. Discrete Impuls. Systems, 2 (4) (1996), 495–509. [24] Chamberland, M. «Una actualizació del problema 3x + 1». Butlletí de la Societat Catalana de Matemàtiques, 18 (1) (2003), 19–45. [25] Chen, J. R. «On the representation of a larger even integer as the sum of a prime and the product of at most two primes». Sci. Sinica, 16 (1973), 157–176. [26] Chen, J. R. «On the distribution of almost primes in an interval». Sci. Sinica, 18 (5) (1975), 611–627. [27] Cipra, B.; Hanson, R. M.; Kolan, A. «Periodic trajectories in right-triangle billiards». Phys. Rev. E (3), 52 (2) (1995), 2066–2071. [28] Cohen, G. Suites & séries. Les nombres, avec ou sans limite. París: Editions POLE, 2011. (Bibliothèque Tangente; 41) [29] Conway, J. H. «On unsettleable arithmetical problems». Amer. Math. Monthly, 120 (3) (2013), 192–198. [30] Cunningham, A. «On hyper-even numbers and on Fermat’s numbers». Proc. London Math. Soc. (2), 5 (1907), 237–274. [31] Cunningham, F., Jr. «The Kakeya problem for simply connected and for star-shaped sets». Amer. Math. Monthly, 78 (1971), 114–129. [32] de Faria, E.; Tresser, C. «On Sloane’s persistence problem». Exp. Math., 23 (4) (2014), 363–382. [33] Delahaye, J.-P. Le fascinant nombre π . Bibliothèque Scientifique. París: Belin-Pour la Science, 1997. (Essais) [34] Díaz-Toca, G. M.; González-Vega, L. «On analyzing a conjecture about univariate polynomials and their roots by using Maple». A: Proceedings of the 2006 Maple Conference. Waterloo: Maplesoft, 2006, 81–98. [35] Dickson, L. E. «A new extension of Dirichlet’s theorem on prime numbers». Messenger Math., 33 (1904), 155–161. [36] Draisma, J.; de Jong, J. P. «On the Casas-Alvero conjecture». Eur. Math. Soc. Newsl., 80 (2011), 29–33. [37] du Sautoy, M. The Music of the Primes. Searching to Solve the Greatest Mystery in Mathematics. Nova York: HarperCollins Publishers, 2003.

Conjectures

109

[38] Dwilewicz, R. J.; Mináč, J. «Values of the Riemann zeta function at integers». MATerials MATemàtics, 6 (2009), 26 p. [39] Elsholtz, C. «Sums of k unit fractions». Trans. Amer. Math. Soc., 353 (8) (2001), 3209–3227. [40] Emch, A. «On some properties of the medians of closed continuous curves formed by analytic arcs». Amer. J. Math., 38 (1) (1916), 6–18. P [41] Erdős, P. «Über die Reihe 1/p». Mathematica, Zutphen. B., 7 (1938), 1–2. [42] Erdős, P.; Szekeres, G. «A combinatorial problem in geometry». Compositio Math., 2 (1935), 463–470. [43] van den Essen, A. «To believe or not to believe: the Jacobian conjecture». Rend. Sem. Mat. Univ. Politec. Torino, 55 (4) (1997), 283–290. [44] van den Essen, A. Polynomial Automorphisms and the Jacobian Conjecture. Basilea: Birkhäuser Verlag, 2000. (Progress in Mathematics; 190) [45] Falconer, K. Fractal Geometry. Mathematical Foundations and Applications. 2a ed. Hoboken, NJ: John Wiley & Sons, Inc., 2003. [46] Frenkel, P. E.; Pelikán, J. «On the greatest common divisor of the value of two polynomials». Amer. Math. Monthly, 124 (5) (2017), 446–450. [47] Graf von Bothmer, H.-C.; Labs, O.; Schicho, J.; van de Woestijne, C. «The Casas-Alvero conjecture for infinitely many degrees». J. Algebra, 316 (1) (2007), 224–230. [48] Granville, A.; Martin, G. «Prime number races». Amer. Math. Monthly, 113 (1) (2006), 1–33. [49] Grimm, C. A. «A conjecture on consecutive composite numbers». Amer. Math. Monthly, 76 (1969), 1126–1128. [50] Gronwall, T. H. «Some asymptotic expressions in the theory of numbers». Trans. Amer. Math. Soc., 14 (1) (1913), 113–122. [51] Guy, R. K. «The strong law of small numbers». Amer. Math. Monthly, 95 (8) (1988), 697–712. [52] Guy, R. K. Unsolved Problems in Number Theory. 2a ed. Nova York: Springer-Verlag, 1994. (Unsolved Problems in Intuitive Mathematics; 1) [53] Halbeisen, L.; Hungerbühler, N. «On periodic billiard trajectories in obtuse triangles». SIAM Rev., 42 (4) (2000), 657–670. [54] Hardy, G. H.; Littlewood, J. E. «Some problems of ‘Partitio numerorum’; III: On the expression of a number as a sum of primes». Acta Math., 44 (1) (1923), 1–70. [55] Havil, J. Gamma. Exploring Euler’s Constant. Princeton, NJ: Princeton University Press, 2003. [56] Helfgott, H. «La conjetura débil de Goldbach». Gac. R. Soc. Mat. Esp., 16 (4) (2013), 709–726.

110

Armengol Gasull

[57] Hiriart-Urruty, J.-B. «Le rôle des conjectures dans l’avancement des mathématiques: tours et détours à l’aide d’exemples». Quadrature, 83 (2012), 27–33. [Traduït al castellà a: «El papel de las conjeturas en el avance de las matemáticas». SUMA+ , 69 (2012), 83–92] [58] Hiriart-Urruty, J.-B. «Les nombres entiers : des amis qui nous posent des problèmes». Mémoires de l’Académie des Sciences, Inscriptions et Belles-Lettres de Toulouse, 176 (2014), 199–210. [59] Hiriart-Urruty, J.-B. «Conjecturez, conjecturez. . . il en restera toujours quelque chose». Tangente, 168 (2016), 10–11. [60] Hiriart-Urruty, J.-B. «Conjecturer en mathématiques. . . comme Fermat?». Xerrada a la jornada «Nouveaux regards sur Pierre (de) Fermat» (18 de juny del 2018). Per aparèixer a Mémoires de l’Académie des Sciences, Inscriptions et Belles-Lettres de Toulouse. [61] Holt, F. «Periodic reflecting paths in right triangles». Geom. Dedicata, 46 (1) (1993), 73–90. [62] Jaroma, J. H. «On expanding 4/n into three Egyptian fractions». Crux Mathematicorum, 30 (2004), 36–37. [63] Jaroma, J. H. «Note on the Lucas-Lehmer test». Irish Math. Soc. Bull., 54 (2004), 63–72. [64] Katok, A.; Hasselblatt, B. Introduction to the Modern Theory of Dynamical Systems. Cambridge: Cambridge University Press, 1995. (Encyclopedia of Mathematics and its Applications; 54) [65] Khoshnevisan, D. «Normal numbers are normal». Clay Mathematics Institute Annual Report (2006), p. 15 i 27–31. [66] Lafargue, C. [et al.]. «Localized lasing modes of triangular organic microlasers». Phys. Rev. E, 90 (2014), 052922. [67] Lagarias, J. C. «The 3x + 1 problem and its generalizations». Amer. Math. Monthly, 92 (1) (1985), 3–23. [68] Lagarias, J. C. «An elementary problem equivalent to the Riemann hypothesis». Amer. Math. Monthly, 109 (6) (2002), 534–543. [69] Lagarias, J. C. «The 3x + 1 problem: an annotated bibliography (1963– 1999)». A: The Ultimate Challenge: the 3x + 1 Problem. Providence, RI: Amer. Math. Soc., 2010, 267–341. [70] Lagarias, J. C. «Euler’s constant: Euler’s work and modern developments». Bull. Amer. Math. Soc. (N.S.), 50 (4) (2013), 527–628. [71] Lander, L. J.; Parkin, T. R. «Counterexample to Euler’s conjecture on sums of like powers». Bull. Amer. Math. Soc., 72 (1966), 1079. [72] Lehman, R. S. «On the difference π (x) − li(x)». Acta Arith., 11 (1966), 397–410. [73] Lehmer, D. «Sujets d’étude». Sphinx, 8 (1938), 12–13. [74] Lenstra, H. W., Jr. «Solving the Pell equation». Notices Amer. Math. Soc., 49 (2) (2002), 182–192.

Conjectures

111

[75] Letherman, S.; Schleicher, D.; Wood, R. «The 3n + 1-problem and holomorphic dynamics». Experiment. Math., 8 (3) (1999), 241–251. [76] Levi, F. W. «Überdeckung eines Eibereiches durch Parallelverschiebung seines offenen Kerns». Arch. Math. (Basel), 6 (1955), 369–370. [77] Littlewood, J. E. «Sur la distribution des nombres premiers». C. R. Math. Acad. Sci. Paris, 158 (1914), 1869–1872. [78] Matschke, B. «A survey on the square peg problem». Notices Amer. Math. Soc., 61 (4) (2014), 346–352. [79] Meyerson, M. D. «Balancing acts». Topology Proc., 6 (1) (1981), 59–75 (1982). [80] Mihăilescu, P. «Primary cyclotomic units and a proof of Catalan’s conjecture». J. Reine Angew. Math., 572 (2004), 167–195. [81] Narkiewicz, W. The Development of Prime Number Theory. From Euclid to Hardy and Littlewood. Berlín: Springer-Verlag, 2000. (Springer Monographs in Mathematics) [82] Nash, J. F., Jr.; Rassias, M. Th. (ed.). Open Problems in Mathematics. Nova York: Springer, 2016. [83] Nicely, T. R. «Enumeration to 1.6e15 of the twin primes and Brun’s constant». Some Results of Computational Research in Prime Numbers (Computational Number Theory), 1999. https://faculty.lynchburg.edu/ ∼nicely/twins/twins.html. [84] Nicolau, A. «Números Normals». MATerials MATemàtics, 1 (2016), 13 p. [85] Nielsen, M. J. «Rhombi inscribed in simple closed curves». Geom. Dedicata, 54 (3) (1995), 245–254. [86] Nilsson, J. «Letter frequencies in the Kolakoski sequence». Acta Phys. Polon. A, 126 (2014), 549–552. [87] Nishiyama, Y. «Numerical palindromes and the 196 problem». Int. J. Pure Appl. Math., 80 (3) (2012), 375–384. [88] Ochem, P.; Rao, M. «Odd perfect numbers are greater than 101500 ». Math. Comp., 81 (279) (2012), 1869–1877. [89] Overholt, M. «The diophantine equation n! + 1 = m2 ». Bull. London Math. Soc., 25 (2) (1993), 104. [90] Pomerance, C.; Spicer, C. «Proof of the Sheldon conjecture». Amer. Math. Monthly, 126 (8) (2019), 688–698. [91] Quer, J. «La funció ζ de Riemann». Butlletí de la Societat Catalana de Matemàtiques, 22 (2) (2007), 197–228. [92] Ribenboim, P. The New Book of Prime Number Records. Nova York: Springer-Verlag, 1996. [93] Richards, I. «On the incompatibility of two conjectures concerning primes; a discussion of the use of computers in attacking a theoretical problem». Bull. Amer. Math. Soc., 80 (1974), 419–438.

112

Armengol Gasull

[94] Rivest, R. L.; Shamir, A.; Adleman, L. «A method for obtaining digital signatures and public-key cryptosystems». Comm. ACM, 21 (2) (1978), 120–126. [95] Roberts, I.; Simpson, J. «A note on the union-closed sets conjecture». Australas. J. Combin., 47 (2010), 265–267. [96] Rodríguez, G. «Sobre les fraccions 2/p del papir de Rhind». MATerials MATemàtics, 3 (2010), 12 p. [97] Romik, D. «Differential equations and exact solutions in the moving sofa problem». Exp. Math., 27 (3) (2018), 316–330. [98] Rosen, M. I. «A proof of the Lucas-Lehmer test». Amer. Math. Monthly, 95 (9) (1988), 855–856. [99] Sadornil, D.; Varona, J. L. «Existen infinitos primos (desde Euclides hasta el siglo XXI)». Gac. R. Soc. Mat. Esp., 24 (2) (2021), 301–324. [100] Schmid, H. «Two curious integrals and a graphic proof». Elem. Math., 69 (1) (2014), 11–17. [101] Schwartz, R. E. «Obtuse triangular billiards. II. One hundred degrees worth of periodic trajectories». Experiment. Math., 18 (2) (2009), 137–171. [102] Shanks, D. «A sieve method for factoring numbers of the form n2 + 1». Math. Tables Aids Comput., 13 (1959), 78–86. [103] Shanks, D. «On the conjecture of Hardy & Littlewood concerning the number of primes of the form n2 + a». Math. Comp., 14 (1960), 320–332. [104] Singmaster, D. «Repeated binomial coefficients and Fibonacci numbers». Fibonacci Quart., 13 (4) (1975), 295–298. [105] Skewes, S. «On the difference π (x)−li(x). II». Proc. London Math. Soc. (3), 5 (1955), 48–70. [106] Solane, N. J. A. «The persistence of a number». J. Recreational Math., 6 (1973), 97–98. [107] Sondow, J. «Criteria for irrationality of Euler’s constant». Proc. Amer. Math. Soc., 131 (11) (2003), 3335–3344. [108] Szekeres, G.; Peters, L. «Computer solution to the 17-point ErdősSzekeres problem». ANZIAM J., 48 (2) (2006), 151–164. [109] Tao, T. «Every odd number greater than 1 is the sum of at most five primes». Math. Comp., 83 (286) (2014), 997–1038. [110] Trigg, C. W. «Palindromes by Addition». Math. Mag., 40 (1) (1967), 26–28. [111] Varona, J. L. Recorridos por la Teoría de Números. 2a ed. Múrcia: Ediciones Electolibris, S.L. i Real Sociedad Matemática Española, 2019. (Textos Universitarios) [112] Visser, M. «Strong version of Andrica’s conjecture». Int. Math. Forum, 14 (4) (2019), 181–188. [113] Voight, J. «Perfect numbers: An elementary introduction». Department of Mathematics, University of California, Berkeley (1998), 10 p. https://math.dartmouth.edu/∼jvoight/notes/perfelem.pdf.

Conjectures

113

[114] Vorobets, Ya. B.; Gal’perin, G. A.; Stepin, A. M. «Periodic billiard trajectories in polygons». Russian Math. Surveys, 46 (5) (1991), 204–205. [115] Vorobets, Ya. B.; Gal’perin, G. A.; Stepin, A. M. «Periodic billiard trajectories in polygons: generation mechanisms». Russian Math. Surveys, 47 (3) (1992), 5–80. [116] Zhang, Y. «Bounded gaps between primes». Ann. of Math. (2), 179 (3) (2014), 1121–1174. [117] Zudilin, W. «Arithmetic of Catalan’s constant and its relatives». Abh. Math. Semin. Univ. Hambg., 89 (1) (2019), 45–53.

Departament de Matemàtiques Universitat Autònoma de Barcelona Centre de Recerca Matemàtica gasull@mat.uab.cat

Butlletí de la Societat Catalana de Matemàtiques Vol. 36, núm. 1, 2021. Pàg. 115–116

English summaries

Joan Bruna and Sebastià Xambó Algorithmic learning and deep neural networks In this article you will find a description of the nature of algorithmic learning and of its most relevant methods, as well as a presentation of the main mathematical ingredients that provide the basis for both the definition and study of models and for the analysis of the algorithms. You will also find an extensive bibliography and recommendations for further study. Keywords: algorithmic learning, curse of dimensionality, neural networks, stochastic gradient descent, Vapnik-Chervonenkis dimension, Rademacher complexity, double descent, causality, explicability, hypercomplex networks. MSC2010 Subject Classification: 68T01, 68Q32, 68T05, 62F15, 68W25, 82C32, 62M45, 65K10, 90C26, 93E35, 30G35.

Armengol Gasull Conjectures The aim of this paper is to introduce various mathematical conjectures which have the common feature of addressing issues that may be understood without being a professional mathematician. We will group them into three large blocks: those concerning prime numbers, those involving natural numbers, and a third more heterogeneous block, dealing with problems from various branches of Mathematics. In total we will introduce more than forty conjectures covered to a greater or lesser extent. We will also examine the possibility of using

116

conjectures as a motivational tool for high school and early university students, in order to present mathematics as a living and growing discipline. Keywords: conjectures, number theory, prime numbers, open problems, popularization of mathematics. MSC2010 Subject Classification: 00A05, 00A09, 00A27, 11A.

Instruccions per als autors Els articles sotmesos a publicació s’han d’enviar als editors o a qualsevol membre del comitè editorial per correu electrònic, preferentment en format PDF. Els originals han de contenir la versió anglesa del títol, un resum breu en català i en anglès, paraules clau en català i en anglès i els codis de la classificació per matèries MSC2010. Les versions definitives dels articles acceptats s’han de presentar en codi TEX, preferentment en l’estil LATEX propi del Butlletí. Aquest estil es pot obtenir a les pàgines web de la Societat Catalana de Matemàtiques (SCM). Fem notar que en aquesta publicació s’utilitza preferentment el punt per a separar decimals, en lloc de la coma recomanada per l’IEC, per a poder facilitar la comprensió de les expressions matemàtiques. Per tal d’accelerar el procés de producció, es prega als autors que segueixin les indicacions contingudes en el document d’exemple. La versió en paper del Butlletí s’imprimeix en blanc i negre. Quan un article contingui figures en color i es consideri convenient, l’autor proporcionarà una versió dels gràfics substituint el color per tons de grisos i línies de gruix variable. Així mateix, modificarà els comentaris que facin referència al color de les figures. En qualsevol cas, el Butlletí publicarà l’original en color en el seu format electrònic. La propietat intel.lectual dels articles és dels respectius autors. Els autors, en el moment de lliurar els articles al Butlletí per a sol.licitar-ne la publicació, accepten els termes següents: — Els autors cedeixen a la SCM (filial de l’Institut d’Estudis Catalans) els drets de reproducció, comunicació pública i distribució dels articles presentats per a ser publicats al Butlletí. — Els autors responen davant la SCM de l’autoria i l’originalitat dels articles presentats. — És responsabilitat dels autors l’obtenció dels permisos per a la reproducció de tot el material gràfic inclòs en els articles. — La SCM està exempta de tota responsabilitat derivada de l’eventual vulneració de drets de propietat intel.lectual per part dels autors. Cada autor rebrà una còpia en PDF d’alta qualitat de la versió digital del seu article i un exemplar imprès del número del Butlletí en el qual es publiqui. La correspondència administrativa relacionada amb el Butlletí s’ha d’adreçar a la SCM. Pel que fa a la protecció de dades personals, l’Institut d’Estudis Catalans (IEC) compleix el que estableix el Reglament general de protecció de dades de la Unió Europea (Reglament 2016/679, del 27 d’abril de 2016). De conformitat amb aquesta norma, s’informa que, amb l’acceptació de les normes de publicació, els autors autoritzen que les seves dades personals (nom i cognoms, dades de contacte i dades de filiació) puguin ser publicades en el corresponent volum del Butlletí.

Aquestes dades seran incorporades a un tractament que és responsabilitat de l’IEC amb la finalitat de gestionar aquesta publicació. Únicament s’utilitzaran les dades dels autors per a gestionar la publicació del Butlletí i no seran cedides a tercers, ni es produiran transferències a tercers països o organitzacions internacionals. Un cop publicat el Butlletí, aquestes dades es conservaran com a part del registre històric d’autors. Els autors poden exercir els drets d’accés, rectificació, supressió, oposició, limitació en el tractament i portabilitat, adreçant-se per escrit a l’Institut d’Estudis Catalans (carrer del Carme, 47, 08001 Barcelona), o bé enviant un correu electrònic a l’adreça dades.personals@iec.cat, en què s’especifiqui de quina publicació es tracta.

Comitè editorial Antoni Guillamon (editor en cap) Departament de Matemàtiques Universitat Politècnica de Catalunya antoni.guillamon@upc.edu

Rosa Camps (editora adjunta) Departament de Matemàtiques Universitat Autònoma de Barcelona rcamps@mat.uab.cat

Carme Cascante Dep. de Matemàtiques i Informàtica Universitat de Barcelona cascante@ub.edu

Marc Noy Departament de Matemàtiques Universitat Politècnica de Catalunya marc.noy@upc.edu

Bartomeu Coll Dep. de Matemàtiques i Informàtica Universitat de les Illes Balears tomeu.coll@uib.cat

Francesc Planas Departament de Matemàtiques Universitat Politècnica de Catalunya francesc.planas@upc.edu

Núria Fagella Dep. de Matemàtiques i Informàtica Universitat de Barcelona fagella@maia.ub.es

Joan Saldaña Dep. d’Informàtica, Mat. Aplicada i Estadística Universitat de Girona joan.saldana@udg.edu

Armengol Gasull Departament de Matemàtiques Universitat Autònoma de Barcelona gasull@mat.uab.cat

Marta Sanz-Solé Dep. de Matemàtiques i Informàtica Universitat de Barcelona marta.sanz@ub.edu

Gábor Lugosi ICREA i Departament d’Economia Universitat Pompeu Fabra gabor.lugosi@upf.edu

Gil Solanes Departament de Matemàtiques Universitat Autònoma de Barcelona solanes@mat.uab.cat

Societat Catalana de Matemàtiques La Societat Catalana de Matemàtiques (SCM) és una societat filial de l’Institut d’Estudis Catalans, que continua les activitats de la Secció de Matemàtiques de la Societat Catalana de Ciències, que fou fundada per l’Institut l’any 1931. Les finalitats de la SCM són: el conreu de les ciències matemàtiques, l’extensió del seu coneixement en la societat catalana, el foment del seu ensenyament i de la seva investigació teòrica i aplicada, així com la publicació de tota mena de treballs que s’adeqüin a aquests objectius. La SCM desenvolupa les seves activitats en les terres de llengua i cultura catalanes. El català és, doncs, la llengua pròpia de la SCM i la que és usada normalment en tots els seus actes i publicacions. La SCM edita les publicacions periòdiques SCM/Notícies i Butlletí de la Societat Catalana de Matemàtiques. Els socis de la SCM reben, gratuïtament, aquestes dues publicacions. La SCM té convenis de reciprocitat amb diverses societats matemàtiques d’arreu del món, mitjançant els quals els socis de la SCM obtenen una reducció en la quota de soci d’aquestes societats. Així mateix, els socis de la SCM poden fer-se socis de la Societat Matemàtica Europea pagant una quota complementària. La Junta Directiva de la SCM està constituïda per les persones següents: Presidenta: Dolors Herbera i Espinal Vicepresident: Josep Vives i Santa-Eulàlia Adjunt a la vicepresidència: Abraham de la Fuente Pérez Secretària: Immaculada Baldomá i Barraca Tresorer: Albert Granados i Corsellas Vocal Empresa: Aleix Ruiz de Villa Vocal Publicacions: Montserrat Alsina i Aubach Vocals: Josep Grané i Manlleu, Mireia Lopez i Beltran, Albert Ruiz i Cirera, Manel Udina i Abelló Delegada de l’IEC: Pilar Bayer i Isant L’adreça de la SCM és carrer del Carme, 47, 08001 Barcelona. Telèfon: 933 248 583. Fax: 932 701 180. Correu electrònic: scm@iec.cat. Adreça web: http://scm.iec.cat.