[CI] ClusterStatsNodesTests.testIngestStats failure #50507
Description
AssertionError
Expected: "{\"ingest\":{\"number_of_pipelines\":7,\"processor_stats\":{\"BVnswuwET\":{\"count\":8558306664820333374,\"failed\":5046051171408668009,\"current\":3041919542172151635,\"time_in_millis\":3129450618830012446},\"BdTwsnFxBG\":{\"count\":8354636182310660703,\"failed\":6647292735810865695,\"current\":5140100942953055163,\"time_in_millis\":1361194147241593116},\"BoFewhD\":{\"count\":6727844367904381552,\"failed\":6079720951270125336,\"current\":157078052097980021,\"time_in_millis\":4198910094422190385},\"CjtvCfnueM\":{\"count\":876468025915048140,\"failed\":8769109119428512815,\"current\":847669326027042311,\"time_in_millis\":4759865986751273886},\"Cyo\":{\"count\":8322591501624407743,\"failed\":5286825427117829480,\"current\":1890873076557166901,\"time_in_millis\":418527843717457735},\"DyJLN\":{\"count\":2667321485076778001,\"failed\":5560288020925949601,\"current\":1210303103985344714,\"time_in_millis\":1637821456779809146},\"EmX\":{\"count\":8458108606767741115,\"failed\":2710713392935296393,\"current\":5623962890690706975,\"time_in_millis\":5604691397842882373},\"GRNfWWviUr\":{\"count\":4785823293613268664,\"failed\":2189749109116749775,\"current\":6890013979443992512,\"time_in_millis\":6630994969425544509},\"HcQRPm\":{\"count\":8533424724567725945,\"failed\":4711058884626492286,\"current\":3731816581543283798,\"time_in_millis\":4163466983183525856},\"IGUC\":{\"count\":6539132842802389302,\"failed\":7055401806851091327,\"current\":3640411474552441860,\"time_in_millis\":4043949451211748761},\"IMrZuu\":{\"count\":8385246298769471417,\"failed\":3755327382987138040,\"current\":6958582781482617159,\"time_in_millis\":7372080347055073193},\"IfUs\":{\"count\":1643475851909208334,\"failed\":1997739261998842837,\"current\":8872948356901025391,\"time_in_millis\":9052270018843535482},\"NiUeJn\":{\"count\":6611448893731182665,\"failed\":1106279437573266352,\"current\":5153381073648049851,\"time_in_millis\":317600429369050876},\"PQdGrNEOX\":{\"count\":677625012402003567,\"failed\":6423727160593273277,\"current\":158523069022058758,\"time_in_millis\":7856047952745928054},\"QnYZBSDI\":{\"count\":7841319989006198906,\"failed\":9057517984397810444,\"current\":5715356336430666525,\"time_in_millis\":3061777352606594767},\"RePtM\":{\"count\":8155459631091111667,\"failed\":4634038489791983185,\"current\":2714240716311079725,\"time_in_millis\":1591993766655559365},\"RxTgufA\":{\"count\":2047801574797932502,\"failed\":4960353384630529654,\"current\":8593265923866299946,\"time_in_millis\":8640188377871305272},\"STVzHb\":{\"count\":1227789633850898445,\"failed\":8505107874246476029,\"current\":6729352113673199927,\"time_in_millis\":8778009954392025577},\"SaJUOhXD\":{\"count\":702487755878867426,\"failed\":4301116027928797482,\"current\":346730027709775485,\"time_in_millis\":8639894516942078063},\"TKxqJ\":{\"count\":6378994562921484917,\"failed\":3810791421382457274,\"current\":5508599683847415655,\"time_in_millis\":6122680672422535956},\"TfqoGbfOog\":{\"count\":2118963749787841005,\"failed\":328993806773970145,\"current\":8189547843242769489,\"time_in_millis\":7259874487458485593},\"ThAfbV\":{\"count\":6730962648297895892,\"failed\":1377369303677394036,\"current\":2815600716155490149,\"time_in_millis\":4749928717069878078},\"VUhgpl\":{\"count\":3717510488892177678,\"failed\":1992931601272599185,\"current\":1602144517740795455,\"time_in_millis\":5024801847977556710},\"VsGKMjcAzx\":{\"count\":808934796663208600,\"failed\":3401450683966434021,\"current\":6969597073717924841,\"time_in_millis\":8654365181565516280},\"VyGXbHRG\":{\"count\":3468914867852088430,\"failed\":8796167029223585061,\"current\":3220051990910976853,\"time_in_millis\":5792670516172169200},\"XCVkU\":{\"count\":2843770803189585405,\"failed\":1431242634002150877,\"current\":5477077696949210892,\"time_in_millis\":2308579856768971691},\"YnZt\":{\"count\":6156096442015581220,\"failed\":383387544790662239,\"current\":6971333972792620111,\"time_in_millis\":3430257960908091827},\"ZuEPjOG\":{\"count\":7835549956662939919,\"failed\":927520329443278421,\"current\":8022822858207470631,\"time_in_millis\":5455263436689247914},\"aXgSSRwxrK\":{\"count\":8878272391759125920,\"failed\":549971697328830036,\"current\":8757033808560870939,\"time_in_millis\":688071555645059961},\"amnIwgPL\":{\"count\":5591526729593173364,\"failed\":7057654540231343424,\"current\":1696110744659172422,\"time_in_millis\":7707575573671360741},\"bgnbjNJN\":{\"count\":5306047848763634976,\"failed\":5187226411454883010,\"current\":4279804480516305149,\"time_in_millis\":8476028651596182850},\"bmsXnWhggM\":{\"count\":5532719673062213666,\"failed\":6617368133845424362,\"current\":1048230611846416734,\"time_in_millis\":3202767396389237068},\"cLRXJuq\":{\"count\":3068473238928089376,\"failed\":6994861124738850746,\"current\":6249685185560211547,\"time_in_millis\":5230556867060084554},\"cqzzqaOdf\":{\"count\":2027859019566808101,\"failed\":1891777291417375171,\"current\":2183506135949173147,\"time_in_millis\":5132048269790432108},\"cvdLWf\":{\"count\":3848771896051515436,\"failed\":558111178217471013,\"current\":2547617013138060345,\"time_in_millis\":29648579685149581},\"czrsvdsw\":{\"count\":4085964597903305436,\"failed\":2077533467890482711,\"current\":8279133678506839315,\"time_in_millis\":4291215113222242635},\"dnZsyhk\":{\"count\":6684078794589086765,\"failed\":2171675026266030358,\"current\":2762091404038124900,\"time_in_millis\":8097618536818436772},\"eJeIYHh\":{\"count\":5947622624952093234,\"failed\":3401812060471942132,\"current\":7983987739266906171,\"time_in_millis\":3234688086726996895},\"eYRUmop\":{\"count\":2291893720554288741,\"failed\":818183985773111108,\"current\":3308512021862142565,\"time_in_millis\":8001752777297913627},\"fkkmfxKcv\":{\"count\":5572551389047259142,\"failed\":6501379303602304244,\"current\":2814706001433975947,\"time_in_millis\":7990752472404378778},\"flimQczLnT\":{\"count\":823038793205727109,\"failed\":8104911017225485341,\"current\":477940131587803296,\"time_in_millis\":2007523939441148599},\"gXMqOxcP\":{\"count\":2150913468655555272,\"failed\":5983529952036420969,\"current\":663735990101575841,\"time_in_millis\":3754512565681331139},\"gZY\":{\"count\":3528027611470195054,\"failed\":7347861366555759995,\"current\":611555107815665674,\"time_in_millis\":7641899981619935404},\"goiWHHVqTq\":{\"count\":7679856378632265292,\"failed\":3410032066685384938,\"current\":8601350184901102986,\"time_in_millis\":8688664639254017949},\"kBRr\":{\"count\":9655572072849223,\"failed\":5692944611551515282,\"current\":1548016335481487036,\"time_in_millis\":8401422635582671938},\"kLgiKW\":{\"count\":2302108847593769412,\"failed\":7935239620935363859,\"current\":1149602335856443843,\"time_in_millis\":4436025020520535167},\"kliDDIzp\":{\"count\":6713748644127844242,\"failed\":6431741348489559331,\"current\":3690127526386605538,\"time_in_millis\":8667399779356392249},\"mKvOaen\":{\"count\":2813153745087181885,\"failed\":6760099064542791590,\"current\":6739311099180893152,\"time_in_millis\":4475488242342846445},\"nJd\":{\"count\":7651408037633669592,\"failed\":9133189317808401712,\"current\":4433279042442488333,\"time_in_millis\":5111505399280544765},\"nnjECWtVAv\":{\"count\":7910059433575076929,\"failed\":1056612762120898564,\"current\":4992672137969096427,\"time_in_millis\":6671666433909435203},\"oNLo\":{\"count\":1359871977772767940,\"failed\":6438491644859268143,\"current\":511049583186210936,\"time_in_millis\":3400210520578142853},\"okrngQA\":{\"count\":5137763527900776009,\"failed\":7005362975446752319,\"current\":8218887852168128327,\"time_in_millis\":4529725013455010040},\"pHT\":{\"count\":3360007503076749136,\"failed\":1265884418861985384,\"current\":6557549828377503689,\"time_in_millis\":6780545132107519416},\"pZUFn\":{\"count\":4018676604623720569,\"failed\":628459990965445266,\"current\":7451670151334498397,\"time_in_millis\":8200837991610244656},\"pqW\":{\"count\":6431070272295923083,\"failed\":4086527187328714335,\"current\":4862730294609960272,\"time_in_millis\":2669032895978123081},\"pylNHRbU\":{\"count\":5495993487147527418,\"failed\":5906137798881127509,\"current\":5668173508451095423,\"time_in_millis\":4937776150065169160},\"qeIVwX\":{\"count\":6317251187733644970,\"failed\":7374659623322604433,\"current\":2124209041615779528,\"time_in_millis\":911501166709210801},\"tJB\":{\"count\":8120272237031785824,\"failed\":2597011185579691885,\"current\":7380444799269710118,\"time_in_millis\":4034784478157182795},\"tzaehR\":{\"count\":5079848921281489015,\"failed\":4862764219805430777,\"current\":5933749136780108097,\"time_in_millis\":8875162579183301589},\"uKUsqBDs\":{\"count\":1171118977167484156,\"failed\":4125275219277654974,\"current\":5093090388838515507,\"time_in_millis\":8934543325673830743},\"und\":{\"count\":6614574321680615157,\"failed\":5206055383275953904,\"current\":2970961801013222669,\"time_in_millis\":2302822050383913599},\"yXfM\":{\"count\":252542093803976158,\"failed\":967757483564470352,\"current\":5873541629823706674,\"time_in_millis\":4737103845189100439}}}}"
but: was "{\"ingest\":{\"number_of_pipelines\":7,\"processor_stats\":{\"BVnswuwET\":{\"count\":8558306664820333374,\"failed\":5046051171408668009,\"current\":3041919542172151635,\"time_in_millis\":3129450618830012446},\"BdTwsnFxBG\":{\"count\":8354636182310660703,\"failed\":6647292735810865695,\"current\":5140100942953055163,\"time_in_millis\":1361194147241593116},\"BoFewhD\":{\"count\":6727844367904381552,\"failed\":6079720951270125336,\"current\":157078052097980021,\"time_in_millis\":4198910094422190385},\"CjtvCfnueM\":{\"count\":876468025915048140,\"failed\":8769109119428512815,\"current\":847669326027042311,\"time_in_millis\":4759865986751273886},\"Cyo\":{\"count\":8322591501624407743,\"failed\":5286825427117829480,\"current\":1890873076557166901,\"time_in_millis\":418527843717457735},\"DyJLN\":{\"count\":2667321485076778001,\"failed\":5560288020925949601,\"current\":1210303103985344714,\"time_in_millis\":1637821456779809146},\"EmX\":{\"count\":8458108606767741115,\"failed\":2710713392935296393,\"current\":5623962890690706975,\"time_in_millis\":5604691397842882373},\"GRNfWWviUr\":{\"count\":4785823293613268664,\"failed\":2189749109116749775,\"current\":6890013979443992512,\"time_in_millis\":6630994969425544509},\"HcQRPm\":{\"count\":8533424724567725945,\"failed\":4711058884626492286,\"current\":3731816581543283798,\"time_in_millis\":4163466983183525856},\"IGUC\":{\"count\":6539132842802389302,\"failed\":7055401806851091327,\"current\":3640411474552441860,\"time_in_millis\":4043949451211748761},\"IMrZuu\":{\"count\":8385246298769471417,\"failed\":3755327382987138040,\"current\":6958582781482617159,\"time_in_millis\":7372080347055073193},\"IfUs\":{\"count\":1643475851909208334,\"failed\":1997739261998842837,\"current\":8872948356901025391,\"time_in_millis\":9052270018843535482},\"NiUeJn\":{\"count\":6611448893731182665,\"failed\":1106279437573266352,\"current\":5153381073648049851,\"time_in_millis\":317600429369050876},\"PQdGrNEOX\":{\"count\":677625012402003567,\"failed\":6423727160593273277,\"current\":158523069022058758,\"time_in_millis\":7856047952745928054},\"QnYZBSDI\":{\"count\":7841319989006198906,\"failed\":9057517984397810444,\"current\":5715356336430666525,\"time_in_millis\":3061777352606594767},\"RePtM\":{\"count\":8155459631091111667,\"failed\":4634038489791983185,\"current\":2714240716311079725,\"time_in_millis\":1591993766655559365},\"RxTgufA\":{\"count\":2047801574797932502,\"failed\":4960353384630529654,\"current\":8593265923866299946,\"time_in_millis\":8640188377871305272},\"STVzHb\":{\"count\":1227789633850898445,\"failed\":8505107874246476029,\"current\":6729352113673199927,\"time_in_millis\":8778009954392025577},\"SaJUOhXD\":{\"count\":702487755878867426,\"failed\":4301116027928797482,\"current\":346730027709775485,\"time_in_millis\":8639894516942078063},\"TKxqJ\":{\"count\":6378994562921484917,\"failed\":3810791421382457274,\"current\":5508599683847415655,\"time_in_millis\":6122680672422535956},\"TfqoGbfOog\":{\"count\":2118963749787841005,\"failed\":328993806773970145,\"current\":8189547843242769489,\"time_in_millis\":7259874487458485593},\"ThAfbV\":{\"count\":6730962648297895892,\"failed\":1377369303677394036,\"current\":2815600716155490149,\"time_in_millis\":4749928717069878078},\"VUhgpl\":{\"count\":3717510488892177678,\"failed\":1992931601272599185,\"current\":1602144517740795455,\"time_in_millis\":5024801847977556710},\"VsGKMjcAzx\":{\"count\":808934796663208600,\"failed\":3401450683966434021,\"current\":6969597073717924841,\"time_in_millis\":8654365181565516280},\"VyGXbHRG\":{\"count\":3468914867852088430,\"failed\":8796167029223585061,\"current\":3220051990910976853,\"time_in_millis\":5792670516172169200},\"XCVkU\":{\"count\":2843770803189585405,\"failed\":1431242634002150877,\"current\":5477077696949210892,\"time_in_millis\":2308579856768971691},\"YnZt\":{\"count\":6156096442015581220,\"failed\":383387544790662239,\"current\":6971333972792620111,\"time_in_millis\":3430257960908091827},\"ZuEPjOG\":{\"count\":7835549956662939919,\"failed\":927520329443278421,\"current\":8022822858207470631,\"time_in_millis\":5455263436689247914},\"aXgSSRwxrK\":{\"count\":8878272391759125920,\"failed\":549971697328830036,\"current\":8757033808560870939,\"time_in_millis\":688071555645059961},\"amnIwgPL\":{\"count\":5591526729593173364,\"failed\":7057654540231343424,\"current\":1696110744659172422,\"time_in_millis\":7707575573671360741},\"bgnbjNJN\":{\"count\":5306047848763634976,\"failed\":5187226411454883010,\"current\":4279804480516305149,\"time_in_millis\":8476028651596182850},\"bmsXnWhggM\":{\"count\":5532719673062213666,\"failed\":6617368133845424362,\"current\":1048230611846416734,\"time_in_millis\":3202767396389237068},\"cLRXJuq\":{\"count\":3068473238928089376,\"failed\":6994861124738850746,\"current\":6249685185560211547,\"time_in_millis\":5230556867060084554},\"cqzzqaOdf\":{\"count\":2027859019566808101,\"failed\":1891777291417375171,\"current\":2183506135949173147,\"time_in_millis\":5132048269790432108},\"cvdLWf\":{\"count\":3848771896051515436,\"failed\":558111178217471013,\"current\":2547617013138060345,\"time_in_millis\":29648579685149581},\"czrsvdsw\":{\"count\":4085964597903305436,\"failed\":2077533467890482711,\"current\":8279133678506839315,\"time_in_millis\":4291215113222242635},\"dnZsyhk\":{\"count\":6684078794589086765,\"failed\":2171675026266030358,\"current\":2762091404038124900,\"time_in_millis\":8097618536818436772},\"eJeIYHh\":{\"count\":5947622624952093234,\"failed\":3401812060471942132,\"current\":7983987739266906171,\"time_in_millis\":3234688086726996895},\"eYRUmop\":{\"count\":2291893720554288741,\"failed\":818183985773111108,\"current\":3308512021862142565,\"time_in_millis\":8001752777297913627},\"fkkmfxKcv\":{\"count\":5572551389047259142,\"failed\":6501379303602304244,\"current\":2814706001433975947,\"time_in_millis\":7990752472404378778},\"flimQczLnT\":{\"count\":823038793205727109,\"failed\":8104911017225485341,\"current\":477940131587803296,\"time_in_millis\":2007523939441148599},\"gXMqOxcP\":{\"count\":2150913468655555272,\"failed\":5983529952036420969,\"current\":663735990101575841,\"time_in_millis\":3754512565681331139},\"gZY\":{\"count\":4279966618686806279,\"failed\":-3213079704328176381,\"current\":2124344903036782413,\"time_in_millis\":-1747908275740096686},\"goiWHHVqTq\":{\"count\":7679856378632265292,\"failed\":3410032066685384938,\"current\":8601350184901102986,\"time_in_millis\":8688664639254017949},\"kBRr\":{\"count\":9655572072849223,\"failed\":5692944611551515282,\"current\":1548016335481487036,\"time_in_millis\":8401422635582671938},\"kLgiKW\":{\"count\":2302108847593769412,\"failed\":7935239620935363859,\"current\":1149602335856443843,\"time_in_millis\":4436025020520535167},\"kliDDIzp\":{\"count\":6713748644127844242,\"failed\":6431741348489559331,\"current\":3690127526386605538,\"time_in_millis\":8667399779356392249},\"mKvOaen\":{\"count\":2813153745087181885,\"failed\":6760099064542791590,\"current\":6739311099180893152,\"time_in_millis\":4475488242342846445},\"nJd\":{\"count\":7651408037633669592,\"failed\":9133189317808401712,\"current\":4433279042442488333,\"time_in_millis\":5111505399280544765},\"nnjECWtVAv\":{\"count\":7910059433575076929,\"failed\":1056612762120898564,\"current\":4992672137969096427,\"time_in_millis\":6671666433909435203},\"oNLo\":{\"count\":1359871977772767940,\"failed\":6438491644859268143,\"current\":511049583186210936,\"time_in_millis\":3400210520578142853},\"okrngQA\":{\"count\":5137763527900776009,\"failed\":7005362975446752319,\"current\":8218887852168128327,\"time_in_millis\":4529725013455010040},\"pHT\":{\"count\":3360007503076749136,\"failed\":1265884418861985384,\"current\":6557549828377503689,\"time_in_millis\":6780545132107519416},\"pZUFn\":{\"count\":4018676604623720569,\"failed\":628459990965445266,\"current\":7451670151334498397,\"time_in_millis\":8200837991610244656},\"pqW\":{\"count\":6431070272295923083,\"failed\":4086527187328714335,\"current\":4862730294609960272,\"time_in_millis\":2669032895978123081},\"pylNHRbU\":{\"count\":5495993487147527418,\"failed\":5906137798881127509,\"current\":5668173508451095423,\"time_in_millis\":4937776150065169160},\"qeIVwX\":{\"count\":6317251187733644970,\"failed\":7374659623322604433,\"current\":2124209041615779528,\"time_in_millis\":911501166709210801},\"tJB\":{\"count\":8120272237031785824,\"failed\":2597011185579691885,\"current\":7380444799269710118,\"time_in_millis\":4034784478157182795},\"tzaehR\":{\"count\":5079848921281489015,\"failed\":4862764219805430777,\"current\":5933749136780108097,\"time_in_millis\":8875162579183301589},\"uKUsqBDs\":{\"count\":1171118977167484156,\"failed\":4125275219277654974,\"current\":5093090388838515507,\"time_in_millis\":8934543325673830743},\"und\":{\"count\":6614574321680615157,\"failed\":5206055383275953904,\"current\":2970961801013222669,\"time_in_millis\":2302822050383913599},\"yXfM\":{\"count\":252542093803976158,\"failed\":967757483564470352,\"current\":5873541629823706674,\"time_in_millis\":4737103845189100439}}}}"
The difference is very hard to read, which is something we might want to address. Using a diff tool, the error is:
Expected:
"gZY\":{\"count\":3528027611470195054,\"failed\":7347861366555759995,\"current\":611555107815665674,\"time_in_millis\":7641899981619935404}
Actual:
"gZY\":{\"count\":4279966618686806279,\"failed\":-3213079704328176381,\"current\":2124344903036782413,\"time_in_millis\":-1747908275740096686}
Reproducible with:
./gradlew ':server:test' --tests "org.elasticsearch.action.admin.cluster.stats.ClusterStatsNodesTests.testIngestStats" \
-Dtests.seed=1C33F4DADA278134 \
-Dtests.security.manager=true \
-Dtests.locale=ar-AE \
-Dtests.timezone=Asia/Ulan_Bator \
-Dcompiler.java=13
Build scan available at https://gradle-enterprise.elastic.co/s/7x2ct6yywkw3o
Likely introduced by #48485