@@ -449,117 +449,23 @@ def avro_schema_manifest_entry() -> Dict[str, Any]:
449449 "column_sizes" : [
450450 {"key" : 1 , "value" : 318 },
451451 {"key" : 2 , "value" : 329806 },
452- {"key" : 3 , "value" : 331632 },
453- {"key" : 4 , "value" : 15343 },
454- {"key" : 5 , "value" : 2351 },
455- {"key" : 6 , "value" : 3389 },
456- {"key" : 7 , "value" : 71269 },
457- {"key" : 8 , "value" : 76429 },
458- {"key" : 9 , "value" : 16383 },
459- {"key" : 10 , "value" : 86992 },
460- {"key" : 11 , "value" : 89608 },
461- {"key" : 12 , "value" : 265 },
462- {"key" : 13 , "value" : 19377 },
463- {"key" : 14 , "value" : 1692 },
464- {"key" : 15 , "value" : 76162 },
465- {"key" : 16 , "value" : 4354 },
466- {"key" : 17 , "value" : 759 },
467- {"key" : 18 , "value" : 120650 },
468- {"key" : 19 , "value" : 11804 },
469452 ],
470453 "value_counts" : [
471454 {"key" : 1 , "value" : 95050 },
472455 {"key" : 2 , "value" : 95050 },
473- {"key" : 3 , "value" : 95050 },
474- {"key" : 4 , "value" : 95050 },
475- {"key" : 5 , "value" : 95050 },
476- {"key" : 6 , "value" : 95050 },
477- {"key" : 7 , "value" : 95050 },
478- {"key" : 8 , "value" : 95050 },
479- {"key" : 9 , "value" : 95050 },
480- {"key" : 10 , "value" : 95050 },
481- {"key" : 11 , "value" : 95050 },
482- {"key" : 12 , "value" : 95050 },
483- {"key" : 13 , "value" : 95050 },
484- {"key" : 14 , "value" : 95050 },
485- {"key" : 15 , "value" : 95050 },
486- {"key" : 16 , "value" : 95050 },
487- {"key" : 17 , "value" : 95050 },
488- {"key" : 18 , "value" : 95050 },
489- {"key" : 19 , "value" : 95050 },
490456 ],
491457 "null_value_counts" : [
492458 {"key" : 1 , "value" : 0 },
493459 {"key" : 2 , "value" : 0 },
494- {"key" : 3 , "value" : 0 },
495- {"key" : 4 , "value" : 0 },
496- {"key" : 5 , "value" : 0 },
497- {"key" : 6 , "value" : 0 },
498- {"key" : 7 , "value" : 0 },
499- {"key" : 8 , "value" : 0 },
500- {"key" : 9 , "value" : 0 },
501- {"key" : 10 , "value" : 0 },
502- {"key" : 11 , "value" : 0 },
503- {"key" : 12 , "value" : 95050 },
504- {"key" : 13 , "value" : 0 },
505- {"key" : 14 , "value" : 0 },
506- {"key" : 15 , "value" : 0 },
507- {"key" : 16 , "value" : 0 },
508- {"key" : 17 , "value" : 0 },
509- {"key" : 18 , "value" : 0 },
510- {"key" : 19 , "value" : 0 },
511- ],
512- "nan_value_counts" : [
513- {"key" : 16 , "value" : 0 },
514- {"key" : 17 , "value" : 0 },
515- {"key" : 18 , "value" : 0 },
516- {"key" : 19 , "value" : 0 },
517- {"key" : 10 , "value" : 0 },
518- {"key" : 11 , "value" : 0 },
519- {"key" : 12 , "value" : 0 },
520- {"key" : 13 , "value" : 0 },
521- {"key" : 14 , "value" : 0 },
522- {"key" : 15 , "value" : 0 },
523460 ],
461+ "nan_value_counts" : [],
524462 "lower_bounds" : [
525- {"key" : 1 , "value" : b"\x01 \x00 \x00 \x00 " },
526- {"key" : 2 , "value" : b"2020-04-01 00:00" },
527- {"key" : 3 , "value" : b"2020-04-01 00:03" },
528- {"key" : 4 , "value" : b"\x00 \x00 \x00 \x00 " },
529- {"key" : 5 , "value" : b"\x01 \x00 \x00 \x00 " },
530- {"key" : 6 , "value" : b"N" },
531- {"key" : 7 , "value" : b"\x01 \x00 \x00 \x00 " },
532- {"key" : 8 , "value" : b"\x01 \x00 \x00 \x00 " },
533- {"key" : 9 , "value" : b"\x01 \x00 \x00 \x00 " },
534- {"key" : 10 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
535- {"key" : 11 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
536- {"key" : 13 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
537- {"key" : 14 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
538- {"key" : 15 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
539- {"key" : 16 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
540- {"key" : 17 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
541- {"key" : 18 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
542- {"key" : 19 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
463+ {"key" : 1 , "value" : b"\x01 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
464+ {"key" : 2 , "value" : b"\x01 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
543465 ],
544466 "upper_bounds" : [
545- {"key" : 1 , "value" : b"\x01 \x00 \x00 \x00 " },
546- {"key" : 2 , "value" : b"2020-04-30 23:5:" },
547- {"key" : 3 , "value" : b"2020-05-01 00:1:" },
548- {"key" : 4 , "value" : b"\x06 \x00 \x00 \x00 " },
549- {"key" : 5 , "value" : b"c\x00 \x00 \x00 " },
550- {"key" : 6 , "value" : b"Y" },
551- {"key" : 7 , "value" : b"\t \x01 \x00 \x00 " },
552- {"key" : 8 , "value" : b"\t \x01 \x00 \x00 " },
553- {"key" : 9 , "value" : b"\x04 \x00 \x00 \x00 " },
554- {"key" : 10 , "value" : b"\\ \x8f \xc2 \xf5 (8\x8c @" },
555- {"key" : 11 , "value" : b"\xcd \xcc \xcc \xcc \xcc ,f@" },
556- {"key" : 13 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x1c @" },
557- {"key" : 14 , "value" : b"\x9a \x99 \x99 \x99 \x99 \x99 \xf1 ?" },
558- {"key" : 15 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 Y@" },
559- {"key" : 16 , "value" : b"\x00 \x00 \x00 \x00 \x00 \xb0 X@" },
560- {"key" : 17 , "value" : b"333333\xd3 ?" },
561- {"key" : 18 , "value" : b"\xc3 \xf5 (\\ \x8f :\x8c @" },
562- {"key" : 19 , "value" : b"\x00 \x00 \x00 \x00 \x00 \x00 \x04 @" },
467+ {"key" : 1 , "value" : b"\x06 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
468+ {"key" : 2 , "value" : b"\x06 \x00 \x00 \x00 \x00 \x00 \x00 \x00 " },
563469 ],
564470 "key_metadata" : None ,
565471 "split_offsets" : [4 ],
@@ -581,7 +487,7 @@ def test_schema() -> Schema:
581487def test_partition_spec () -> Schema :
582488 return PartitionSpec (
583489 PartitionField (1 , 1000 , IdentityTransform (), "VendorID" ),
584- PartitionField (2 , 1001 , DayTransform (), "tpep_pickup_datetime " ),
490+ PartitionField (2 , 1001 , DayTransform (), "tpep_pickup_day " ),
585491 )
586492
587493
0 commit comments