Skip to content

Commit 0b9ee86

Browse files
dpgeorgedpgeorge
committed
py: Add mp_obj_new_str_from_vstr, and use it where relevant.
This patch allows to reuse vstr memory when creating str/bytes object. This improves memory usage. Also saves code ROM: 128 bytes on stmhal, 92 bytes on bare-arm, and 88 bytes on unix x64.
1 parent 2e526ff commit 0b9ee86

8 files changed

Lines changed: 82 additions & 109 deletions

File tree

‎py/misc.h‎

Lines changed: 0 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -135,8 +135,6 @@ char *vstr_str(vstr_t *vstr);
135135
size_t vstr_len(vstr_t *vstr);
136136
void vstr_hint_size(vstr_t *vstr, size_t size);
137137
char *vstr_extend(vstr_t *vstr, size_t size);
138-
bool vstr_set_size(vstr_t *vstr, size_t size);
139-
bool vstr_shrink(vstr_t *vstr);
140138
char *vstr_add_len(vstr_t *vstr, size_t len);
141139
void vstr_add_byte(vstr_t *vstr, byte v);
142140
void vstr_add_char(vstr_t *vstr, unichar chr);

‎py/modbuiltins.c‎

Lines changed: 4 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -449,11 +449,10 @@ STATIC mp_obj_t mp_builtin___repl_print__(mp_obj_t o) {
449449
MP_DEFINE_CONST_FUN_OBJ_1(mp_builtin___repl_print___obj, mp_builtin___repl_print__);
450450

451451
STATIC mp_obj_t mp_builtin_repr(mp_obj_t o_in) {
452-
vstr_t *vstr = vstr_new();
453-
mp_obj_print_helper((void (*)(void *env, const char *fmt, ...))vstr_printf, vstr, o_in, PRINT_REPR);
454-
mp_obj_t s = mp_obj_new_str(vstr->buf, vstr->len, false);
455-
vstr_free(vstr);
456-
return s;
452+
vstr_t vstr;
453+
vstr_init(&vstr, 16);
454+
mp_obj_print_helper((void (*)(void *env, const char *fmt, ...))vstr_printf, &vstr, o_in, PRINT_REPR);
455+
return mp_obj_new_str_from_vstr(&mp_type_str, &vstr);
457456
}
458457
MP_DEFINE_CONST_FUN_OBJ_1(mp_builtin_repr_obj, mp_builtin_repr);
459458

‎py/obj.h‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -400,6 +400,7 @@ mp_obj_t mp_obj_new_int_from_str_len(const char **str, mp_uint_t len, bool neg,
400400
mp_obj_t mp_obj_new_int_from_ll(long long val); // this must return a multi-precision integer object (or raise an overflow exception)
401401
mp_obj_t mp_obj_new_int_from_ull(unsigned long long val); // this must return a multi-precision integer object (or raise an overflow exception)
402402
mp_obj_t mp_obj_new_str(const char* data, mp_uint_t len, bool make_qstr_if_not_already);
403+
mp_obj_t mp_obj_new_str_from_vstr(const mp_obj_type_t *type, vstr_t *vstr);
403404
mp_obj_t mp_obj_new_bytes(const byte* data, mp_uint_t len);
404405
mp_obj_t mp_obj_new_bytearray(mp_uint_t n, void *items);
405406
mp_obj_t mp_obj_new_bytearray_by_ref(mp_uint_t n, void *items);

‎py/objexcept.c‎

Lines changed: 4 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -351,13 +351,13 @@ mp_obj_t mp_obj_new_exception_msg_varg(const mp_obj_type_t *exc_type, const char
351351
} else {
352352
// render exception message and store as .args[0]
353353
// TODO: optimize bufferbloat
354-
vstr_t *vstr = vstr_new();
354+
vstr_t vstr;
355+
vstr_init(&vstr, 16);
355356
va_list ap;
356357
va_start(ap, fmt);
357-
vstr_vprintf(vstr, fmt, ap);
358+
vstr_vprintf(&vstr, fmt, ap);
358359
va_end(ap);
359-
o->args->items[0] = mp_obj_new_str(vstr->buf, vstr->len, false);
360-
vstr_free(vstr);
360+
o->args->items[0] = mp_obj_new_str_from_vstr(&mp_type_str, &vstr);
361361
}
362362
}
363363

‎py/objstr.c‎

Lines changed: 58 additions & 57 deletions
Original file line numberDiff line numberDiff line change
@@ -132,8 +132,6 @@ STATIC void str_print(void (*print)(void *env, const char *fmt, ...), void *env,
132132

133133
#if !MICROPY_PY_BUILTINS_STR_UNICODE || MICROPY_CPYTHON_COMPAT
134134
STATIC mp_obj_t str_make_new(mp_obj_t type_in, mp_uint_t n_args, mp_uint_t n_kw, const mp_obj_t *args) {
135-
(void)type_in;
136-
137135
#if MICROPY_CPYTHON_COMPAT
138136
if (n_kw != 0) {
139137
mp_arg_error_unimpl_kw();
@@ -147,19 +145,18 @@ STATIC mp_obj_t str_make_new(mp_obj_t type_in, mp_uint_t n_args, mp_uint_t n_kw,
147145
return MP_OBJ_NEW_QSTR(MP_QSTR_);
148146

149147
case 1: {
150-
vstr_t *vstr = vstr_new();
151-
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, vstr, args[0], PRINT_STR);
152-
mp_obj_t s = mp_obj_new_str(vstr->buf, vstr->len, false);
153-
vstr_free(vstr);
154-
return s;
148+
vstr_t vstr;
149+
vstr_init(&vstr, 16);
150+
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, &vstr, args[0], PRINT_STR);
151+
return mp_obj_new_str_from_vstr(type_in, &vstr);
155152
}
156153

157154
default: // 2 or 3 args
158155
// TODO: validate 2nd/3rd args
159156
if (MP_OBJ_IS_TYPE(args[0], &mp_type_bytes)) {
160157
GET_STR_DATA_LEN(args[0], str_data, str_len);
161158
GET_STR_HASH(args[0], str_hash);
162-
mp_obj_str_t *o = mp_obj_new_str_of_type(&mp_type_str, NULL, str_len);
159+
mp_obj_str_t *o = mp_obj_new_str_of_type(type_in, NULL, str_len);
163160
o->data = str_data;
164161
o->hash = str_hash;
165162
return o;
@@ -216,40 +213,23 @@ STATIC mp_obj_t bytes_make_new(mp_obj_t type_in, mp_uint_t n_args, mp_uint_t n_k
216213
return mp_obj_new_str_of_type(&mp_type_bytes, bufinfo.buf, bufinfo.len);
217214
}
218215

219-
mp_int_t len;
220-
byte *data;
221-
vstr_t *vstr = NULL;
222-
mp_obj_t o = MP_OBJ_NULL;
216+
vstr_t vstr;
223217
// Try to create array of exact len if initializer len is known
224218
mp_obj_t len_in = mp_obj_len_maybe(args[0]);
225219
if (len_in == MP_OBJ_NULL) {
226-
len = -1;
227-
vstr = vstr_new();
220+
vstr_init(&vstr, 16);
228221
} else {
229-
len = MP_OBJ_SMALL_INT_VALUE(len_in);
230-
o = mp_obj_str_builder_start(&mp_type_bytes, len, &data);
222+
mp_int_t len = MP_OBJ_SMALL_INT_VALUE(len_in);
223+
vstr_init(&vstr, len + 1);
231224
}
232225

233226
mp_obj_t iterable = mp_getiter(args[0]);
234227
mp_obj_t item;
235228
while ((item = mp_iternext(iterable)) != MP_OBJ_STOP_ITERATION) {
236-
if (len == -1) {
237-
vstr_add_char(vstr, MP_OBJ_SMALL_INT_VALUE(item));
238-
} else {
239-
*data++ = MP_OBJ_SMALL_INT_VALUE(item);
240-
}
229+
vstr_add_char(&vstr, MP_OBJ_SMALL_INT_VALUE(item));
241230
}
242231

243-
if (len == -1) {
244-
vstr_shrink(vstr);
245-
// TODO: Optimize, borrow buffer from vstr
246-
len = vstr_len(vstr);
247-
o = mp_obj_str_builder_start(&mp_type_bytes, len, &data);
248-
memcpy(data, vstr_str(vstr), len);
249-
vstr_free(vstr);
250-
}
251-
252-
return mp_obj_str_builder_end(o);
232+
return mp_obj_new_str_from_vstr(&mp_type_bytes, &vstr);
253233

254234
wrong_args:
255235
nlr_raise(mp_obj_new_exception_msg(&mp_type_TypeError, "wrong number of arguments"));
@@ -837,16 +817,17 @@ mp_obj_t mp_obj_str_format(mp_uint_t n_args, const mp_obj_t *args, mp_map_t *kwa
837817

838818
GET_STR_DATA_LEN(args[0], str, len);
839819
int arg_i = 0;
840-
vstr_t *vstr = vstr_new();
820+
vstr_t vstr;
821+
vstr_init(&vstr, 16);
841822
pfenv_t pfenv_vstr;
842-
pfenv_vstr.data = vstr;
823+
pfenv_vstr.data = &vstr;
843824
pfenv_vstr.print_strn = pfenv_vstr_add_strn;
844825

845826
for (const byte *top = str + len; str < top; str++) {
846827
if (*str == '}') {
847828
str++;
848829
if (str < top && *str == '}') {
849-
vstr_add_char(vstr, '}');
830+
vstr_add_char(&vstr, '}');
850831
continue;
851832
}
852833
if (MICROPY_ERROR_REPORTING == MICROPY_ERROR_REPORTING_TERSE) {
@@ -857,13 +838,13 @@ mp_obj_t mp_obj_str_format(mp_uint_t n_args, const mp_obj_t *args, mp_map_t *kwa
857838
}
858839
}
859840
if (*str != '{') {
860-
vstr_add_char(vstr, *str);
841+
vstr_add_char(&vstr, *str);
861842
continue;
862843
}
863844

864845
str++;
865846
if (str < top && *str == '{') {
866-
vstr_add_char(vstr, '{');
847+
vstr_add_char(&vstr, '{');
867848
continue;
868849
}
869850

@@ -996,10 +977,10 @@ mp_obj_t mp_obj_str_format(mp_uint_t n_args, const mp_obj_t *args, mp_map_t *kwa
996977
"unknown conversion specifier %c", conversion));
997978
}
998979
}
999-
vstr_t *arg_vstr = vstr_new();
1000-
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, arg_vstr, arg, print_kind);
1001-
arg = mp_obj_new_str(vstr_str(arg_vstr), vstr_len(arg_vstr), false);
1002-
vstr_free(arg_vstr);
980+
vstr_t arg_vstr;
981+
vstr_init(&arg_vstr, 16);
982+
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, &arg_vstr, arg, print_kind);
983+
arg = mp_obj_new_str_from_vstr(&mp_type_str, &arg_vstr);
1003984
}
1004985

1005986
char sign = '\0';
@@ -1243,7 +1224,7 @@ mp_obj_t mp_obj_str_format(mp_uint_t n_args, const mp_obj_t *args, mp_map_t *kwa
12431224

12441225
switch (type) {
12451226
case '\0':
1246-
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, vstr, arg, PRINT_STR);
1227+
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, &vstr, arg, PRINT_STR);
12471228
break;
12481229

12491230
case 's': {
@@ -1271,9 +1252,7 @@ mp_obj_t mp_obj_str_format(mp_uint_t n_args, const mp_obj_t *args, mp_map_t *kwa
12711252
}
12721253
}
12731254

1274-
mp_obj_t s = mp_obj_new_str(vstr->buf, vstr->len, false);
1275-
vstr_free(vstr);
1276-
return s;
1255+
return mp_obj_new_str_from_vstr(&mp_type_str, &vstr);
12771256
}
12781257

12791258
STATIC mp_obj_t str_modulo_format(mp_obj_t pattern, mp_uint_t n_args, const mp_obj_t *args, mp_obj_t dict) {
@@ -1282,22 +1261,23 @@ STATIC mp_obj_t str_modulo_format(mp_obj_t pattern, mp_uint_t n_args, const mp_o
12821261
GET_STR_DATA_LEN(pattern, str, len);
12831262
const byte *start_str = str;
12841263
int arg_i = 0;
1285-
vstr_t *vstr = vstr_new();
1264+
vstr_t vstr;
1265+
vstr_init(&vstr, 16);
12861266
pfenv_t pfenv_vstr;
1287-
pfenv_vstr.data = vstr;
1267+
pfenv_vstr.data = &vstr;
12881268
pfenv_vstr.print_strn = pfenv_vstr_add_strn;
12891269

12901270
for (const byte *top = str + len; str < top; str++) {
12911271
mp_obj_t arg = MP_OBJ_NULL;
12921272
if (*str != '%') {
1293-
vstr_add_char(vstr, *str);
1273+
vstr_add_char(&vstr, *str);
12941274
continue;
12951275
}
12961276
if (++str >= top) {
12971277
break;
12981278
}
12991279
if (*str == '%') {
1300-
vstr_add_char(vstr, '%');
1280+
vstr_add_char(&vstr, '%');
13011281
continue;
13021282
}
13031283

@@ -1426,18 +1406,19 @@ STATIC mp_obj_t str_modulo_format(mp_obj_t pattern, mp_uint_t n_args, const mp_o
14261406
case 'r':
14271407
case 's':
14281408
{
1429-
vstr_t *arg_vstr = vstr_new();
1409+
vstr_t arg_vstr;
1410+
vstr_init(&arg_vstr, 16);
14301411
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf,
1431-
arg_vstr, arg, *str == 'r' ? PRINT_REPR : PRINT_STR);
1432-
uint vlen = vstr_len(arg_vstr);
1412+
&arg_vstr, arg, *str == 'r' ? PRINT_REPR : PRINT_STR);
1413+
uint vlen = arg_vstr.len;
14331414
if (prec < 0) {
14341415
prec = vlen;
14351416
}
14361417
if (vlen > (uint)prec) {
14371418
vlen = prec;
14381419
}
1439-
pfenv_print_strn(&pfenv_vstr, vstr_str(arg_vstr), vlen, flags, ' ', width);
1440-
vstr_free(arg_vstr);
1420+
pfenv_print_strn(&pfenv_vstr, arg_vstr.buf, vlen, flags, ' ', width);
1421+
vstr_clear(&arg_vstr);
14411422
break;
14421423
}
14431424

@@ -1461,9 +1442,7 @@ STATIC mp_obj_t str_modulo_format(mp_obj_t pattern, mp_uint_t n_args, const mp_o
14611442
nlr_raise(mp_obj_new_exception_msg(&mp_type_TypeError, "not all arguments converted during string formatting"));
14621443
}
14631444

1464-
mp_obj_t s = mp_obj_new_str(vstr->buf, vstr->len, false);
1465-
vstr_free(vstr);
1466-
return s;
1445+
return mp_obj_new_str_from_vstr(&mp_type_str, &vstr);
14671446
}
14681447

14691448
STATIC mp_obj_t str_replace(mp_uint_t n_args, const mp_obj_t *args) {
@@ -1746,7 +1725,7 @@ STATIC mp_obj_t bytes_decode(mp_uint_t n_args, const mp_obj_t *args) {
17461725
args = new_args;
17471726
n_args++;
17481727
}
1749-
return str_make_new(NULL, n_args, 0, args);
1728+
return str_make_new((mp_obj_t)&mp_type_str, n_args, 0, args);
17501729
}
17511730

17521731
// TODO: should accept kwargs too
@@ -1920,6 +1899,28 @@ mp_obj_t mp_obj_new_str_of_type(const mp_obj_type_t *type, const byte* data, mp_
19201899
return o;
19211900
}
19221901

1902+
mp_obj_t mp_obj_new_str_from_vstr(const mp_obj_type_t *type, vstr_t *vstr) {
1903+
// if not a bytes object, look if a qstr with this data already exists
1904+
if (type == &mp_type_str) {
1905+
qstr q = qstr_find_strn(vstr->buf, vstr->len);
1906+
if (q != MP_QSTR_NULL) {
1907+
vstr_clear(vstr);
1908+
vstr->alloc = 0;
1909+
return MP_OBJ_NEW_QSTR(q);
1910+
}
1911+
}
1912+
1913+
// make a new str/bytes object
1914+
mp_obj_str_t *o = m_new_obj(mp_obj_str_t);
1915+
o->base.type = type;
1916+
o->len = vstr->len;
1917+
o->hash = qstr_compute_hash((byte*)vstr->buf, vstr->len);
1918+
o->data = (byte*)m_renew(char, vstr->buf, vstr->alloc, vstr->len + 1);
1919+
vstr->buf = NULL;
1920+
vstr->alloc = 0;
1921+
return o;
1922+
}
1923+
19231924
mp_obj_t mp_obj_new_str(const char* data, mp_uint_t len, bool make_qstr_if_not_already) {
19241925
if (make_qstr_if_not_already) {
19251926
// use existing, or make a new qstr

‎py/objstrunicode.c‎

Lines changed: 6 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -114,8 +114,6 @@ STATIC mp_obj_t uni_unary_op(mp_uint_t op, mp_obj_t self_in) {
114114
}
115115

116116
STATIC mp_obj_t str_make_new(mp_obj_t type_in, mp_uint_t n_args, mp_uint_t n_kw, const mp_obj_t *args) {
117-
(void)type_in;
118-
119117
#if MICROPY_CPYTHON_COMPAT
120118
if (n_kw != 0) {
121119
mp_arg_error_unimpl_kw();
@@ -126,13 +124,11 @@ STATIC mp_obj_t str_make_new(mp_obj_t type_in, mp_uint_t n_args, mp_uint_t n_kw,
126124
case 0:
127125
return MP_OBJ_NEW_QSTR(MP_QSTR_);
128126

129-
case 1:
130-
{
131-
vstr_t *vstr = vstr_new();
132-
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, vstr, args[0], PRINT_STR);
133-
mp_obj_t s = mp_obj_new_str(vstr->buf, vstr->len, false);
134-
vstr_free(vstr);
135-
return s;
127+
case 1: {
128+
vstr_t vstr;
129+
vstr_init(&vstr, 16);
130+
mp_obj_print_helper((void (*)(void*, const char*, ...))vstr_printf, &vstr, args[0], PRINT_STR);
131+
return mp_obj_new_str_from_vstr(type_in, &vstr);
136132
}
137133

138134
case 2:
@@ -142,7 +138,7 @@ STATIC mp_obj_t str_make_new(mp_obj_t type_in, mp_uint_t n_args, mp_uint_t n_kw,
142138
if (MP_OBJ_IS_TYPE(args[0], &mp_type_bytes)) {
143139
GET_STR_DATA_LEN(args[0], str_data, str_len);
144140
GET_STR_HASH(args[0], str_hash);
145-
mp_obj_str_t *o = mp_obj_new_str_of_type(&mp_type_str, NULL, str_len);
141+
mp_obj_str_t *o = mp_obj_new_str_of_type(type_in, NULL, str_len);
146142
o->data = str_data;
147143
o->hash = str_hash;
148144
return o;

‎py/stream.c‎

Lines changed: 9 additions & 11 deletions
Original file line numberDiff line numberDiff line change
@@ -156,9 +156,7 @@ STATIC mp_obj_t stream_read(mp_uint_t n_args, const mp_obj_t *args) {
156156
}
157157
}
158158

159-
mp_obj_t ret = mp_obj_new_str_of_type(&mp_type_str, (byte*)vstr.buf, vstr.len);
160-
vstr_clear(&vstr);
161-
return ret;
159+
return mp_obj_new_str_from_vstr(&mp_type_str, &vstr);
162160
}
163161
#endif
164162

@@ -251,8 +249,9 @@ STATIC mp_obj_t stream_readall(mp_obj_t self_in) {
251249
}
252250

253251
mp_uint_t total_size = 0;
254-
vstr_t *vstr = vstr_new_size(DEFAULT_BUFFER_SIZE);
255-
char *p = vstr_str(vstr);
252+
vstr_t vstr;
253+
vstr_init(&vstr, DEFAULT_BUFFER_SIZE);
254+
char *p = vstr.buf;
256255
mp_uint_t current_read = DEFAULT_BUFFER_SIZE;
257256
while (true) {
258257
int error;
@@ -278,17 +277,17 @@ STATIC mp_obj_t stream_readall(mp_obj_t self_in) {
278277
p += out_sz;
279278
} else {
280279
current_read = DEFAULT_BUFFER_SIZE;
281-
p = vstr_extend(vstr, current_read);
280+
p = vstr_extend(&vstr, current_read);
282281
if (p == NULL) {
283282
// TODO
284283
nlr_raise(mp_obj_new_exception_msg_varg(&mp_type_OSError/*&mp_type_RuntimeError*/, "Out of memory"));
285284
}
286285
}
287286
}
288287

289-
mp_obj_t s = mp_obj_new_str_of_type(STREAM_CONTENT_TYPE(o->type->stream_p), (byte*)vstr->buf, total_size);
290-
vstr_free(vstr);
291-
return s;
288+
vstr.len = total_size;
289+
vstr.buf[vstr.len] = '\0'; // XXX is there enough space?
290+
return mp_obj_new_str_from_vstr(STREAM_CONTENT_TYPE(o->type->stream_p), &vstr);
292291
}
293292

294293
// Unbuffered, inefficient implementation of readline() for raw I/O files.
@@ -348,8 +347,7 @@ STATIC mp_obj_t stream_unbuffered_readline(mp_uint_t n_args, const mp_obj_t *arg
348347
break;
349348
}
350349
}
351-
// TODO need a string creation API that doesn't copy the given data
352-
mp_obj_t ret = mp_obj_new_str_of_type(STREAM_CONTENT_TYPE(o->type->stream_p), (byte*)vstr->buf, vstr->len);
350+
mp_obj_t ret = mp_obj_new_str_from_vstr(STREAM_CONTENT_TYPE(o->type->stream_p), vstr);
353351
vstr_free(vstr);
354352
return ret;
355353
}

0 commit comments

Comments
 (0)