These changes are the raw update to linux-4.4.6-rt14. Kernel sources
[kvmfornfv.git] / kernel / tools / perf / util / map.c
index a14f08f..afc6b56 100644 (file)
@@ -16,6 +16,8 @@
 #include "machine.h"
 #include <linux/string.h>
 
+static void __maps__insert(struct maps *maps, struct map *map);
+
 const char *map_type__name[MAP__NR_TYPES] = {
        [MAP__FUNCTION] = "Functions",
        [MAP__VARIABLE] = "Variables",
@@ -130,13 +132,13 @@ void map__init(struct map *map, enum map_type type,
        map->end      = end;
        map->pgoff    = pgoff;
        map->reloc    = 0;
-       map->dso      = dso;
+       map->dso      = dso__get(dso);
        map->map_ip   = map__map_ip;
        map->unmap_ip = map__unmap_ip;
        RB_CLEAR_NODE(&map->rb_node);
        map->groups   = NULL;
-       map->referenced = false;
        map->erange_warned = false;
+       atomic_set(&map->refcnt, 1);
 }
 
 struct map *map__new(struct machine *machine, u64 start, u64 len,
@@ -175,9 +177,9 @@ struct map *map__new(struct machine *machine, u64 start, u64 len,
 
                if (vdso) {
                        pgoff = 0;
-                       dso = vdso__dso_findnew(machine, thread);
+                       dso = machine__findnew_vdso(machine, thread);
                } else
-                       dso = __dsos__findnew(&machine->user_dsos, filename);
+                       dso = machine__findnew_dso(machine, filename);
 
                if (dso == NULL)
                        goto out_delete;
@@ -195,6 +197,7 @@ struct map *map__new(struct machine *machine, u64 start, u64 len,
                        if (type != MAP__FUNCTION)
                                dso__set_loaded(dso, map->type);
                }
+               dso__put(dso);
        }
        return map;
 out_delete:
@@ -221,11 +224,38 @@ struct map *map__new2(u64 start, struct dso *dso, enum map_type type)
        return map;
 }
 
+/*
+ * Use this and __map__is_kmodule() for map instances that are in
+ * machine->kmaps, and thus have map->groups->machine all properly set, to
+ * disambiguate between the kernel and modules.
+ *
+ * When the need arises, introduce map__is_{kernel,kmodule)() that
+ * checks (map->groups != NULL && map->groups->machine != NULL &&
+ * map->dso->kernel) before calling __map__is_{kernel,kmodule}())
+ */
+bool __map__is_kernel(const struct map *map)
+{
+       return __machine__kernel_map(map->groups->machine, map->type) == map;
+}
+
+static void map__exit(struct map *map)
+{
+       BUG_ON(!RB_EMPTY_NODE(&map->rb_node));
+       dso__zput(map->dso);
+}
+
 void map__delete(struct map *map)
 {
+       map__exit(map);
        free(map);
 }
 
+void map__put(struct map *map)
+{
+       if (map && atomic_dec_and_test(&map->refcnt))
+               map__delete(map);
+}
+
 void map__fixup_start(struct map *map)
 {
        struct rb_root *symbols = &map->dso->symbols[map->type];
@@ -292,6 +322,11 @@ int map__load(struct map *map, symbol_filter_t filter)
        return 0;
 }
 
+int __weak arch__compare_symbol_names(const char *namea, const char *nameb)
+{
+       return strcmp(namea, nameb);
+}
+
 struct symbol *map__find_symbol(struct map *map, u64 addr,
                                symbol_filter_t filter)
 {
@@ -313,9 +348,18 @@ struct symbol *map__find_symbol_by_name(struct map *map, const char *name,
        return dso__find_symbol_by_name(map->dso, map->type, name);
 }
 
-struct map *map__clone(struct map *map)
+struct map *map__clone(struct map *from)
 {
-       return memdup(map, sizeof(*map));
+       struct map *map = memdup(from, sizeof(*map));
+
+       if (map != NULL) {
+               atomic_set(&map->refcnt, 1);
+               RB_CLEAR_NODE(&map->rb_node);
+               dso__get(map->dso);
+               map->groups = NULL;
+       }
+
+       return map;
 }
 
 int map__overlap(struct map *l, struct map *r)
@@ -413,48 +457,49 @@ u64 map__objdump_2mem(struct map *map, u64 ip)
        return ip + map->reloc;
 }
 
+static void maps__init(struct maps *maps)
+{
+       maps->entries = RB_ROOT;
+       pthread_rwlock_init(&maps->lock, NULL);
+}
+
 void map_groups__init(struct map_groups *mg, struct machine *machine)
 {
        int i;
        for (i = 0; i < MAP__NR_TYPES; ++i) {
-               mg->maps[i] = RB_ROOT;
-               INIT_LIST_HEAD(&mg->removed_maps[i]);
+               maps__init(&mg->maps[i]);
        }
        mg->machine = machine;
-       mg->refcnt = 1;
+       atomic_set(&mg->refcnt, 1);
 }
 
-static void maps__delete(struct rb_root *maps)
+static void __maps__purge(struct maps *maps)
 {
-       struct rb_node *next = rb_first(maps);
+       struct rb_root *root = &maps->entries;
+       struct rb_node *next = rb_first(root);
 
        while (next) {
                struct map *pos = rb_entry(next, struct map, rb_node);
 
                next = rb_next(&pos->rb_node);
-               rb_erase(&pos->rb_node, maps);
-               map__delete(pos);
+               rb_erase_init(&pos->rb_node, root);
+               map__put(pos);
        }
 }
 
-static void maps__delete_removed(struct list_head *maps)
+static void maps__exit(struct maps *maps)
 {
-       struct map *pos, *n;
-
-       list_for_each_entry_safe(pos, n, maps, node) {
-               list_del(&pos->node);
-               map__delete(pos);
-       }
+       pthread_rwlock_wrlock(&maps->lock);
+       __maps__purge(maps);
+       pthread_rwlock_unlock(&maps->lock);
 }
 
 void map_groups__exit(struct map_groups *mg)
 {
        int i;
 
-       for (i = 0; i < MAP__NR_TYPES; ++i) {
-               maps__delete(&mg->maps[i]);
-               maps__delete_removed(&mg->removed_maps[i]);
-       }
+       for (i = 0; i < MAP__NR_TYPES; ++i)
+               maps__exit(&mg->maps[i]);
 }
 
 bool map_groups__empty(struct map_groups *mg)
@@ -464,8 +509,6 @@ bool map_groups__empty(struct map_groups *mg)
        for (i = 0; i < MAP__NR_TYPES; ++i) {
                if (maps__first(&mg->maps[i]))
                        return false;
-               if (!list_empty(&mg->removed_maps[i]))
-                       return false;
        }
 
        return true;
@@ -489,32 +532,10 @@ void map_groups__delete(struct map_groups *mg)
 
 void map_groups__put(struct map_groups *mg)
 {
-       if (--mg->refcnt == 0)
+       if (mg && atomic_dec_and_test(&mg->refcnt))
                map_groups__delete(mg);
 }
 
-void map_groups__flush(struct map_groups *mg)
-{
-       int type;
-
-       for (type = 0; type < MAP__NR_TYPES; type++) {
-               struct rb_root *root = &mg->maps[type];
-               struct rb_node *next = rb_first(root);
-
-               while (next) {
-                       struct map *pos = rb_entry(next, struct map, rb_node);
-                       next = rb_next(&pos->rb_node);
-                       rb_erase(&pos->rb_node, root);
-                       /*
-                        * We may have references to this map, for
-                        * instance in some hist_entry instances, so
-                        * just move them to a separate list.
-                        */
-                       list_add_tail(&pos->node, &mg->removed_maps[pos->type]);
-               }
-       }
-}
-
 struct symbol *map_groups__find_symbol(struct map_groups *mg,
                                       enum map_type type, u64 addr,
                                       struct map **mapp,
@@ -532,26 +553,41 @@ struct symbol *map_groups__find_symbol(struct map_groups *mg,
        return NULL;
 }
 
-struct symbol *map_groups__find_symbol_by_name(struct map_groups *mg,
-                                              enum map_type type,
-                                              const char *name,
-                                              struct map **mapp,
-                                              symbol_filter_t filter)
+struct symbol *maps__find_symbol_by_name(struct maps *maps, const char *name,
+                                        struct map **mapp, symbol_filter_t filter)
 {
+       struct symbol *sym;
        struct rb_node *nd;
 
-       for (nd = rb_first(&mg->maps[type]); nd; nd = rb_next(nd)) {
+       pthread_rwlock_rdlock(&maps->lock);
+
+       for (nd = rb_first(&maps->entries); nd; nd = rb_next(nd)) {
                struct map *pos = rb_entry(nd, struct map, rb_node);
-               struct symbol *sym = map__find_symbol_by_name(pos, name, filter);
+
+               sym = map__find_symbol_by_name(pos, name, filter);
 
                if (sym == NULL)
                        continue;
                if (mapp != NULL)
                        *mapp = pos;
-               return sym;
+               goto out;
        }
 
-       return NULL;
+       sym = NULL;
+out:
+       pthread_rwlock_unlock(&maps->lock);
+       return sym;
+}
+
+struct symbol *map_groups__find_symbol_by_name(struct map_groups *mg,
+                                              enum map_type type,
+                                              const char *name,
+                                              struct map **mapp,
+                                              symbol_filter_t filter)
+{
+       struct symbol *sym = maps__find_symbol_by_name(&mg->maps[type], name, mapp, filter);
+
+       return sym;
 }
 
 int map_groups__find_ams(struct addr_map_symbol *ams, symbol_filter_t filter)
@@ -571,73 +607,60 @@ int map_groups__find_ams(struct addr_map_symbol *ams, symbol_filter_t filter)
        return ams->sym ? 0 : -1;
 }
 
-size_t __map_groups__fprintf_maps(struct map_groups *mg, enum map_type type,
-                                 FILE *fp)
+static size_t maps__fprintf(struct maps *maps, FILE *fp)
 {
-       size_t printed = fprintf(fp, "%s:\n", map_type__name[type]);
+       size_t printed = 0;
        struct rb_node *nd;
 
-       for (nd = rb_first(&mg->maps[type]); nd; nd = rb_next(nd)) {
+       pthread_rwlock_rdlock(&maps->lock);
+
+       for (nd = rb_first(&maps->entries); nd; nd = rb_next(nd)) {
                struct map *pos = rb_entry(nd, struct map, rb_node);
                printed += fprintf(fp, "Map:");
                printed += map__fprintf(pos, fp);
                if (verbose > 2) {
-                       printed += dso__fprintf(pos->dso, type, fp);
+                       printed += dso__fprintf(pos->dso, pos->type, fp);
                        printed += fprintf(fp, "--\n");
                }
        }
 
-       return printed;
-}
+       pthread_rwlock_unlock(&maps->lock);
 
-static size_t map_groups__fprintf_maps(struct map_groups *mg, FILE *fp)
-{
-       size_t printed = 0, i;
-       for (i = 0; i < MAP__NR_TYPES; ++i)
-               printed += __map_groups__fprintf_maps(mg, i, fp);
        return printed;
 }
 
-static size_t __map_groups__fprintf_removed_maps(struct map_groups *mg,
-                                                enum map_type type, FILE *fp)
+size_t __map_groups__fprintf_maps(struct map_groups *mg, enum map_type type,
+                                 FILE *fp)
 {
-       struct map *pos;
-       size_t printed = 0;
-
-       list_for_each_entry(pos, &mg->removed_maps[type], node) {
-               printed += fprintf(fp, "Map:");
-               printed += map__fprintf(pos, fp);
-               if (verbose > 1) {
-                       printed += dso__fprintf(pos->dso, type, fp);
-                       printed += fprintf(fp, "--\n");
-               }
-       }
-       return printed;
+       size_t printed = fprintf(fp, "%s:\n", map_type__name[type]);
+       return printed += maps__fprintf(&mg->maps[type], fp);
 }
 
-static size_t map_groups__fprintf_removed_maps(struct map_groups *mg,
-                                              FILE *fp)
+size_t map_groups__fprintf(struct map_groups *mg, FILE *fp)
 {
        size_t printed = 0, i;
        for (i = 0; i < MAP__NR_TYPES; ++i)
-               printed += __map_groups__fprintf_removed_maps(mg, i, fp);
+               printed += __map_groups__fprintf_maps(mg, i, fp);
        return printed;
 }
 
-size_t map_groups__fprintf(struct map_groups *mg, FILE *fp)
+static void __map_groups__insert(struct map_groups *mg, struct map *map)
 {
-       size_t printed = map_groups__fprintf_maps(mg, fp);
-       printed += fprintf(fp, "Removed maps:\n");
-       return printed + map_groups__fprintf_removed_maps(mg, fp);
+       __maps__insert(&mg->maps[map->type], map);
+       map->groups = mg;
 }
 
-int map_groups__fixup_overlappings(struct map_groups *mg, struct map *map,
-                                  FILE *fp)
+static int maps__fixup_overlappings(struct maps *maps, struct map *map, FILE *fp)
 {
-       struct rb_root *root = &mg->maps[map->type];
-       struct rb_node *next = rb_first(root);
+       struct rb_root *root;
+       struct rb_node *next;
        int err = 0;
 
+       pthread_rwlock_wrlock(&maps->lock);
+
+       root = &maps->entries;
+       next = rb_first(root);
+
        while (next) {
                struct map *pos = rb_entry(next, struct map, rb_node);
                next = rb_next(&pos->rb_node);
@@ -651,7 +674,7 @@ int map_groups__fixup_overlappings(struct map_groups *mg, struct map *map,
                        map__fprintf(pos, fp);
                }
 
-               rb_erase(&pos->rb_node, root);
+               rb_erase_init(&pos->rb_node, root);
                /*
                 * Now check if we need to create new maps for areas not
                 * overlapped by the new map:
@@ -661,11 +684,11 @@ int map_groups__fixup_overlappings(struct map_groups *mg, struct map *map,
 
                        if (before == NULL) {
                                err = -ENOMEM;
-                               goto move_map;
+                               goto put_map;
                        }
 
                        before->end = map->start;
-                       map_groups__insert(mg, before);
+                       __map_groups__insert(pos->groups, before);
                        if (verbose >= 2)
                                map__fprintf(before, fp);
                }
@@ -675,28 +698,31 @@ int map_groups__fixup_overlappings(struct map_groups *mg, struct map *map,
 
                        if (after == NULL) {
                                err = -ENOMEM;
-                               goto move_map;
+                               goto put_map;
                        }
 
                        after->start = map->end;
-                       map_groups__insert(mg, after);
+                       __map_groups__insert(pos->groups, after);
                        if (verbose >= 2)
                                map__fprintf(after, fp);
                }
-move_map:
-               /*
-                * If we have references, just move them to a separate list.
-                */
-               if (pos->referenced)
-                       list_add_tail(&pos->node, &mg->removed_maps[map->type]);
-               else
-                       map__delete(pos);
+put_map:
+               map__put(pos);
 
                if (err)
-                       return err;
+                       goto out;
        }
 
-       return 0;
+       err = 0;
+out:
+       pthread_rwlock_unlock(&maps->lock);
+       return err;
+}
+
+int map_groups__fixup_overlappings(struct map_groups *mg, struct map *map,
+                                  FILE *fp)
+{
+       return maps__fixup_overlappings(&mg->maps[map->type], map, fp);
 }
 
 /*
@@ -705,20 +731,28 @@ move_map:
 int map_groups__clone(struct map_groups *mg,
                      struct map_groups *parent, enum map_type type)
 {
-       struct rb_node *nd;
-       for (nd = rb_first(&parent->maps[type]); nd; nd = rb_next(nd)) {
-               struct map *map = rb_entry(nd, struct map, rb_node);
+       int err = -ENOMEM;
+       struct map *map;
+       struct maps *maps = &parent->maps[type];
+
+       pthread_rwlock_rdlock(&maps->lock);
+
+       for (map = maps__first(maps); map; map = map__next(map)) {
                struct map *new = map__clone(map);
                if (new == NULL)
-                       return -ENOMEM;
+                       goto out_unlock;
                map_groups__insert(mg, new);
        }
-       return 0;
+
+       err = 0;
+out_unlock:
+       pthread_rwlock_unlock(&maps->lock);
+       return err;
 }
 
-void maps__insert(struct rb_root *maps, struct map *map)
+static void __maps__insert(struct maps *maps, struct map *map)
 {
-       struct rb_node **p = &maps->rb_node;
+       struct rb_node **p = &maps->entries.rb_node;
        struct rb_node *parent = NULL;
        const u64 ip = map->start;
        struct map *m;
@@ -733,20 +767,38 @@ void maps__insert(struct rb_root *maps, struct map *map)
        }
 
        rb_link_node(&map->rb_node, parent, p);
-       rb_insert_color(&map->rb_node, maps);
+       rb_insert_color(&map->rb_node, &maps->entries);
+       map__get(map);
 }
 
-void maps__remove(struct rb_root *maps, struct map *map)
+void maps__insert(struct maps *maps, struct map *map)
 {
-       rb_erase(&map->rb_node, maps);
+       pthread_rwlock_wrlock(&maps->lock);
+       __maps__insert(maps, map);
+       pthread_rwlock_unlock(&maps->lock);
 }
 
-struct map *maps__find(struct rb_root *maps, u64 ip)
+static void __maps__remove(struct maps *maps, struct map *map)
 {
-       struct rb_node **p = &maps->rb_node;
-       struct rb_node *parent = NULL;
+       rb_erase_init(&map->rb_node, &maps->entries);
+       map__put(map);
+}
+
+void maps__remove(struct maps *maps, struct map *map)
+{
+       pthread_rwlock_wrlock(&maps->lock);
+       __maps__remove(maps, map);
+       pthread_rwlock_unlock(&maps->lock);
+}
+
+struct map *maps__find(struct maps *maps, u64 ip)
+{
+       struct rb_node **p, *parent = NULL;
        struct map *m;
 
+       pthread_rwlock_rdlock(&maps->lock);
+
+       p = &maps->entries.rb_node;
        while (*p != NULL) {
                parent = *p;
                m = rb_entry(parent, struct map, rb_node);
@@ -755,22 +807,25 @@ struct map *maps__find(struct rb_root *maps, u64 ip)
                else if (ip >= m->end)
                        p = &(*p)->rb_right;
                else
-                       return m;
+                       goto out;
        }
 
-       return NULL;
+       m = NULL;
+out:
+       pthread_rwlock_unlock(&maps->lock);
+       return m;
 }
 
-struct map *maps__first(struct rb_root *maps)
+struct map *maps__first(struct maps *maps)
 {
-       struct rb_node *first = rb_first(maps);
+       struct rb_node *first = rb_first(&maps->entries);
 
        if (first)
                return rb_entry(first, struct map, rb_node);
        return NULL;
 }
 
-struct map *maps__next(struct map *map)
+struct map *map__next(struct map *map)
 {
        struct rb_node *next = rb_next(&map->rb_node);