kernel/include/linux/lglock.h

   1 /*
   2  * Specialised local-global spinlock. Can only be declared as global variables
   3  * to avoid overhead and keep things simple (and we don't want to start using
   4  * these inside dynamically allocated structures).
   5  *
   6  * "local/global locks" (lglocks) can be used to:
   7  *
   8  * - Provide fast exclusive access to per-CPU data, with exclusive access to
   9  *   another CPU's data allowed but possibly subject to contention, and to
  10  *   provide very slow exclusive access to all per-CPU data.
  11  * - Or to provide very fast and scalable read serialisation, and to provide
  12  *   very slow exclusive serialisation of data (not necessarily per-CPU data).
  13  *
  14  * Brlocks are also implemented as a short-hand notation for the latter use
  15  * case.
  16  *
  17  * Copyright 2009, 2010, Nick Piggin, Novell Inc.
  18  */
  19 #ifndef __LINUX_LGLOCK_H
  20 #define __LINUX_LGLOCK_H
  21
  22 #include <linux/spinlock.h>
  23 #include <linux/lockdep.h>
  24 #include <linux/percpu.h>
  25 #include <linux/cpu.h>
  26 #include <linux/notifier.h>
  27
  28 #ifdef CONFIG_SMP
  29
  30 #ifdef CONFIG_DEBUG_LOCK_ALLOC
  31 #define LOCKDEP_INIT_MAP lockdep_init_map
  32 #else
  33 #define LOCKDEP_INIT_MAP(a, b, c, d)
  34 #endif
  35
  36 struct lglock {
  37 #ifndef CONFIG_PREEMPT_RT_FULL
  38         arch_spinlock_t __percpu *lock;
  39 #else
  40         struct rt_mutex __percpu *lock;
  41 #endif
  42 #ifdef CONFIG_DEBUG_LOCK_ALLOC
  43         struct lock_class_key lock_key;
  44         struct lockdep_map    lock_dep_map;
  45 #endif
  46 };
  47
  48 #ifndef CONFIG_PREEMPT_RT_FULL
  49 # define DEFINE_LGLOCK(name)                                            \
  50         static DEFINE_PER_CPU(arch_spinlock_t, name ## _lock)           \
  51         = __ARCH_SPIN_LOCK_UNLOCKED;                                    \
  52         struct lglock name = { .lock = &name ## _lock }
  53
  54 # define DEFINE_STATIC_LGLOCK(name)                                     \
  55         static DEFINE_PER_CPU(arch_spinlock_t, name ## _lock)           \
  56         = __ARCH_SPIN_LOCK_UNLOCKED;                                    \
  57         static struct lglock name = { .lock = &name ## _lock }
  58 #else
  59
  60 # define DEFINE_LGLOCK(name)                                            \
  61         static DEFINE_PER_CPU(struct rt_mutex, name ## _lock)           \
  62         = __RT_MUTEX_INITIALIZER( name ## _lock);                       \
  63         struct lglock name = { .lock = &name ## _lock }
  64
  65 # define DEFINE_STATIC_LGLOCK(name)                                     \
  66         static DEFINE_PER_CPU(struct rt_mutex, name ## _lock)           \
  67         = __RT_MUTEX_INITIALIZER( name ## _lock);                       \
  68         static struct lglock name = { .lock = &name ## _lock }
  69 #endif
  70
  71 void lg_lock_init(struct lglock *lg, char *name);
  72 void lg_local_lock(struct lglock *lg);
  73 void lg_local_unlock(struct lglock *lg);
  74 void lg_local_lock_cpu(struct lglock *lg, int cpu);
  75 void lg_local_unlock_cpu(struct lglock *lg, int cpu);
  76 void lg_global_lock(struct lglock *lg);
  77 void lg_global_unlock(struct lglock *lg);
  78
  79 #ifndef CONFIG_PREEMPT_RT_FULL
  80 #define lg_global_trylock_relax(name)   lg_global_lock(name)
  81 #else
  82 void lg_global_trylock_relax(struct lglock *lg);
  83 #endif
  84
  85 #else
  86 /* When !CONFIG_SMP, map lglock to spinlock */
  87 #define lglock spinlock
  88 #define DEFINE_LGLOCK(name) DEFINE_SPINLOCK(name)
  89 #define DEFINE_STATIC_LGLOCK(name) static DEFINE_SPINLOCK(name)
  90 #define lg_lock_init(lg, name) spin_lock_init(lg)
  91 #define lg_local_lock spin_lock
  92 #define lg_local_unlock spin_unlock
  93 #define lg_local_lock_cpu(lg, cpu) spin_lock(lg)
  94 #define lg_local_unlock_cpu(lg, cpu) spin_unlock(lg)
  95 #define lg_global_lock spin_lock
  96 #define lg_global_unlock spin_unlock
  97 #endif
  98
  99 #endif