kernel/arch/x86/include/asm/preempt.h

   1 #ifndef __ASM_PREEMPT_H
   2 #define __ASM_PREEMPT_H
   3
   4 #include <asm/rmwcc.h>
   5 #include <asm/percpu.h>
   6 #include <linux/thread_info.h>
   7
   8 DECLARE_PER_CPU(int, __preempt_count);
   9
  10 /*
  11  * We use the PREEMPT_NEED_RESCHED bit as an inverted NEED_RESCHED such
  12  * that a decrement hitting 0 means we can and should reschedule.
  13  */
  14 #define PREEMPT_ENABLED (0 + PREEMPT_NEED_RESCHED)
  15
  16 /*
  17  * We mask the PREEMPT_NEED_RESCHED bit so as not to confuse all current users
  18  * that think a non-zero value indicates we cannot preempt.
  19  */
  20 static __always_inline int preempt_count(void)
  21 {
  22         return raw_cpu_read_4(__preempt_count) & ~PREEMPT_NEED_RESCHED;
  23 }
  24
  25 static __always_inline void preempt_count_set(int pc)
  26 {
  27         raw_cpu_write_4(__preempt_count, pc);
  28 }
  29
  30 /*
  31  * must be macros to avoid header recursion hell
  32  */
  33 #define init_task_preempt_count(p) do { \
  34         task_thread_info(p)->saved_preempt_count = PREEMPT_DISABLED; \
  35 } while (0)
  36
  37 #define init_idle_preempt_count(p, cpu) do { \
  38         task_thread_info(p)->saved_preempt_count = PREEMPT_ENABLED; \
  39         per_cpu(__preempt_count, (cpu)) = PREEMPT_ENABLED; \
  40 } while (0)
  41
  42 /*
  43  * We fold the NEED_RESCHED bit into the preempt count such that
  44  * preempt_enable() can decrement and test for needing to reschedule with a
  45  * single instruction.
  46  *
  47  * We invert the actual bit, so that when the decrement hits 0 we know we both
  48  * need to resched (the bit is cleared) and can resched (no preempt count).
  49  */
  50
  51 static __always_inline void set_preempt_need_resched(void)
  52 {
  53         raw_cpu_and_4(__preempt_count, ~PREEMPT_NEED_RESCHED);
  54 }
  55
  56 static __always_inline void clear_preempt_need_resched(void)
  57 {
  58         raw_cpu_or_4(__preempt_count, PREEMPT_NEED_RESCHED);
  59 }
  60
  61 static __always_inline bool test_preempt_need_resched(void)
  62 {
  63         return !(raw_cpu_read_4(__preempt_count) & PREEMPT_NEED_RESCHED);
  64 }
  65
  66 /*
  67  * The various preempt_count add/sub methods
  68  */
  69
  70 static __always_inline void __preempt_count_add(int val)
  71 {
  72         raw_cpu_add_4(__preempt_count, val);
  73 }
  74
  75 static __always_inline void __preempt_count_sub(int val)
  76 {
  77         raw_cpu_add_4(__preempt_count, -val);
  78 }
  79
  80 /*
  81  * Because we keep PREEMPT_NEED_RESCHED set when we do _not_ need to reschedule
  82  * a decrement which hits zero means we have no preempt_count and should
  83  * reschedule.
  84  */
  85 static __always_inline bool ____preempt_count_dec_and_test(void)
  86 {
  87         GEN_UNARY_RMWcc("decl", __preempt_count, __percpu_arg(0), "e");
  88 }
  89
  90 static __always_inline bool __preempt_count_dec_and_test(void)
  91 {
  92         if (____preempt_count_dec_and_test())
  93                 return true;
  94 #ifdef CONFIG_PREEMPT_LAZY
  95         return test_thread_flag(TIF_NEED_RESCHED_LAZY);
  96 #else
  97         return false;
  98 #endif
  99 }
 100
 101 /*
 102  * Returns true when we need to resched and can (barring IRQ state).
 103  */
 104 static __always_inline bool should_resched(void)
 105 {
 106 #ifdef CONFIG_PREEMPT_LAZY
 107         return unlikely(!raw_cpu_read_4(__preempt_count) || \
 108                         test_thread_flag(TIF_NEED_RESCHED_LAZY));
 109 #else
 110         return unlikely(!raw_cpu_read_4(__preempt_count));
 111 #endif
 112 }
 113
 114 #ifdef CONFIG_PREEMPT
 115   extern asmlinkage void ___preempt_schedule(void);
 116 # define __preempt_schedule() asm ("call ___preempt_schedule")
 117   extern asmlinkage void preempt_schedule(void);
 118 # ifdef CONFIG_CONTEXT_TRACKING
 119     extern asmlinkage void ___preempt_schedule_context(void);
 120 #   define __preempt_schedule_context() asm ("call ___preempt_schedule_context")
 121     extern asmlinkage void preempt_schedule_context(void);
 122 # endif
 123 #endif
 124
 125 #endif /* __ASM_PREEMPT_H */