А разве можно так? Насколько я знаю во время каста нельзя жать никакие шмотки. Но если у тебя при нажатии рефрешера сбивается блекхол, то тебе нужно убрать галочку с кнопки "прерывать действия нажатием отдельной кнопки" и тогда рефреш применится сразу как каст закончится