Страх наказания неадекватен самим наказаниям

Прошу прощения за долгую преамбулу.
Мой сын панически боится, что я буду его ругать. Это у него перекликается со страхом, что он с чем-то не справится. Получив задание, которое вызывает трудности, он начинает рыдать. Вчера у папы потеряв флакончик с лекарством, он тоже истерил, что мама будет ругаться. Я считаю, что у него паническая боязнь не оправдать моих ожиданий и завышенные требования к себе.
Что делать?
поднимать самооценку? в течении нескольких лет это делаем.
не ругать совсем и никак и ни за что? так можно и на шею сесть, а впереди у нас школа, дисциплина, все дела.
что делать, чтобы снять у него эту неадекватную реакцию, ведь я не ору на него, не бью его, и когда высказываю свое недовольство, всегда аргументирую и говорю, как исправить, если можно исправить.