Нельзя все транзисторы ставить на один радиатор. Минимум два для левого и правого плеча схемы. Нужен обязательно обдув - любой вентилятор от компьютера (корпусной, от блока питания). Транзисторы MOSFET можно включать в параллель для увеличения тока, хотя на холостом ходу токи не большие и грется не должны. Провода схемы сделать как можно короче, кроме проводов к мотору и аккумулятору. Еще возможно самовозбуждение схемы- тут к специалистам электронщикам надо. Хотя вроде за это отвечают конденсаторы. Проверьте еще раз их номинал и целостность корпусов. Возможно нужно поменять емкость конденсаторов или вообще их выкинуть. По идее схема должна работать и без конденсаторов. Но дать гарантию не могу. Обычно самовозбуждение схемы зависит от монтажа, неудачное расположение деталей или большая длина проводов, материал платы могут привести к самовозбуждению схемы и в результате нагрев транзисторов. На чем схему собирали для проверки? Лучше всего стеклотекстолит, монтаж можно навесной (кусочками проводов), но покомпактнее.
Попробуйте сделать аккуратный монтаж и проверить всю схему и номиналы деталей. Если не поможет поигратся емкостью конденсаторов. Например 10 наноФарад nF (10000 pF=0.01 микроФарад), 330 pF пикофарад, или вообще без них. Электронщики при самовозбуждение схемы смотрят сигнал осциллографом и подбирают конденсатор от емкости несколько десятков пикофарад (pF) и увеличивают до минимальной емкости при которой удалость убрать возбуждение