Может быть глупый вопрос...

Как в 3ds max сделать чтобы сферы двигались в пределах какой-то части (например в кубе) произвольно и при столкновении появлялась 3-яя сфера, объём которой был равен 20% от одного и 20% от другой сферы.

неглупый. Через систему частиц, причем не так уж тривиально там настраивать, учитывая требования по обьемам.
Более подробно не скажу - сам никогда не сталкивался с подобной задачей. Для максов меньше 5го - это плагин "финкин партиклз" в 6м уже можно встроенными средствами.