> еще есть условие ai+bi+ci=1
Я что-то не понимаю - если коэффциенты a, b и c (все 9 штук) известны, то в чем смысл дополнительного условия? А если не известны, то что тогда вообще известно?
> один из корней равен 0
В смысле - (x, y, z) = (0, 0, 0)? Такое возможно только если у тебя A = 0. Или A - тоже неизвестное?