直接cos40°を求めるなら方程式は違うと思います。
3倍角の公式cos(3θ)=4(cosθ\()^{3}\)-3cosθ　において、
θ=40°を代入すると
4(cos40°\()^{3}\)-3cos40°=cos120°=-\(\frac{1}{2}\)より
cos40°=xとおくと
4\(x^{3}\)-3x=-\(\frac{1}{2}\)
よって、8\(x^{3}\)-6x+1=0の解を求めることになると思います。どうでしょう？