(1) t=−sinx+3cosx とおく。二乗すると t2=sin2x−23sinxcosx+3cos2x である。sin2x+cos2x=1 を用いると t2=1+2cos2x−23sinxcosx である。したがって絶対値の中身は 2cos2x−23sinxcosx−sinx+3cosx−45 =(t2−1)+t−45=t2+t−49 となる。よって f(x)=t2+t−49 である。
(2) t=−sinx+3cosx=2cos(x+30∘) である。0∘≦x≦90∘ のとき 30∘≦x+30∘≦120∘ であり、この範囲で cos は単調減少する。したがって 2cos120∘≦t≦2cos30∘ すなわち −1≦t≦3 である。
(3) g(t)=t2+t−49 とおく。−1≦t≦3 で考えると、g(t) は t=−1/2 で最小値 g(−21)=−25 をとる。また g(−1)=−49,g(3)=3+43 である。さらに g(t)=0 の正の解 t=2−1+10 は [−1,3] に含まれるので、∣g(t)∣ の最小値は0である。
一方、∣g(t)∣ の最大値は、g の最小値の絶対値と端点の絶対値を比べればよい。上の値から最大は −25=25 である。したがって 0≦f(x)≦25 である。
最大値をとるのは t=−21 のときである。すなわち 2cos(x+30∘)=−21 であるから cos(x+30∘)=−41 である。このとき x+30∘>90∘ なので x>60∘ である。また cos105∘=42−6<−41 であり、cos は [30∘,120∘] で単調減少する。cos(x+30∘)=−1/4 は cos105∘ より大きいから x+30∘<105∘ である。よって 60∘<x<75∘ を満たす。