(1) AB と AC のなす角を ϕ とする。三角形の面積は 21∣AB∣∣AC∣sinϕ である。
また内積の定義よりAB⋅AC=∣AB∣∣AC∣cosϕである。したがって4(面積)2=∣AB∣2∣AC∣2sin2ϕ=∣AB∣2∣AC∣2(1−cos2ϕ)=∣AB∣2∣AC∣2−(AB⋅AC)2.よって面積=21∣AB∣2∣AC∣2−(AB⋅AC)2である。
(2) A を原点に取り、AB=(1,0,0),AD=(0,1,0) とおく。条件 ∠BCD=π/2 から AB⊥AD、条件 ∠FBC=π/2 から AE⊥AD である。また ∣AE∣=2、∠EAB=θ なので AE=(2cosθ,0,2sinθ) とおける。
点 P は面 EFGH 上にあり、x=EI、y=EJ であるからP=E+xAB+yAD=(x+2cosθ,y,2sinθ)である。またAC=(1,1,0),AP=(x+2cosθ,y,2sinθ)である。
(1) の公式を使うと ∣AC∣2=2 であり、∣AP∣2=(x+2cosθ)2+y2+4sin2θ また AC⋅AP=x+y+2cosθ である。したがって面積を T とすると4T2=2{(x+2cosθ)2+y2+4sin2θ}−(x+y+2cosθ)2=(x−y+2cosθ)2+8sin2θ.よって T=21(x−y+2cosθ)2+8sin2θ である。
(3)
点 P が面 EFGH 上を動くとき 0≦x≦1,0≦y≦1 である。したがって −1≦x−y≦1 である。
(2) の式では 8sin2θ は一定であるから、面積を最小にするには ∣x−y+2cosθ∣ を最小にすればよい。
もし ∣2cosθ∣≦1、すなわち ∣cosθ∣≦1/2 なら、x−y=−2cosθ とできる。このとき最小値は 218sin2θ=2sinθ である。
もし 2cosθ>1 なら、x−y は最小の −1 に取るのがよく、最小値は 21(2cosθ−1)2+8sin2θ である。
もし 2cosθ<−1 なら、x−y は最大の 1 に取るのがよく、最小値は 21(2cosθ+1)2+8sin2θ である。
したがって求める最小値は⎩⎨⎧21(2cosθ−1)2+8sin2θ2sinθ21(2cosθ+1)2+8sin2θ(0<θ<π/3),(π/3≦θ≦2π/3),(2π/3<θ<π)である。