(1) AB=B−A=(1,1,−1),AC=C−A=(3,1,1)である。平面 α に垂直なベクトルを (l,m,n) とすると,l+m−n=0,3l+m+n=0 を満たせばよい。この連立条件から,例えば (l,m,n)=(1,−2,−1) をとることができる。したがって α は点 A(1,1,1) を通り,法線ベクトル (1,−2,−1) をもつ平面であるから (x−1)−2(y−1)−(z−1)=0 すなわち α: x−2y−z+2=0 である。
直線 OP は α と直交するので,OP の方向はこの法線方向である。よって P=λ(1,−2,−1) とおける。これを球面 (x−1)2+(y+1)2+(z+1)2=1 に代入すると (λ−1)2+(−2λ+1)2+(−λ+1)2=1 である。整理して 6λ2−8λ+2=0 すなわち 3λ2−4λ+1=0 を得る。よって (3λ−1)(λ−1)=0 より λ=31,λ=1 である。点 P の y 座標は −2λ であり,これが −1 以下であるから −2λ≦−1⟺λ≧21 である。したがって λ=1 を選び,P=(1,−2,−1) である。
(2) P から α に下ろした垂線は直線 OP と同じ方向である。したがって垂線の足 H は,直線 OP と平面 α の交点である。 H=μ(1,−2,−1) とおくと,H が α 上にあることから μ−2(−2μ)−(−μ)+2=0 すなわち 6μ+2=0 である。よって μ=−31 となり,H=(−31,32,31) である。
一方,OA+sAB+tAC=(1,1,1)+s(1,1,−1)+t(3,1,1)であるからOA+sAB+tAC=(1+s+3t, 1+s+t, 1−s+t)である。これが OH に等しいので⎩⎨⎧1+s+3t=−31,1+s+t=32,1−s+t=31を得る。第1式から第2式を引くと 2t=−1 より t=−21 である。これを第2式に代入して 1+s−21=32 より s=61 である。したがって s=61,t=−21 である。
(3)
三角形 ABC の面積を求める。AB と AC に垂直なベクトルとして (2,−4,−2)=2(1,−2,−1) がとれるので,平行四辺形の面積は 22+(−4)2+(−2)2=24=26 である。したがって三角形 ABC の面積は 6 である。
次に,点 P(1,−2,−1) から平面 α:x−2y−z+2=0 までの距離は 12+(−2)2+(−1)2∣1−2(−2)−(−1)+2∣=68 である。よって四面体 ABCP の体積は 31⋅6⋅68=38 である。