[선형대수] 1일차 - 선형성과 1차 연립방정식의 의미

※ 이 글은 한양대학교 이상화교수님의 선형대수 유튜브 강의를 보며 정리한 글입니다. 잘못 이해한 부분이 있을 수도 있으니 많은 피드백 부탁드리겠습니다. 감사합니다. [유튜브 바로가기]

선형성 (Linearity)

선형성 - 조건

1) superposition
$$
f(x_1 + x_2) = f(x_1) + f(x_2)
$$
superposition은 두 변수의 합을 먼저 하고 함수의 결과를 구한 것과 각 변수끼리 함수의 결과를 구하고 그 결과를 더한 것이 같다는 성질이다.

2) homogeniety
$$
f(ax) = af(x)
$$
homogeniety는 변수에 constant(상수)를 먼저 곱하고 함수의 결과를 구한 것과 변수에 대한 함수의 결과를 구한 후 상수를 곱한것이랑 같다는 성질이다.

3) 합쳐서
$$
\begin{aligned}
f(a_1x_1 + a_2x_2) = af(x_1) + a_2f(x_2)
\end{aligned}
$$

위 식이 성립하는 것을 선형성이 있다고 말하고, 이것이 선형성의 정의이기도 하다. 이는 Function(함수)에 대해 성립하기도 하지만 Operation(연산)에 대해 성립할 수도 있다. 여기서 operation은 미분연산, 적분연산 등을 말한다.

또한 이 선형성을 만족하게 되면 이 함수를 행렬로 나타낼 수 있다는 것도 기억해두면 좋을 것 같다.

선형성 - 함수

\( f(a_1x_1 + a_2x_2) = af(x_1) + a_2f(x_2) \) 식에 대해 더 살펴보자. 먼저 함수에 대한 표현이다. 지금까지 함수로 표현했기에 이해하기 쉬울 것 같다.

1) \( y = mx = f(x_1) \)
$$
y = f(x) \rightarrow f(a_1x_1 + a_2x_2) = m(a_1x_2 + a_2x_2) = a_1mx_1 + a_2mx_2 = a_1f(x_1) + a_2f(x_2)
$$
이렇게 함수가 선형성을 만족하는 것을 확인할 수 있다. 단 여기서 선형성을 만족하기 위해선 반드시 원점을 지나야 한다. 또한 순수 1차항만 있어야 선형성을 만족한다. 두번째 식을 살펴보자.

2) \(y = mx + n \quad (n \ne 0)\)
$$
f(a_1x_1 + a_2x_2) = m(a_1x_1 + a_2x_2) + n \ne a_1(mx_1 + n) + a_2(mx_2 + n)
$$
이 두번째 식으로 알 수 있는 것은 직선이라고 해서 다 선형적인 것은 아니라는 것이다. 여기서 선형성을 굳이 찾으려고 한다면 x의 변화량과 y의 변화량 사이에 선형성을 갖는다고 말할 수 있다(직선의 방정식이므로).

이렇게 선형성을 만족하기 위해선 직선이어야 하고 원점을 통과해야 하는 것을 알 수 있었다.

선형성 - Operation(미분, 적분)

\( x_1(t)\) 와 \(x_2(t) \) 이렇게 두개의 함수가 있다고 해보자. 이 두식으로 다음 operation이 성립한다.
$$
\begin{aligned}
& (1) \frac{d}{dt}(a_1x_1(t) + a_2x_2(t)) = a_1\frac{d}{dt}x_1(t) + a_2\frac{d}{dt}x_2(t) \newline
& (2) \int (a_1x_1(t) + a_2x_2(t))dt = a_1\int (x_1(t))dt + a_2\int (x_2(t))dt
\end{aligned}
$$
여기서는 두 미분과 적분 연산도 마찬가지로 선형성을 만족할 수 있다는 것을 살펴본 것이다.

선형성 - 벡터와 행렬

벡터 표현

벡터 표현을 지금까지는 \(V = \begin{pmatrix}a &b &c\end{pmatrix}\) 로 해왔다. 이를 row vector (행벡터)라고 한다. 우리가 이제부터 사용할 표기법은 column vector 라는 것이다.
$$
V = \begin{pmatrix}
a \\
b \\
c \\
\end{pmatrix}
$$
위와 같이 벡터 V를 표현하는 표기법을 column vector(열벡터)라고 말한다.

Transpose(전치)

row표기를 column표기로, column표기를 row표기로 전환하는 것을 Transpose라고 한다. 따라서 우리는 벡터를 다음과 같이도 쓸 수 있다.
$$
V = (a, b, c)^T
$$
지금까지 이렇게 벡터의 열벡터 표현을 알아본 이유는 바로 아래에서 볼 선형조합(Linear Combination)에 관한 내용 때문이다. 여기서는 열벡터로 표현된 두개의 벡터를 행렬로 표현하는 것을 살펴볼 것이다. 벡터와 행렬간의 관계가 대두되는 대목인 것이다. 따라서 벡터의 열벡터 표현을 여기서 살펴봤다. 하지만 선형조합을 살펴보기 전에 앞서 행렬과 벡터 각각의 개념을 조금 더 살펴보려 한다.

행렬 기본 개념

그림에서 볼 수 있듯이, 행렬은 row와 column으로 이루어진 수의 모임이다. row와 column 각각을 행과 열로 번역할 수 있고, row가 m개, column이 n개의 칸을 가지고 있을 때, 이 행렬은 m x n 으로 정의할 수 있다.

행렬의 덧셈 뺄셈

행렬간의 크기가 같을 때에만 행렬간의 덧셈 뺄셈이 가능하다. 

행렬의 곱셈

행렬 곱셈은 행렬곱이라고 불리며, 행렬곱에서는 위 그림과 같이 첫번째 행렬의 row를 두번째 행렬의 column과 곱한 후 전부 더해서 결과로 나오는 행렬에 넣는 방식으로 계산한다(과정은 자세히 다루지 않으니 이 과정에 대해 더 알고 싶으시다면 다른 블로그를 참고해주시면 감사하겠습니다). 여기서 주의해야 할 점은 첫번째 행렬의 column수와 두번째 행렬의 row수가 동일해야 하는 것이다. 또한 행렬곱은 교환법칙이 성립되지 않는다. 즉 \(AB \ne BA\)인 것이다.

행렬의 항등원

이 항등원은 다음의 성질을 갖는다.
$$
AI = IA = A
$$
$$
I = E = \begin{pmatrix}
1 0 0 0 \\
0 1 0 0 \\
0 0 1 0 \\
0 0 0 1 \\
\end{pmatrix}
$$
위에서 행렬을 4x4 행렬로 살펴봤지만 A의 크기에 따라 항등원 또한 그에 맞춰 달라진다. 여기서 주의할 점은 위 성질처럼 교환법칙이 성립하기 위해서는 행렬 A는 정방 행렬이어야 한다는 것이다. 이러한 성질을 갖는 항등원 행렬을 Identity Matrix 라고 하며, 기호는 보통 I를 쓴다. 이렇게 항등원의 정의를 살펴봤으면 역원의 정의도 살펴볼 수 있다.

정방행렬 : N x N의 크기를 갖는 행렬을 말한다. 즉 row와 column 크기가 동일한 행렬이다.

행렬의 역원

역원은 다음의 성질을 갖는다.
$$
AA^{-1} = A^{-1}A = I
$$
이 행렬을 Inverse Matrix(역행렬) 이라고 한다. 이 역행렬을 구하는 공식은 다음과 같다.

\(A = \begin{pmatrix}
a & b \\
c & d
\end{pmatrix} \) 일 때,

\(A^{-1} = \frac{1}{ad-bc}\begin{pmatrix}
d & -b \\
-c & a
\end{pmatrix} \) 이다.

이와 같이 역행렬을 구할 수 있다.

이렇게 정의를 외워도 되지만 차원이 늘어나게 되면 공식으로 구할 수 없게 된다. 따라서 구할 수 있는 방법(가우스소거법 등)을 추후에 살펴볼 예정이다.

벡터의 기본 개념

\(
V = (a, b, c)^T = \begin{pmatrix}
a \\
b \\
c
\end{pmatrix} \) 인 벡터가 있을 때, 벡터의 연산을 살펴보자.

벡터의 덧셈 뺄셈

덧셈	뺄셈

벡터의 곱셈

벡터의 곱은 두 종류가 있다. inner product(내적)과 cross product(외적) 이 있는데, 이 중 내적만 살펴보자.

벡터의 내적은 각 벡터의 크기와 두 벡터 사이의 각을 곱한 scalar(방향이 없는 크기)값이다. 기하학적 의미를 살펴보면, 위 그림처럼 v2벡터에 v1벡터를 projection(사영)시킨 후의 크기와 같은 것을 알 수 있다.

함수의 내적?

벡터의 내적은 들어봤어도 함수의 내적은 처음 들어봤다. 우선 다음 그림을 살펴보자.

위 그림에 모든게 담겨져 있다. 함수 \(f(t)\)를 살펴보면, 함수 \(f(t)\)는 모든 t에 대한 함수값을 의미한다. 즉 벡터는 위에서 계속해서 본 것처럼 유한한 차원을 가지는데에 반해, 함수는 무한한 차원의 요소를 갖게 된다. 이에 따라서 함수의 내적을 아래와 같이 구할 수 있는 것이다.
$$
\begin{aligned}
& f_1(t) = (\cdots , f_1(t_1), f_1(t_2), \cdots ) \newline
& f_2(t) = (\cdots , f_2(t_1), f_2(t_2), \cdots ) \newline
& [내적] \rightarrow \sum_{k=-\infty}^{\infty}{f_1(t_k)f_2(t_k)} \rightarrow \int f_1(t)f_2(t)dt
\end{aligned}
$$

이렇게 함수의 내적은 무한급수로 표현한 것과 동일하다.

벡터와 함수의 차이

위에서 언급했지만, 벡터는 유한한 차원을 갖는다. 이러한 공간을 vector space라고 한다. 이를 확장하여 무한대의 차원을 가지도록 하고 이 차원을 vector로 다루려 할 때 함수를 무한대의 차원이라고 생각할 수 있고, 이 공간을 힐버트의 이름을 딴 Hilbert space 라고 명명하고 있다.

1차 연립방정식의 의미

1차 연립방정식을 예시를 들어 살펴보자.

$$
\begin{aligned}
2u + v + w = 5 \cdots (1)\newline
4u -6v = -2 \cdots (2) \newline
-2u + 7v + 2w = 9 \cdots (3)
\end{aligned}
$$ 와 같은 연립방정식이 있다. 여기서 우리는 중고등학교때 배운 방식대로 소거법 및 대입법을 통해 변수를 소거해 나가면서 해(u, v, w)를 구할 수 있었다. 하지만 이 방식의 기하학적 의미는 무엇일까?

Row Form : 교점(Intersection)

위 3개의 식 모두 3차원 공간에서의 평면에 대한 방정식이다. 우리는 이 3개의 평면의 방정식을 모두 만족시키는 해(u, v, w)를 구하는 것이고, 이 방정식의 해가 1개만 있을 경우 이것의 기하학적 의미는 이 3개의 평면이 모두 만나는 지점, 즉 교점을 구하는 것이다. 이렇게 하나의 행을 평면의 방정식 또는 직선의 방정식으로 생각한 후 이들의 intersection을 구하는 형태를 Row Form, 또는 교재에 따르면 Row Picture이라고 한다. 다음의 방정식을 살펴보자.

$$
\begin{aligned}
x + 2y = 3 \cdots (1) \newline
4x + 5y = 6 \cdots (2)
\end{aligned}
$$ 이 연립방정식의 해에 대한 기하학적 의미는 두 직선이 만나는 교점이다. 이렇게 우리는 단순한 직선의 경우 만나는 교점에 대해서는 좌표평면을 머릿속으로 쉽게 떠올릴 수 있을 것이다. 그럼 위에서 본 연립방정식을 생각해보자.

$$
\begin{aligned}
2u + v + w = 5 \cdots (1)\newline
4u -6v = -2 \cdots (2) \newline
-2u + 7v + 2w = 9 \cdots (3)
\end{aligned}
$$ 이 연립방정식의 해에 대한 기하학적 의미를 떠올리고자 공간상에 평면을 그릴 수 있는가? 그릴 수 있다고 하더라도 3개의 평면이 만나는 교점을 생각해보는 건 쉬운 일이 아닐 것이다. 그럼 \(ax + by + cz + dw = e\)와 같은 4차원 공간상의 hyper plane의 경우는 어떠한가? 이렇게 차원이 늘어날수록 기하학적으로 생각해볼 수 있는 난이도는 기하급수적으로 증가한다.

이러한 것들을 언급하는 이유는, 여기서 또 다른 방식의 의미를 살펴볼 것이기 때문이다.

Column Forem : 열벡터의 선형결합(Linear Combination of column vectors)

위에서 계속해서 봤던 연립방정식을 이용해서 다른 관점으로 살펴보자.

$$
\begin{aligned}
2u + v + w = 5 \cdots (1)\newline
4u -6v = -2 \cdots (2) \newline
-2u + 7v + 2w = 9 \cdots (3)
\end{aligned}
$$ 여기서 이 연립방정식을 행렬로 표현해보면 다음과 같이 나타낼 수 있다.

$$
\begin{aligned}
\begin{bmatrix}
2 &1 &1 \\
4 &-6 &0 \\
-2 &7 &2 \\
\end{bmatrix}
\begin{bmatrix}
u \\
v \\
w \\
\end{bmatrix} =
\begin{bmatrix}
5 \\
-2 \\
9 \\
\end{bmatrix} \cdots (1) \newline
u\begin{bmatrix}
2 \\
4 \\
-2 \\
\end{bmatrix} +
v\begin{bmatrix}
1 \\
-6 \\
7 \\
\end{bmatrix} +
w\begin{bmatrix}
1 \\
0 \\
2 \\
\end{bmatrix} =
\begin{bmatrix}
5 \\
-2 \\
9 \\
\end{bmatrix} \cdots (2)
\end{aligned}
$$ 우선 첫줄의 행렬과 벡터로 표현한 식을 살펴보자. 우선 연립방정식을 우리는 변수들의 계수들로 구성한 행렬과 해를 표현한 vector의 곱으로 나타낼 수 있다. 이 표현식이 성립한다는 것은 위에서 살펴본 '행렬곱'을 전개해서 결과가 오른쪽 항이 나오는지를 살펴보면 된다. 여기서 우리가 알아야 할 것은, 연립방정식을 위와 같이 표현할 수 있다는 것이다.

그럼 이제 두번째 식의 경우를 살펴보자.

$$
\begin{bmatrix}
2 &1 &1 \\
4 &-6 &0 \\
-2 &7 &2 \\
\end{bmatrix}
\begin{bmatrix}
u \\
v \\
w \\
\end{bmatrix} =
u\begin{bmatrix}
2 \\
4 \\
-2 \\
\end{bmatrix} +
v\begin{bmatrix}
1 \\
-6 \\
7 \\
\end{bmatrix} +
w\begin{bmatrix}
1 \\
0 \\
2 \\
\end{bmatrix}
$$ 왠지 익숙한 형태가 있는 것을 알 수 있다. 바로 위에서 살펴봤던 선형결합 모습이다. 즉 행렬과 벡터의 곱은 이렇게 벡터들을 이루는 요소들을 계수로 하는 선형결합 형태로 표현할 수 있는 것이다. 이제 거의 다 왔다. 이렇게 1차 연립방정식을 선형결합 형태로 나타내보면,

$$
u\begin{bmatrix}
2 \\
4 \\
-2 \\
\end{bmatrix} +
v\begin{bmatrix}
1 \\
-6 \\
7 \\
\end{bmatrix} +
w\begin{bmatrix}
1 \\
0 \\
2 \\
\end{bmatrix} =
\begin{bmatrix}
5 \\
-2 \\
9 \\
\end{bmatrix}
$$ 우리는 좌항에 있는 세 개의 column vector들로 우항에 있는 새로운 column vector를 만들려고 하는 것을 볼 수 있다. 즉, 1차 연립방정식을 우리는 vector들의 덧셈으로 살펴볼 수 있고, 우항에 있는 벡터가 결과로 나오게 하는 상수 u와 v 그리고 w를 찾을 수 있는 것이다. 간단한 예시를 살펴보자.

$$
\begin{aligned}
x + 2y = 3 \cdots (1) \newline
4x + 5y = 6 \cdots (2)
\end{aligned}
$$ 이제는 이 식을 행렬과 벡터로 표현할 수 있다.

$$
\begin{bmatrix}
1 &2 \\
4 &5 \\
\end{bmatrix}
\begin{bmatrix}
x \\
y \\
\end{bmatrix} =
x\begin{bmatrix}
1 \\
4 \\
\end{bmatrix} +
y\begin{bmatrix}
2 \\
5 \\
\end{bmatrix} =
\begin{bmatrix}
3 \\
6 \\
\end{bmatrix}
$$ 이렇게 1차 연립방정식을 선형결합 형태로 나타내었다. 우린 이제 벡터\((1, 4)\) 와 벡터\((2, 5)\)를 이용해서 벡터\((3, 6)\)가 나오게끔 하는 실수 x와 y를 찾을 수 있다. 여기서는 위에서 살펴봤던 벡터의 덧셈과 곱셈을 이용하면 된다.

Solution) 벡터\((1, 4)\)에 -1을 곱하고, 벡터\((2, 5)\) 2를 곱하여 더하면, 평행사변형법(벡터의 덧셈)에 의해 벡터 (3, 6)를 만들 수 있다. 즉 x = -1, y = 2이다!

 
이제 1차 연립방정식의 두가지 의미를 알게 되었다. 다시 정리해보자면,
 

• row form으로 해석 -> 기하학적으로 intersection을 찾는다.
• column form으로 해석 -> column vector들의 선형결합을 이용해 우항의 column vector가 나오게끔 하는 해를 찾는다.

 
와 같이 두가지로 해석할 수 있다. 하지만 우리는 row form에서의 한계, 즉 차원이 증가할수록 기하학적으로 생각하기 어렵다는 특징을 살펴봤다. 또한 선형결합을 이용해서 계수 x와 y를 구하는 방식이 풀 수 있는 범위가 훨씬 많다는 점을 미루어 봤을 때, 이제부터 우리는 이 두번째 해석을 이용해서 앞으로 살펴볼 것임을 예상해볼 수 있다.