ベクトルから始める．いま2次元のベクトルxがあるとして，その成分が正規直交座標系ではx₁とx₂だったとする．このような事情で，ベクトルxの第i成分はx_iと書けるわけだが，テンソル解析では陽にベクトル成分x_iを数式に表す．これではせっかくディテールを忘れるというベクトルの精神が失われてしまうが，まあ便利なこともある．それを追々見ていくことにする．

さて，ベクトルの線形変換とは，以下のような変換だ．

つまり，新しいベクトルの各成分は，もともとのベクトルの成分たちを適度に混ぜ合わせたものというわけだ．

上の式は毎度毎度書くには面倒くさい．線形代数の記法を借りると

とまあお上品に書けるわけだが（これをもって行列掛けるベクトルというのは厳密には誤りで，これは行列掛ける行列である^注1），どうせ添え字を陽に書いてしまうのであれば， と書いた方が手っ取り早い．アインシュタインは総和記号を省略してしまって と書いたのは有名な話．これがテンソルで表現した，ベクトルの線形変換の式である．ベクトルも変換作用素も両方ともテンソルで書けるところが素晴らしい．

変換する側とされる側を同じ表現で表しておくと，変換の変換を考えるときの手間がひとつ減る．（ラムダ計算におけるチャーチ数のようなものだ．）実際，作用素もまたベクトルであることを証明できる．

2次元の場合，変換する側（作用素）と変換される側（ベクトル）の表現を同一にするには複素数を使えばよいのであって，テンソルを導入するメリットはあまりない（例外は斜交座標系を考えた場合）．3次元の場合も，クォータニオン（四元数）を使えばそれなりに同じ事は出来る．ただし，それ以上の次元となると，素直にテンソル表記を導入してしまったほうが簡単である．

注1: これをもって行列掛けるベクトルというのは厳密には誤りで，これは行列掛ける行列であるについて，NeXTSTEP2OSXさんから，「厳密には誤り」は誤りとのご指摘を頂きました．これをもって行列掛けるベクトルというのは厳密には誤りで，これは行列掛ける行列であるとしたのは，(1)一般にベクトルという概念と行列という概念は（集合論の意味で）直交するものであり，(2)掛け算とは同じ群に属する要素間の間に定義された2項演算に対して使う呼称であり，(3)ベクトルと行列はそれぞれ異なった概念であるため，両者の間の掛け算という呼び方は厳密には誤りである，ということを主張したつもりでした．NeXTSTEP2OSXさんのご指摘は，(2)のアサンプションが厳しすぎるという意味と思います．確かに(2)のアサンプションは厳しすぎるかもしれませんので，このようにコメントとして残させて頂きました．

追記：注1についてNeXTSTEP2OSXさんよりTwitter経由でさらにコメントを頂きました．『NeXTSTEP2OSX: 追記の (2),(3) に関してですが、かけ算とか積という呼び方はもちろん同じ集合内の「演算」として使われることも多いですが、「作用」という、全く別のものの上で左から(resp.右から)かけるということが数学では普通に行われます。行列を左から縦ベクトルにかけるというのは、可逆な行列のなす群（とか行列のなすマグマや半群や集合）が、ベクトル空間に左から作用している厳密に数学的に正しいです。というか「群は作用してこそ花」という言葉がありますが群の中だけで完結せず何かに作用させてこそ群は生き生きとしますね』．作用素をベクトルに（左から）作用させるという呼び方がよいように思いました．