コンピュータの能力を向上するには，ＣＰＵやすべての記憶装置に高速のものを用いればよいのですが，大量のデータを保管するには大きな記憶容量が必要ですから，膨大な費用がかかってしまいます。それで，高価だが高速な小容量の記憶装置と，低速だが安価な大容量の記憶装置を組み合わせることが必要になります。これを記憶階層といいます。
しかし，ＣＰＵ－メモリ－ディスクをそのままつないだのでは，それらの間の処理速度に大きなギャップがあります。メモリからＣＰＵに取り出して処理をする時間やディスクからデータを読み込んでメモリに入れる時間で空き時間が生じてしまいます。それを防ぐために，キャッシュメモリやディスクキャッシュを設置します。これらを総称して緩衝記憶装置（バッファメモリ）といいます。
- アクセスの局部性
- 常識的に考えて，あるデータやプログラムのある部分をアクセスすれば，次にはその近くにあるデータやプログラムがアクセスされる確率が大きいと思われます。それをアクセスの局部性といいます。
- キャッシュメモリ
- ＣＰＵとメモリの間にキャッシュメモリという高速のＳＲＡＭのメモリを設置し，ＣＰＵからの命令によりメモリからＣＰＵにデータを読み込むときに，その付近のデータもキャッシュメモリに転送しておきます。次にＣＰＵから取り出し命令があったときは，まずキャッシュメモリを調べてそこにあればそのデータをＣＰＵに取り出します。
必要なデータがキャッシュメモリにある確率をヒット率といいます。もし，メモリからの取り出し時間が５０ｎｓ，キャッシュメモリからの取り出し時間を１０ｎｓであり，ヒット率０.９であるとすれば，平均取り出し時間は，
１０×０.９＋５０×(１－０.９）＝１４ｎｓ
になります。 - １次キャッシュと２次キャッシュ
- また，最近のパソコンでは，キャッシュメモリを２段階に用意しています。ＣＰＵから近い順に１次キャッシュ，２次キャッシュといいます。一般には１次キャッシュを内部キャッシュとして１～１６ＫＢ程度のメモリをＣＰＵ内部に内蔵し，２次キャッシュを外部キャッシュとしてＣＰＵ外部に６４ＫＢ～１ＭＢ程度のＳＲＡＭを実装しています。
- キャッシュライン
- メモリからキャッシュに持ってくるデータの単位をキャッシュラインといいます。すなわち、キャッシュメモリには多数のキャッシュラインが存在します。
キャッシュラインのサイズが小さいとヒット率が小さく、メモリからキャッシュへの転送頻度が増大してキャッシュの効率が悪くなります。逆に大きすぎると、使われない部分が多くなるし、ライン数が少なくなり、キャッシュメモリの容量が非効率になります。３２バイト～２５６バイト程度が一般的です。３２バイト～２５６バイト程度が一般的です。 - ライトスルー方式とライトバック方式
- 書き込み処理をしたときは、キャッシュメモリのデータをメモリに書き出す必要があります。
ライトスルー方式：キャッシュメモリの内容が更新されると、直ちにメモリも更新します。
ライトバック方式：直ちに更新するのではなく、メモリからキャッシュメモリへ新しい部分が転送される直前にまとめてメモリを更新します。 - ディスクキャッシュ
- メモリとディスク間に置くキャッシュで，考え方はキャッシュメモリと同じです。個々のディスク装置あるいはディスク制御装置に半導体記憶装置を置き，必要なデータがここにあれば，いちいちディスクを読みに行かないでデータが得られるようにしたものです。