コンピュータの能力を向上するには，ＣＰＵやすべての記憶装置に高速のものを用いればよいのですが，大量のデータを保管するには大きな記憶容量が必要ですから，膨大な費用がかかってしまいます。それで，高価だが高速な小容量の記憶装置と，低速だが安価な大容量の記憶装置を組み合わせることが必要になります。これを記憶階層といいます。
しかし，ＣＰＵ－メモリ－ディスクをそのままつないだのでは，それらの間の処理速度に大きなギャップがあります。メモリからＣＰＵに取り出して処理をする時間やディスクからデータを読み込んでメモリに入れる時間で空き時間が生じてしまいます。それを防ぐために，キャッシュメモリやディスクキャッシュを設置します。これらを総称して緩衝記憶装置（バッファメモリ）といいます。
- アクセスの局部性
- 常識的に考えて，あるデータやプログラムのある部分をアクセスすれば，次にはその近くにあるデータやプログラムがアクセスされる確率が大きいと思われます。それをアクセスの局部性といいます。
- キャッシュメモリ
- ＣＰＵとメモリの間にキャッシュメモリという高速のＳＲＡＭのメモリを設置し，ＣＰＵからの命令によりメモリからＣＰＵにデータを読み込むときに，その付近のデータもキャッシュメモリに転送しておきます。次にＣＰＵから取り出し命令があったときは，まずキャッシュメモリを調べてそこにあればそのデータをＣＰＵに取り出します。
必要なデータがキャッシュメモリにある確率をヒット率といいます。もし，メモリからの取り出し時間が５０ｎｓ，キャッシュメモリからの取り出し時間を１０ｎｓであり，ヒット率０.９であるとすれば，平均取り出し時間は，
１０×０.９＋５０×(１－０.９）＝１４ｎｓ
になります。
ヒット率を高めるには，キャッシュメモリの容量を大きくすることもありますが，どのようなデータを持ってくるかの工夫（私たちの工夫ではなく，コンピュータ設計者の工夫ですが）も重要です。
ＣＰＵからメモリに書き込むときには，いくつかの方法がありますが，１データごとの書き込みはキャッシュメモリだけに書き込み，一定量のデータをまとめてキャッシュメモリからメモリに転送するような方法があります。 - １次キャッシュと２次キャッシュ
- また，最近のパソコンでは，キャッシュメモリを２段階に用意しています。ＣＰＵから近い順に１次キャッシュ，２次キャッシュといいます。一般には１次キャッシュを内部キャッシュとして１～１６ＫＢ程度のメモリをＣＰＵ内部に内蔵し，２次キャッシュを外部キャッシュとしてＣＰＵ外部に６４ＫＢ～１ＭＢ程度のＳＲＡＭを実装しています。
- ディスクキャッシュ
- メモリとディスク間に置くキャッシュで，考え方はキャッシュメモリと同じです。個々のディスク装置あるいはディスク制御装置に半導体記憶装置を置き，必要なデータがここにあれば，いちいちディスクを読みに行かないでデータが得られるようにしたものです。