Berdirinya Perpustakaan Universitas Negeri Yogyakarta tidak dapat terlepas dari sejarah berdirinya IKIP Negeri Yogyakarta, karena perpustakaan didirikan bertepatan waktu dengan beridirinya IKIP Negeri Yogyakarta yaitu pada tanggal 21 Mei 1964 yang kemudian tanggal tersebut dijadikan Dies Nataliesnya.

Pada awalnya perpustakaan menempati salah satu ruang di Fakultas Ilmu Pendidikan yang saat itu jumlah pegawainya hanya 4 (empat) orang terdiri dari 1 (satu) orang kepala, 2 (dua) orang staf dan 1 (satu) orang pembantu umum.

Tahun 1970 perpustakaan pindah di Gedung Rektorat (sekarang Gedung Registrasi Lama) dengan luas bangunan 520 m2 yang saat ini digunakan untuk ruang MKU dan Unit Layanan Bimbingan dan Konseling (UPBK).

Dengan SK Rektor Nomor 28/1970 yang menetapkan mulai 1 Januari 1971 perpustakaan menjadi lembaga tersendiri yang statusnya langsung di bawah Rektor dan dipimpin oleh seorang Direktur Perpustakaan. Sejalan dengan itu dikeluarkanlah Sk Rektor Nomor 19/1970 tanggal 22 Desember 1970 bahwa semua perpustakaan fakultas dan jurusan melebur kedalam perpustakaan institut, integrasi tersebut baru selesai tahun 1974. Selaras dengan perkembangan jumlah koleksi dan tuntutan layanan, pada tahun 1974 perpustakaan pindah lagi ke gedung baru seluas 1.004 m2 (sebelah barat gedung FISE).

Pada tahun 1978 perpustakaan mengalami perubahan status setelah keluarnya SK Rektor Nomor 81/PT27R/C/78, menjadi suatu bagian dan dipimpin oleh seorang Kepala Bagian di bawah Biro Administrasi Akademik dan Kemahasiswaan.

Perubahan terjadi lagi, dengan diberlakukanya PP Nomor 5 tahun 1980 tentang Organisasi Perguruan Tinggi di Indonesia dan SK Mendikbud Nomor 0140/0/1983 tentang Organisasi dan Tata Kerja IKIP Yogyakarta ditetapkan kedudukan perpustakaan sebagai Unit Pelaksana Teknis (UPT) yang berada di bawah dan bertanggung jawab kepada Rektor, pembinaan sehari-hari dilakukan oleh Pembantu Rektor 1, pengelolanya terdiri dari Kepala Perpustakaan dan Kepala Sub Bagian Tata Usaha.

Pada tahun 1983 diterbitkan SK Mendikbud Nomor 0142/0/1983 tentang Organisasi Tata kerja IKIP Yogyakarta yang kemudian diperbaharui dengan SK Mendikbud Nomor 0101/0/1983, kemudian SK Mendikbud Nomor 0174/0/1995 yang memberikan status sebagai Unit Pelaksana Teknis sejajar dengan UPT lainnya di lingkungan UNY.

Dalam rangka pengembangan, pada tahun 1979-1980 berturut-turut perpustakaan menerima kunjungan 3 (tiga) orang konsultan dari UNDP yaitu: Mr. Bjorn Tell bidang jaringan perpustakaan, Mr. lorens bidang pengembangan tenaga, dan Mr. FG Pooe bidang perencanaan gedung/bangunan untuk survei kemungkinan pengmbangan perpustakaan. salah satu realisasinya pada tahun 1986 telah selesai dibangun gedung perpustakaan yang cukup representatif dengan luas kurang lebih 4.212 m2 dan letaknya strategis dekat Gedung Rektorat UNY.