Так и не смог придумать нормальный заголовок, так что суть — в следующем абзаце.
Нередко случается такое, что приложение говорит «cannot write blah to hdd, not enough space», хотя df -h говорит, что места ещё дохрена. Неопытный админ начинает задумчиво чесать репу, удивляться, гуглить и тд.

Чаще всего такое поведение случается в трех случаях:
0) вы не туда смотрите df-ом
1) кончились inodes на диске
2) какой-то из демонов держит удаленные файлы.

Давайте поподробнее. Про нулевой случай всё понятно — приложение пытается записать в /var, он у вас смонтирован отдельным разделом, а вы смотрите на место в корне. Или такая же фигня с каким-нибудь /dev/shm, /run или любым другим tmpfs. В том числе и с самим /tmp — он из-за разных глюков может смонтироваться с размером в несколько килобайт.
Also, «не туда» может возникнуть по причине того, что вы смонтировали новый раздел в не пустой каталог. Например, у вас стало заканчиваться место в /var, вы подключили новый hdd, скопировали всё, смонтировали новый hdd в /var. Логично, что место в «старом» /var (который был частью корневого раздела и ею остаётся на физическом уровне) не освободится и вы никак не узнаете, что у вас там лежит ещё 50 гб хлама, который вы не сможете увидеть, пока не отмонтируете новый /var и не удалите файлы явно.

Про inodes тоже понятно. Если у вас много-много мелких файлов, то inodes будут кончаться сильно быстрее, чем место на диске. Каждый файл будет кушать хотя бы одну inode. Если количество inodes меньше, чем блоков на диске — то они закончатся быстрее, чем свободное место (т.е. блоки).
Починить на лету это сложно (ну кроме как удалением той самой кучи мелких файлов). На типовом стеке LAMP-ы это случается чаще всего из-за файлов сессий (если вы их вынесли куда то из /var/lib/php5 и не настроили чистку нового каталога по крону) или из-за битриксов — небольшой сайт на битриксе с включенным кешированием скушает вам 300-400k inodes (а на digitalocean вам на виртуалке за 5 баксов дают 2kk inodes). Большой сайт на битриксе влегкую кушает 2-3kk inodes и не давится.

Проверить, сколько у вас inodes свободно можно командой df -i:

IFree — целая одна. Нужно чистить (удалять мелкие файлы). Ну или просто большие файлы, но это будет куда менее эффективно.

Ну и второй вариант — самый непонятный. df говорит, что места нет, df -i говорит, что inodes есть, du -h / говорит, что файлы занимают меньше половины всего места, блаблабла, куда делось место — непонятно. Возможная причина — ниже.

Когда вы удаляете файлы, используемый в данный момент запущенным приложением, файл не удаляется вообще — только стирается его inode и файл больше не видно в ls. То есть, если вы удалите 100G-овый /var/log/syslog не останавливая syslog — то место не освободится, а syslog продолжит писать в файл по старому адресу (при этом посмотреть этот файл штатными средствами системы вы уже не сможете, так как ни один новый процесс уже не сможет обратиться к этому файлу).
Проверяется такое очень легко — командой lsof | grep deleted:

Здесь мы хорошо видим, что файлы, которые используют syslog-ng и mysqld, удалили, но демоны всё ещё висят над этими файлами и пишут в них.
«Починить место» в данном случае можно так:

Само собой, если у вас там другие процессы в первом столбце — то перезапускать нужно их.