Пятая проблема Гильберта — одна из проблем, поставленных Давидом Гильбертом в его докладе[1][2] на II Международном Конгрессе математиков в Париже в 1900 году. Пятая проблема Гильберта относится к теории топологических групп преобразований и групп Ли. Для важных частных случаев решения были получены в 1933 и 1934 годах, окончательно решена в 1952 году.
Топологическая группа преобразований состоит из топологической группы , топологического пространства
и непрерывного действия группы
на
, которое является непрерывным отображением
обладающим следующими двумя свойствами:
Топологическая группа является группой Ли, если
— вещественно-аналитическое многообразие, а умножение
— вещественно-аналитическое отображение. Тогда по теореме о неявной функции отображение
является вещественно-аналитическим. Если
— группа Ли,
— вещественно-аналитическое многообразие, а действие
группы
на
— вещественно-аналитическое, то имеем группу вещественно-аналитических преобразований.
Пусть — локально евклидова топологическая группа. Тогда возникает вопрос о том, можно ли всегда снабдить
вещественно-аналитической структурой такой, что умножение
будет вещественно-аналитическим? Этот вопрос, на который впоследствии был дан положительный ответ, и считается сегодня пятой проблемой Гильберта.[3]
Для компактных групп пятая проблема была решена фон Нейманом[4] в 1933 году. Для локально компактных коммутативных групп и некоторых других частных случаев проблему решил Понтрягин[3][5][6] в 1934 году. Эти доказательства были получены с помощью результата венгерского математика Альфреда Хаара[7], который построил на локально компактной топологической группе инвариантную меру[8].
Центральным пунктом общего доказательства оказался вопрос о существовании «малых» подгрупп в сколь угодно малой окрестности единицы (кроме самой единицы). Группы Ли таких подгрупп не имеют. Значительный вклад в решение внёс Глизон (Глисон)[9], доказавший, что каждая конечномерная локально компактная топологическая группа , которая не имеет малых подгрупп, является группой Ли.
Окончательное решение получении в 1952 году Монтгомери и Циппин[en], которые доказали, что у локально связной конечномерной локально компактной топологической группы нет малых подгрупп.[10]. Поскольку всякая локально евклидова топологическая группа является локально связной, локально компактной и конечномерной, то из этих двух результатов вытекает следующее утверждение.
Теорема. Каждая локально евклидова группа является группой Ли.
Как впоследствии показал Глушков, данная теорема допускает обобщения[11].
Этот результат часто рассматривают как решение пятой проблемы Гильберта, но поставленный Гильбертом вопрос носил более широкий характер и касался групп преобразований для случая, когда многообразие
не совпадает с
[3][12].
Ответ на общий вопрос Гильберта в случае топологических непрерывных действий оказался отрицательным даже для тривиальной группы . Существуют топологические многообразия, не имеющие никакой гладкой структуры, а значит, не имеющие и вещественно-аналитической структуры[13].