Онлайн проект Topjava

+

Не стоит стремиться прочитать все ссылки урока, их можно использовать как справочник. Гораздо важнее пройти основной материал урока и сделать Домашнее Задание
Обязательно посмотри правила работы с патчами на проекте
Делать Apply Patch лучше по одному, непосредственно перед видео на эту тему, а при просмотре видео сразу отслеживать все изменения кода проекта по изменению в патче (Version Control->Local Changes-> Ctrl+D)
Код проекта обновляется и не всегда совпадает с видео (можно увидеть как развивался проект). Изменения в проекте указываю после соответствующего патча.

+

Материалы занятия (скачать все патчи можно через `Download/Скачать` папки patch)

+

Рефакторинг проекта

+

Apply 1_0_fix.patch

+

+
+
переименовал классы UserMeal* в более красивые Meal*
+
удалил себя из шапки классов
+
обновил версию maven-compiler-plugin
+
+

+

Разбор домашнего задания HW0:

+

1. Optional: реализация getFilteredMealsWithExceeded через Stream API

+

Apply 1_1_HW0_stream.patch

+

Презентация Java 8

+

2. Работа с git в IDEA. Реализация через цикл.

+

Apply 1_2_HW0_cycle.patch

+

+
Изменения в проекте: map.getOrDefault заменил на map.merge, for заменены на forEach
+

+

Вопросы по HW0

+

+
что делает метод Map.merge ?
+

+

никогда не надо лениться зайти в код Map.merge (Ctrl+мышка на методе) и почитать javadoc (Ctrl+Q). Когда привыкать, если не сейчас?

+

+
что означает Integer::sum ?
+

+

это ссылка на метод, сокращенная форма лямбды. IDEA иногда выделяет желтым и предлагает замену (соглашаться по Alt+Enter). +Например m->m.getCalories() заменяется на Meal::getCalories.

+

+
почему не использовать в TimeUtil методы isBefore/isAfter ?
+

+

это строгие (excluded) сравнения, а нам также нужны краевые значения

+

+
В MealsUtil у нас где-то есть ключевое слово final, где-то нет. В чем разница?
+

+

Я участвовал в одном проекте, где final был обязательным (в сеттингах IDEA галочка стояла). Но это скорее исключение, чем правило в проектах java (в Java 8 вообще ввели эффективный final, те по факту). Во всех новомодных языках переменные final по умолчанию, а в java нужно помнить и везде добавлять, утомительно. Но если приучитесь - хуже не будет. Я обычно ставлю там, где важно по смыслу (если не забываю).

+

+
Почему у User.registered тип Date, а Meal.dateTime LocalDateTime?
+

+

Время регистрации - абсолютное (конкретный момент), а время еды по бизнес логике относительно (те не зависит от часового пояса)

+

3. HW0 Optional 2: реализация в один проход и одной строкой Stream API

+

Apply 1_3_HW0_optional2.patch

+

Занятие 1:

+

4. Обзор используемых в проекте технологий. Интеграция ПО.

+

5. Maven.

+

Среда сборки проектов Maven.
The Central Repository
Настройка пропертей Maven: кодировка, java version, зависимости, maven-compiler-plugin
The Reactor. Snapshots
Недостатки Maven. Другие инструменты сборки.
Справочник: +
+

+

6. WAR. Веб-контейнер Tomcat. Сервлеты.

+

+
+
Нам нужна 8-я версия Tomcat (например последняя 8.5.16)
+
Устанавливать Tomcat лучше простым скачиванием архива apache-tomcat-8.5.16[-windows-xxx].zip и копированием из него в каталог без пробелов и русских букв (пример С:\java\apache-tomcat-8.5.16). Не используйте Tomcat 8.5.13 и 9.0.0.M19 IDEA из-за бага Tomcat
+
+

+

Apply 1_4_switch_to_war.patch

+

+
+
Обновил сервлеты до версии 3.1 +(Tomcat 8 использует это API, хотя для нас не принципиально, т.к. мы никакие фичи 3.x Servlet API не используем)
+
Переименовал userList.jsp в users.jsp
+
Сервлет добавляется в следующем патче, те в web.xml он будет подчеркиваться красным.
+
+

+

Apply 1_5_add_servlet_api.patch

+

+
+
Если зависимость servlet-api не подтянулась, обновите maven проект.
+
Проверка, кто занял порт (в случае проблем с запуском и дебагом на портах 8080, 8000)
+
Деплой war в Tomcat с Application context
+
Динамическое обновление без передеплоя
+
+

+

Apply 1_6_forward_to_redirect.patch

+

Tomcat Home Page
Сервлеты.
Томкат менеджер: http://localhost:8080/manager +
- в TOMCAT_HOME\conf\tomcat-users.xml нужно добавить
+

+

<user username="tomcat" password="tomcat" roles="tomcat,manager-gui,admin-gui"/>
+

+

Наше приложение: http://localhost:8080/topjava
Наш сервлет: http://localhost:8080/topjava/users
Справочник: +
+

+

7. Логирование.

+

Apply 1_7_logging.patch

+

+
Установите переменную окружения на TOPJAVA_ROOT на корень проекта и перезапустите IDEA. Слеши в пути должны быть в стиле unix (/)
+

+

+
+
изменения в проекте: убрал LoggerWrapper и логирую напрямую в логгер SLF4J. При логгировании через вспомогательный класс, в логе теряется имя исходного класса.
+
удалил зависимость jul-to-slf4j. Она нам не нужна и, согласно видео Владимира Красильщика про логирование, она замедляет работу
+
Не делать конкатенацию строк при логгировании сообщений, если уровень логирования в конфигурации выставлен выше уровня логирования в коде +
+
slf4j formatting with {}
+
What is the fastest way of (not) logging
+
+
+
+

+

Java Logging: история кошмара
Ведение лога приложения
Log4j, Logback
Добавление зависимостей логирования в проект.
Logback variable substitution

+

Проверочные вопросы:

+

Что нужно изменить в pom.xml, чтобы перейти с logback на log4j ?

+

Ваши вопросы

+

+
Почему private static final Logger log а не LOG ?
+

+

Так ее называют по умолчанию в проекте lombook.
Это правило именования констант, которые не "deeply immutable", те если их содержимое можно изменить.

+

+
Используются ли еще где-то в реальной разработке JSP, или это уже устаревшая технология? Заменит ли ее JSF (https://javatalks.ru/topics/38037)?
+

+

JSF и JSP- разные ниши и задачи. +JSP- шаблонизатор, JSF- МVС фреймворк. Из моего опыта- с JSP сталкивался в 60% проектов. Его прямая замена: http://www.thymeleaf.org (в Spring-Boot по умолчанию), но в уже запущенных проектах встречается достаточно редко. JSP не умирает, потому что просто и дешево. Кроме того включается в большинство веб-контейнеров (в Tomcat его реализация Jasper)

+

JSF- sun-овский еще фреймворк, с которым я ни разу не сталкивался и особого желания нет. Вот он как раз, по моему мнению, активно замещается хотя бы javascript фреймворками (angular, ember, react).

+

+
А зачем мы использовали logback? Почему SLF4J нас не устроило? Почему реализация логирования не log4j?
+

+

SLF4J-API это API. Там есть только пустая реализация org.slf4j.helpers.NOPLogger (можно посмотреть в исходниках). Logback для новых проектов стал стандарт. spring-petclinic и spring-boot используют его по умолчанию.

+

http://logback.qos.ch/reasonsToSwitch.html

+

Домашнее задание HW01 (делаем ветку HW01 от последнего патча в master)

+

+
На проекте мы учимся мыслить и работать как Java разработчики уже сейчас, потом это будет гораздо сложнее и стоить дороже. +Вот на мой взгляд хорошие советы новичкам. От себя я добавлю:
+
+
Учись грамотно формулировать проблему. Проблема "у меня не работает" может иметь тысячи причин. В процессе формулирования очень часто приходит ее решение.
+
Учись исследовать проблему. Внимательное чтение логов и умение дебажить - основные навыки разработчика. Обычно самый верх самого нижнего эксепшена- причина ошибки, туда нужно ставить брекпойнт.
+
Грамотно уделяй время каждой проблеме. Две крайности - сразу бросаться за помощью и биться над ней часами. Пробуй решить ее сам и в зависимости от проблемы выделяй на это разумное время.
+
+

+

1. Реализовать сервлет с отображением в таблице списка еды (в памяти и БЕЗ учета пользователя)

+

+
Деплоиться в Tomcat лучше как war exploded: нет упаковки в war и при нажатой кнопке Update Resources on Frame Deactivation можно обновляться css, html, jsp без передеплоя. При изменении web.xml, добавлении методов, классов необходим redeploy.
+

+

1.1 По аналогии с UserServlet добавить MealServlet и meals.jsp +
- Задеплоить приложение (war) в Tomcat c applicationContext=topjava (приложение должно быть доступно по http://localhost:8080/topjava)
- Попробовать разные деплои в Tomcat, remote и local debug
+
1.2 Сделать отображения списка еды в JSP, цвет записи в таблице зависит от параметра exceed (красный/зеленый). +
- 1.2.1 Список еды захардкодить (те проинициализировать в коде, желательно чтобы в проекте инициализация была только в одном месте)
- 1.2.2 Время выводить без 'T'
- 1.2.3 Список выводим БЕЗ фильтрации по startTime/endTime
- 1.2.4 Вариант реализации: +
  - из сервлета преобразуете еду в List<MealWithExceeded>;
  - кладете список в запрос (request.setAttribute);
  - делаете forward на jsp для отрисовки таблицы (при redirect атрибуты теряются).
  - в JSP для цикла можно использовать JSTL tag forEach. Для подключения JSTL в pom.xml и шапку JSP нужно добавить:
  +
+

+

    <dependency>
+       <groupId>javax.servlet</groupId>
+       <artifactId>jstl</artifactId>
+       <version>1.2</version>
+    </dependency>
+
+    <%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %>
+    ...
+

+

Optional

+

2. Реализуем в ПАМЯТИ CRUD (create/read/update/delete) для еды

+

Пример: Simple CRUD using Servlet/JSP

+

2.1 Хранение в памяти будет одна из наших CRUD реализаций (позже будет JDBC, JPA и DATA-JPA).
2.2 Работать с реализацией CRUD через интерфейс, который не должен ничего знать о деталях реализации (Map, DB или что-то еще).
2.3 Добавить поле id в Meal/ MealWithExceed и реализовать генерацию счетчика, УЧЕСТЬ МНОГОПОТОЧНОСТЬ СЕРВЛЕТОВ +
- обзор java.util.concurrent
+
2.4 Сделать форму редактирования в JSP: AJAX/JavaScript использовать НЕ надо, делаем через <form method="post"> и doPost() в сервлете.
2.5 Для ввода дат и времени можно использовать html5 типы, хотя они поддерживаются не всеми браузерами (протестировать свой браузер). В конце курса мы добавим DateTimePicker jQuery plugin, который будет работать на всех браузерах.

+

После выполнения ДЗ обязательно проверьте решение на ошибки

+

Вопросы по HW1

+

+
Не попадаю на страничку/брекпойнт в сервлете.
+

+

внимательно проверь url и applicationContext (Application Context должен быть тот же, что и url приложения: wiki IDEA)
посмотрите в task manager: возможно запущено несколько JVM и они мешают друг другу. Лишние java приложения убить.

+

+
Приложение не видит TOPJAVA_ROOT.
+

+

После выставления переменной окружения IDEA нужно рестартовать. Слеши в пути должны быть в стиле unix (/). Проверить, видит ли java переменную окружения можно так: System.getenv("TOPJAVA_ROOT"). Еще вариант: добавить -DTOPJAVA_ROOT=... в опции запуска приложения, тогда она доступна из java как System.getProperty("TOPJAVA_ROOT").

+

+
Проблемы с кодировкой в POST (кракозябры).
+

+

Возможное решение - выставьте кодировку ДО первого чтения из request:

+

protected void doPost(HttpServletRequest request, ...) {
+    request.setCharacterEncoding("UTF-8");
+

+

+
Если сервлет тыкают несколько пользователей / несколько браузеров, какого должно быть поведение? Нужно ли что-то делать с сессиями?
+

+

В Optional нужно делать реализацию хранения многопоточной. Cессии пока не используем (начнутся, когда будет прикручивать авторизацию).

+

+
Для чего нам нужна многопоточная реализация коллекции, если каждый пользователь видит только себя?
+

+

Реализация хранения в памяти у нас одна на всех. Те коллекция шарится между пользователями, а они в разных потоках ее дергают. Если несколько потоков одновременно будут изменять коллекцию без учета многопоточности (например один будет удалять, второй вставлять), мы получим ConcurrentModificationException

+

+
Предпочтительнее ли создавать новый объект Meal при каждом update?
+

+

Если при обновлении не создавать копию, то сохраненный в памяти объект может кто-то попортить. Вопрос скорее доверия к коду- если проект большой и людей над ним трудится много, то вероятнее нужно копировать.

+

+
Почему теряются атрибуты при передаче на сервлет: http://localhost:8080/topjava/meals?action=add&... и req.getAttribute("action") = null ?
+

+

См. Difference between getAttribute() and getParameter(). Отсюда также следует, что при редиректе атрибуты теряются.

+

+
Зачем нужен в jsp <jsp:useBean id=".." scope="request" type=".."/> ?
+

+

jsp:useBean нужен IDEA для автодополнений - она понимает тип переменной, которая уже доступна в JSP (например через setAttribute). И еще эта переменная становится доступной в java вставках. Для вывода в JSP это тэг не обязателен. Если тип переменной JSP не совпадает с тем, что в jsp:useBean, будет ошибка.

+

Типичные ошибки

+

1 Если в названии класса есть Meal, не нужно использовать слово meal в методах класса.
2 Привыкайте писать комментарии к чекину: одной фразой что вы сделали в нем. Например: Meals CRUD implementation. См. +Как писать сообщения коммитов
3 Хранение в памяти и операции с ней должны выполняться просто и эффективно
4 Хранить нужно Meal и конвертировать ее в MealWithExceed когда отдаем список на отображение в JSP. Иначе при редактировании любой записи или изменении юзером своей нормы caloriesPerDay нужно будет пересчитывать все записи юзера.
5 Стили color можно применять ко всей строке таблицы tr, а не каждой ячейке.
6 DateTimeFormatter можно сделать один заранее (он потокобезопасный в отличие от SimpleDateFormatter), а не создавать новый при каждом запросе.
7 Работать с CRUD надо через интерфейс.
8 Реализаций хранения будет несколько, нужно учитывать это в названии класса имплементации работы в памяти.
9 В web.xml принято группировать сервлет со своим маппингом
10 Не размещайте никакую логику (форматирование, счетчики) в бинах, где хранятся только данные (Meal, MealWithExceed)
11 Еще раз: детали реализации в памяти не должны быть никому видны. Те НЕ НАДО счетчик размещать в Meal или MealServlet или MealsUtil, в базе же он будет по другому генерится.
12 volatile при ++ не помогает от многопоточности. Почему?
13 Обратите также внимание на то, чтобы реализация вашей коллекции для хранения еды была также многопоточной.
14 Не делайте дублирование кода MealsUtil. Возможно вам пригодятся константы LocalTime.MIN и LocalTime.MAX
15 Не дублируйте строки в jsp. Посмотрите на тернарный оператор.
16 после операции delete в браузере должен быть url http:\\localhost:8080\topjava\meals
17 Перед чекином проверяйте свой ченджлист (Ctrl+D на файле из Local Changes - посмотреть что поменялось). Если там только пробелы/переводы строк, не надо его комитить - делайте файлу Git->revert.
18 Учтите в названии реализации CRUD, что +
- 18.1 у нас будет несколько реализаций (не только в памяти)
- 18.2 у нас будет 2 CRUD (для еды и пользователей). А в реальном проекте их намного больше.
+
19 Сессии НЕ использовать! При редиректе все атрибуты (req.getAttribute()) теряются (см. вопрос выше). Сценарий редиректа: +
- 1 из сервлета делаем редирект (снова на сервлет, не на JSP!)
- 2 снова заходим в сервлет
- 3 кладем нужные атрибуты и делаем forward на jsp
- 4 если очень хочется передать параметры из 1. в 2. можно сделать их через параметры запроса (например meals?id=5) и доставать через reg.getParameter(id). В моей реализации такого не потребовалось.
+

+

Онлайн проект Topjava

+

Материалы занятия (скачать все патчи можно через Download папки patch)

+

Правки в проекте

+

Apply 2_0_add_fix.patch

+

Разбор домашнего задания HW1:

+

Перед сборкой проекта (или запуском Tomcat)

+

откройте вкладку Maven Projects и сделайте clean
если страничка в браузере работает неверно, очистите кэш (Ctrl+F5 в хроме)

+

1. Отображения списка еды в JSP

+

Apply 2_1_HW1.patch

+

+
+
Изменения в MealsUtil: +
+
Сделал константу List<Meal> MEALS
+
Сделал вспомогательный метод getWithExceeded
+
+
+
Форматирование даты сделал на основе JSTL LocalDateTime format
+
Переименовал TimeUtil в DateTimeUtil
+
Переименовал mealList.jsp в meals.jsp
+
Добавил еще один способы вывести dateTime через стандартную JSTL функцию replace (префикс fn в шапке также надо поменять)
+
+

+

jsp:useBean
MVC - Model View Controller

+

2. Optional: реализация CRUD

+

Apply 2_2_HW1_optional.patch

+

Про использование паттерна Repository будет подробно рассказано в видео "Слои приложения"

+

+
+
Переименовал mealEdit.jsp в mealForm.jsp
+
В meal.jsp используется параметр запроса param.action, который не кладется в атрибуты.
+
В MealServlet.doGet() сделал выбор через switch
+
Пофиксил багу c history.back() в mealForm.jsp для FireFox (коммит формы при Cancel, сделал type="button").
+
+

+

Дополнительно:

+

HTTP 1.0 vs 1.1

+

Вопросы по HW1

+

+
Зачем в InMemoryMealRepositoryImpl наполнять map с помощью нестатического блока инициализации, а не в конструкторе?
+

+

Разницы нет. Сделал чтобы напомнить вам про эту конструкцию. Малоизвестные особенности Java

+

+
Почему InMemoryMealRepositoryImpl не singleton?
+

+

Начиная с Servlet API 2.3 пул сервлетов не создается, создается только один инстанс сервлетов. Те. InMemoryMealRepositoryImpl в нашем случае создается тоже только один раз. Далее все наши классы слоев приложения будут создаваться через Spring, бины которого по умолчанию являются синглтонами (в его контексте).

+

+
Objects.requireNonNull в MealServlet.getId(request) если у нас нет id в запросе бросает NPE (NullPointerException). Но оно вылетит и без этого метода. Зачем он нужен и почему мы его не обрабатываем?
+

+

Objects.requireNonNull - это проверка предусловия (будет подробно на 4-м занятии). Означает что в метод пришел неверный аргумент (должен быть не null) и приложение сообщает об ошибке сразу на входе (а не "может быть где-то потом"). См. What is the purpose of Objects#requireNonNull. Если ее проглатывать или замазывать, то приложение возможно где-то работает неверно (приходят неверные аргументы), а мы об этом не узнаем. Красиво обрабатывать ошибки будем на последних занятиях (Spring Exception Handling).

+

Занятие 2:

+

3. Библиотека vs Фреймворк. Стандартные библиотеки Apache Commons, Guava

+

Apache Commons, Guava +
- Guava используется на проекте Многомодульный maven. Многопоточность. XML (JAXB/StAX). Веб сервисы (JAX-RS/SOAP). Удаленное взаимодействие (JMS/AKKA)
+

+

4. Слои приложения. Создание каркаса приложения.

+

Apply 2_3_app_layers.patch

+

+
+
Переименовал ExceptionUtil в ValidationUtil
+
Поменял LoggedUser на AuthorizedUser
+
Добавил проверку id пользователя, пришедшего в контроллер (treat IDs in REST body, "If it is a public API you should be conservative when you reply, but accept liberally")
+
+

+

Паттерн "Слои приложения"
Data Access Object
Паттерн DTO
Value Object и Data Transfer Object
Should services always return DTOs, or can they also return domain models?
Дополнительно: +
+

+

Ваши вопросы

+

+
Какова цель деления приложения на слои?
+

+

Управляемость проекта (особенно большого) повышается на порядок:

+

Обеспечивается меньшая связываемость. Допустим если мы меняем что-то в контроллере, то сервис эти изменения не задевают.
Облегчается тестирование (мы будем тестировать слои сервисов и контроллеров отдельно)

+

+
DTO используются когда есть избыточность запросов, которую мы уменьшаем, собрав данные из разных бинов в один? Когда DTO необходимо использовать?
+

+

(D)TO может быть как частью одного entity (набор полей) так и набором нескольких entities. +В нашем проекте для данных, которые надо отдавать наружу и отличающихся от Entiy (хранимый бин), мы будем делать (Data) Transfer Object и класть в отдельный пакет to. Например MealsWithExceeded мы отдаем наружу и он является Transfer Object, его надо пернести в пакет to. +На многих проектах (и собеседованиях) практикуют разделение на уровне maven модулей entity слоя от логики и соответствующей конвертацией ВСЕХ Entity в TO, даже если у них те же самые поля. +Хороший ответ когда TO обязательны есть на stackoverflow: When to Use.

+

+
Почему контроллеры положили в папку web, а не в conrollers?
+

+

Тоже самое что domain/model - просто разные названия.

+

+
Зачем мы наследуем NotFoundException от RuntimeException?
+

+

Так с ним удобнее работать. И у нас нет никаких действий по восстановлению состояния приложения (no recoverable conditions): checked vs unchecked exception. По последним данным checked exception вообще depricated: Ignore Checked Exceptions

+

+
Зачем в API пишем NotFoundException, если они RuntimeException?
+

+

Обычно не пишут. Я написал для информации разработчикам - здесь делаем проверку и может быть брошено.

+

+
Зачем в AdminRestController переопределяются методы родителя с вызовом тех же родительских?
+

+

Сделано на будущее, мы будем работать с AdminRestController.

+

+
И что такое ProfileRestController?
+

+

Контроллер, где авторизованный пользователь будет работать со своими данными

+

+
Что лучше возвращать из API: Collection или List
+

+

Вообще как правило возвращают List, если не просится по коду более общий случай (например возможный Set или Collection, возвращаемый Map.values()). Если возвращается отсортированный список, то List будет адекватнее.

+

5. Обзор Spring Framework. Spring Context.

+

Apply 2_4_add_spring_context.patch

+

Apply 2_5_add_dependency_injection.patch

+

Apply 2_6_add_annotation_processing.patch

+

Difference +between @Component, @Repository & @Service annotations in Spring
Spring Auto Scanning Components
Использование аннотации @Autowired
Дополнительное: +
+

+

Apply 2_7_constructor_injection.patch

+

В контроллерах Constructor Injection делать не стал, добавляется лишний код (попробуйте сделать сами). На каждом проекте свои правила, универсальных нет.

+

Дополнительно видео по Spring

+

6. Пояснения к HW2. Обработка Autowired

+

<context:annotation-config/> говорит спрингу при поднятии контекста обрабатывать @Autowired (добавляется в контекст спринга AutowiredAnnotationBeanPostProcessor). После того, как все бины уже в контексте пост-процессор через отражение инжектит все @Autowired зависимости. Будет подробнее в видео "Жизненный цикл Spring контекста" на следующем уроке.

+

Ваши вопросы

+

+
Что такое схема в spring-app.xml xsi:schemaLocation и зачем она нужна
+

+

XML схема нужна для валидации xml, IDEA делает по ней атвозаполнение.

+

+
Что означает для Spring
+

+

 <bean class="ru.javawebinar.topjava.service.UserServiceImpl">
+     <property name="repository" ref="mockUserRepository"/>
+ </bean> ?
+

+

Можно сказать так: создай и занеси в свой контекст экземпляр класса (бин) UserServiceImpl и заинжекть в его проперти из своего контекста бин mockUserRepository.

+

+
Как биндинг происходит для @Autowired? Как поступать, если у нас больше одной реализации UserRepository?
+

+

@Autowired инжектит по типу (т.е. ижектит класс который реализует UserRepository). Обычно он один. Если у нас несколько реализаций, Spring не поднимится и поругается - No unique bean. +В этом случае можно уточнить имя бина через @Qualifier. @Qualifier обычно добавляют только в случае нескольких реализаций.

+

+
Почему нельзя сервлет помещать в Spring контекст?
+

+

Сервлеты- это исключительно классы servlet-api (веб контейнера) и должны инстанциироваться и работать в нем. Те технически можно ( без init/destroy), но идеологически - неверно. Также НЕ надо работать с cервлетом из SpringMain.

+

Домашнее задание HW02

+

1: переименовать MockUserRepositoryImpl в InMemoryUserRepositoryImpl и имплементировать по аналогии с InMemoryMealRepositoryImpl (список пользователей возвращать отсортированным по имени)
2: сделать Meal extends AbstractBaseEntity, MealWithExceed перенести в пакет ru.javawebinar.topjava.to (transfer objects)
3: изменить MealRepository/InMemoryMealRepositoryImpl: в одном общем хранилище хранится вся еда всех пользователей. Любой пользователь авторизуется и видит/модифицирует только свою еду. +
- 3.1: если по запрошенному id еда отсутствует или чужая, возвращать null/false (см. комментарии в UserRepository)
- 3.2: реализовать хранение еды для каждого пользователя можно с добавлением поля userId в Meal ИЛИ без него (как нравится). Напомню, что репозиторий один и приложение может работать одновременно с многими пользователями.
- 3.3: список еды возвращать отсортированным по времени, последние записи наверху
- 3.4: атомарность операций не требуется (коллизии при одновременном изменении одного пользователя можно не учитывать)
+
4: Реализовать слои приложения для функциональности "еда". API контроллера должна удовлетворять все потребности демо приложения и ничего лишнего (см. демо). +
- Смотрите на реализацию слоя для user и делаете по аналогии! Если там что-то непонятно, не надо исправлять или делать по своему. Задавайте вопросы. Если действительно нужна правка- я сделаю и напишу всем.
- 4.1: после авторизации (сделаем позднее), id авторизованного юзера будет попадать в AuthorizedUser.id(). Запрос попадает в контроллер, методы которого будут доступны снаружи по http, т.е. запрос можно будет сделать с ЛЮБЫМ id для еды +(не принадлежащем авторизированному пользователю). Нельзя позволять модифицировать/смотреть чужую еду.
- 4.2: AuthorizedUser известен только на слое web (см. реализацию ProfileRestController). MealService можно тестировать без подмены логики авторизации, принимаем в методах сервиса и репозитория параметр userId: id владельца еды.
- 4.3: если еда не принадлежит авторизированному пользователю или отсутствует, в MealServiceImpl бросать NotFoundException.
- 4.4: конвертацию в MealWithExceeded можно делать как в слое web, так и в service (Mapping Entity->DTO: Controller or Service?)
- 4.5: в MealServiceImpl постараться сделать в каждом методе только одни запрос к MealRepository
- 4.6 еще раз: не надо в названиях методов повторять названия класса (Meal).
+
5: включить классы еды в контекст Spring (добавить аннотации) и вызвать из SpringMain любой метод MealRestController (проверить что Spring все корректно заинжектил)

+

Optional

+

6: в MealServlet сделать инициализацию Spring, достать MealRestController из контекста и работать с едой через него (как в SpringMain). pom.xml НЕ менять, работаем со spring-context. Сервлет обращается к контролеру, контроллер вызывает сервис, сервис - репозиторий. +
- 6.1: учесть, что когда будем работать через Spring MVC, MealServlet удалим, те вся логика должна быть в контроллере
+
7: добавить в meals.jsp и MealServlet две отдельные фильтрации еды: по дате и по времени (см. демо)
8: добавить выбор текущего залогиненного пользователя (имитация авторизации, сделать Select с двумя элементами со значениями 1 и 2 в index.html и AuthorizedUser.setId(userId) в UserServlet). +Настоящая атворизация будет через Spring Security позже.

+

Подсказки по HW02 (для проверки, сначала сделайте самостоятельно!)

+

1: В реализации InMemoryUserRepositoryImpl +
- 1.1: getByEmail попробуйте сделать через stream
- 1.2: delete попробуйте сделать за одно обращение к map (без containsKey)
- 1.3: предусмотрите случай одинаковых User.name (порядок должен быть зафиксированным).
+
2: В реализации InMemoryMealRepositoryImpl +
- 2.1: В Meal, которая приходит в контроллер нет никакой информации о пользователе (еда приходит в контроллер БЕЗ user/userId). Она может быть только авторизованного пользователя, поэтому что-то сравнивать с ним никакого смысла нет. По id еды и авторизованному пользователю нужно проверить ее принадлежность.
- 2.2: get\update\delete - следите, чтобы не было NPE (NullPointException может быть, если в хранилище отсутствует узер или еда).
- 2.3: Проверьте сценарий: авторизованный пользователь пробует изменить чужую еду (id еды ему не принадлежит).
- 2.4: Фильтрацию по датам сделать в репозитории т.к. из базы будем брать сразу отфильтрованные по дням записи. Следите чтобы первый и последний день не были обрезаны, иначе сумма калорий будет неверная.
- 2.5: Если запрашивается список и он пустой, не возвращайте NULL! По пустому списку можно легко итерироваться без риска NullPoinException.
- 2.6: Не дублируйте код в getAll и метод с фильтрацией
- 2.7: попробуйте учесть, что следующая реализация (сотрировка, фильтрация) будет делаться прямо в базе данных
+
3: Проверьте, что удалили Meal.id, он уже есть в базовом BaseEntity
4: Проверку isBetweenDate сделать в DateTimeUtil. Попробуйте использовать дженерики и объеденить ее с isBetweenTime
5: Реализация 'MealRestController' должен уметь обрабатывать запросы: +
- 5.1: Отдать свою еду (для отображения в таблице, формат List<MealWithExceed>), запрос БЕЗ параметров
- 5.2: Отдать свою еду, отфильтрованную по startDate, startTime, endDate, endTime
- 5.3: Отдать/удалить свою еду по id, параметр запроса - id еды. Если еда с этим id чужая или отсутствует - NotFoundException
- 5.4: Сохранить/обновить еду, параметр запроса - Meal. Если обновляемая еда с этим id чужая или отсутствует - NotFoundException
- 5.5: Сервлет мы удалим, а контроллер останется, поэтому возвращать List<MealWithExceed> надо из контроллера. И userId принимать в контроллере НЕЛЬЗЯ (иначе - для чего аторизация?). Подмену MIX/MAX для Date/Time также сделайте здесь.
- 5.6: В REST при update принято передавать id (см. AdminRestController.update)
- 5.7: Сделайте отдельный getAll без применения фильтра
+
6: Проверьте корректную обработку пустых значений date и time в контроллере
7: Авторизированного пользователя берем из AuthorizedUser.id(), cм. ProfileRestController
8: В MealServlet +
- 8.1: Закрывать springContext в сервлете грамотнее всего в HttpServlet.destroy(): если где-то в контексте Spring будет ленивая инициализация, метод-фабрика, не синглетон-scope, то контекст понадобится при работе приложения. У нас такого нет, но делать надо все грамотно.
- 8.2: Не храните параметры фильтра как члены класса сервлета, это не многопоточно! Один экземпляр сервлета используется всеми запросами на сервер, попробуйте дернуть его из 2х браузеров.
+

+

Онлайн проект Topjava

+

Материалы занятия (скачать все патчи можно через Download папки patch)

+

Правки в проекте

+

Apply 3_0_fix.patch

+

Поправил InMemoryMealRepositoryImpl.save(). Если обновляется еда, которой нет в хранилище (c несуществующим id), вставка не происходит. См. также объяснение computeIfPresent в HW02
В местах, где требуется int, заменил Integer.valueOf() на Integer.parseInt()
Закомментировал ненужный context:annotation-config: сканирование аннотаций подключаются при context:component-scan
В поля ввода формы добавил required

+

Разбор домашнего задания HW02

+

1. HW2

+

+
ВНИМАНИЕ! При удалении класса из исходников он (скомпилированный) остается в target (и classpath). В этом случае (или в любом другом, когда проект начинает глючить) сделайте mvn clean.
+

+

Apply 3_01_HW2_repository.patch

+

+
+
В репозиториях по другому инстанциировал компараторы. Оптимизация анонимных классов не требуется! Почитайте комменты от Holger: Java 8 relieves us from the need to think about such things at all.
+
Зарефакторил <T extends Comparable<? super T>> DateTimeUtil.isBetween(T value, T start, T end). Дженерики означают, что мы принимаем экземпляры класса, который имплементит компаратор, который умеет сравнивать T или суперклассы от T
+
В InMemoryMealRepositoryImpl.save() сделал обновление атомарным. В варианте computeIfPresent (см. псевдокод в Map.computeIfPresent) удаление элемента if (newValue == null) remove не используем, т.к. передаем ненулевое новое значение. Используем только атомарноный put, если элемент присутствует, те вместо 2х операций, разнесенных во времени +
+
проверка get(meal.getId(), userId)
+
meals.put(meal.getId(), meal), +между которыми может быть например операция удаления этой еды из другого потока делается meals.computeIfPresent. ConcurrentHashMap в отличие от HashMap делает операции атомарно.
+
+
+
+

+

Apply 3_02_HW2_meal_layers.patch

+

+
+
Перенес обработку null-дат в MealRestController.getBetween()
+
По аналогии с AbstractUserController добавил проверку id пользователя, пришедшего в MealRestController (assureIdConsistent, checkNew)
+
+

+

Apply 3_03_HW2_optional_MealServlet.patch

+

+
+
Убрал логирование (уже есть в контроллере)
+
assureIdConsistent позволяет в контроллере обновлять еду с id=null
+
+

+

Apply 3_04_HW2_optional_filter.patch

+

+
+
Вместо MealServlet.resetParam (перемещение параметров фильтрации в атрибуты запроса для отображения в meals.jsp), достаю их в jsp напрямую из запроса через ${param.xxx}
+
В демо фильтр не хранится в сессии (скидывается по F5). Что такое сессия будем разбирать, когда будем делать реальную авторизацию
+
+

+

Apply 3_05_HW2_optional_select_user.patch

+

2. Вопросы по API и слоям приложения

+

Вопросы по HW2

+

+
Что делает repository.computeIfAbsent / computeIfPresent ?
+

+

Всегда пробуйте ответить на вопрос сами. Дастоточно просто зайти по Ctrl+мышка в реализацию и посмотреть javadoc и их дефолтную реализацию

+

+
Почему выбрана реализация Map<userId, Map<mealId,Meal>> а не Meal.userId + Map<mealId,Meal> ?
+

+

В данном случае двойная мапа - самый эффективный способ хранения, который не требует итерирования (перебора всех значений).

+

Занятие 3:

+

3. Коротко о жизненном цикле Spring контекста.

+

Apply 3_06_bean_life_cycle.patch

+

Spring изнутри. Этапы инициализации контекста.
Ресурсы: +
- Евгений Борисов. Spring, часть 1
- Евгений Борисов. Spring, часть 2
+

+

4. Тестирование через JUnit.

+

+
ВНИМАНИЕ!! Перед накаткой патча создайте каталог test (из корня проекта путь \src\test), иначе часть файлов попадет в src\main.
+
+
в maven-surefire-plugin (JUnit) поменял кодировку на UTF-8
+
добавил метод InMemoryUserRepositoryImpl.init() для инициализации. +
+
save() не больше работает для отсутствующих id
+
автогенерацию id начал с 10
+
+
+
+

+

Apply 3_07_add_junit.patch

+

Вопрос: почему проект упадет при попытке открыть страничку еды (в логе смотреть самый верх самого нижнего исключения)?

+

5. Spring Test

+

+
+
поменял @RunWith: SpringRunner is an alias for the SpringJUnit4ClassRunner
+
+

+

Apply 3_08_add_spring_test.patch

+

Spring Testing

+

6. Базы данных. Обзор NoSQL и Java persistence solution без ORM.

+

PostgreSQL.
PostgreSQL JDBC Driver
Установка PostgreSQL. ВНИМАНИЕ! с postgres 9.6 возможны проблемы.
Чтобы избежать проблем с правами и именами каталогов, рекомендуют установить postgres в простой каталог, например C:\Postgresql. И при проблемах создать каталог data на другом диске. Если Unix, проверить права доступа к папке.

+

+
Создать в pgAdmin новую базу topjava и новую роль user, пароль password
+

+

NoSQL or RDBMS. Обзор NoSQL систем. CAP
DB-Engines Ranking
JDBC
Обзор Java persistence solution без ORM: commons-dbutils, +Spring JdbcTemplate, +MyBatis, JDBI, jOOQ
Основы: +
+
Дополнительно: +
- Документация к PostgreSQL 9.6
- Книги по PostgreSQL
+

+

7. Настройка Database в IDEA.

+

Apply 3_09_add_postgresql.patch

+

Настройка Database в IDEA и запуск SQL.

+

8. Скрипты инициализации базы. Spring Jdbc Template.

+

+
в JdbcUserRepositoryImpl.getByEmail() заменил queryForObject() на query(). Загляните в код: queryForObject бросает EmptyResultDataAccessException вместо нужного нам null.
+

+

Apply 3_10_db_implementation.patch

+

Подключение Spring Jdbc.
Конфигурирование DataSource. Property Placeholder

+

+
Проверьте, что в контекст Spring проекта включены оба файла конфигурации
+

+

9. Тестирование UserService через AssertJ.

+

Apply 3_11_test_UserService.patch

+

10. Логирование тестов.

+

Apply 3_12_test_logging.patch

+

+
+
Новый PostgreSQL JDBC Driver логирует через java.util.logging. Направил логирование в SLF4J
+
Поменял формат вывода. См. Logback Layouts
+
+

+

Apply 3_13_fix_servlet.patch

+

Приложение перестало работать, тк. для репозитория мы используем заглушку JdbcMealRepositoryImpl

+

11. Ответы на Ваши вопросы

+

Что такое REST? 10 Best Practices for Better RESTful API
Зачем нужна сортировка еды?
Можно ли обойтись без MapSqlParameterSource?
Как происходит работа с DB в тестах?
Как реализовывать RowMapper?
Мои комментарии: решения проблем разработчиком.
Нужен ли разработчику JavaScript?

+

Ваши вопросы

+

+
Какая разница между @BeforeClass and @Before?
+

+

@BeforeClass выполняется один раз после загрузки класса (поэтому метод может быть только статический), @Before перед каждым тестом. +Также: для чистоты тестов экземпляр тестового класса пересоздается перед каждым тестом: http://stackoverflow.com/questions/6094081/junit-using-constructor-instead-of-before

+

+
Тесты в классе в каком-то определенном порядке выполняются ("сверху вниз" например)?
+

+

Порядок по умолчанию неопределен, каждый тест должен быть автономен и не зависеть от других. См. также http://stackoverflow.com/questions/3693626/how-to-run-test-methods-in-specific-order-in-junit4

+

+
Обязательно ли разворачивать postgreSQL?
+

+

Желательно: хорошая и надежная ДБ:) Если совсем не хочется - можно работать со своей любимой RDBMS (поправить initDB.sql) или работать c postgresql в heroku (креденшелы к нему есть сверху в postgres.properties). На следующем уроке добавим HSQLDB, она не требует установки.

+

+
Зачем начали индексацию с 100000?
+

+

Тут нет "как принято". Так удобно вставлять в базу (если будет потребность) записи вручную не мешая счетчику.

+

+
Из 5-го видео - "Логика в базе - большое зло". Можно чуть поподробней об этом?
+

+

Есть успешные проекты с логикой в базе. Те все относительно.
Логика в базе - это процедуры и триггеры. Нет никакого ООП, переиспользовать код достаточно сложно, никагого рефакторинга, поиска по коду и других плюшек IDE. Нельзя делать всякие вещи типа кэширования, хранения в сесии - это все для логики на стороне java. Например json можно напрямую отдать в процедуру и там парсить и вставлять в таблицы или наоборот - собирать из таблиц и возвращать. +А затем потребуется некоторая логика на стороне приложения и все равно придется этот json дополнительно разпарсивать в java. +Я на таком проекте делал специальную миграцию, чтобы процедуры мигрировать не как sql скрипты, а каждую процедуру хранить как класс с историей изменений. Если логика: триггеры и простые процедуры записи-чтения, которые не требуют переиспользования кода или +проект небольшой это допустимо, иначе проект становится трудно поддерживать. Также иногда используют View для разграничения доступа. Например, для финансовых систем, таблицы проводок доступны только для админ учеток, а View просто не дадут увидеть (тем более изменить) данны обычному оператору на уровне СУБД.

+

+
У JUnit есть ассерты и у спринга тоже. Можно ли обойтись без JUnit?
+

+

Предусловия и JUnit-тесты совершенно разные вещи. Один другого не заменит, у нас будут предусловия в следующем уроке.

+

+
Я так понял VARCHAR быстрее, чем TEXT, когда мы работаем с небольшими записями. Наши записи будут небольшими (255). Почему вы приняли решение перейти на TEXT?
+

+

В отличие от MySql в Postgres VARCHAR и TEXT - тоже самое: http://stackoverflow.com/questions/4848964/postgresql-difference-between-text-and-varchar-character-varying

+

+
Зачем при создании таблицы мы создаем CREATE UNIQUE INDEX и CREATE INDEX. При каких запросах он будет использоваться?
+

+

UNIQUE индекс нужен для обеcпечения уникальности, DB не даст сделать одинаковый индекс. Индексы используется для скорости выполнения запросов. Обычно они задействуются, когда в запросе есть условия, на которые сделан индекс. Узнать по конкретному запросу можно запросив план запроса: см. Оптимизация запросов. Основы EXPLAIN в PostgreSQL. На измерение производительности с индексами посмотрим в следующем уроке.

+

+
А это нормально, что у нас в базе у meals есть userId, а в классе - нет?
+

+

Что значит - "нормально"? Приложение работает. Ненормально, когда в приложении есть "лишний" код, который не используется. Для ORM он нам понадобится- мы Meal.user добавим.

+

+
Почему мы использует один sequence на разные таблицы?
+

+

Мы будем использовать Hibernate, по умолчанию он делает глобальный sequence на все таблицы. В этом подходе есть как плюсы, так и минусы, из плюсов - удобно делать ссылки в коде и в таблицах на при наследовании и мапы в коде. В дополнение: Configure Hibernate to create separate sequence for each table by default.

+

Домашнее задание HW03

+

1 Понять, почему перестали работать SpringMain, InMemoryAdminRestControllerTest, InMemoryAdminRestControllerSpringTest
2 Дополнить скрипты создания и инициализации базы таблицой MEALS. Запустить скрипты на вашу базу (через Run). Порядок таблиц при DROP и DELETE важен, если они связаны fk. Проверьте, что ваши скрипты работают
3 Реализовать через Spring JDBC Template JdbcMealRepositoryImpl +
- 3.1. сделать каждый метод за один SQL запрос
- 3.2. userId в класс Meal вставлять НЕ надо (для UI и REST это лишние данные, userId это id залогиненного пользователя)
- 3.3. JbdcTemplate работает через сеттеры. Вместе с конструктором по умолчанию их нужно добавить в Meal
- 3.4. Cписок еды должен быть отсортирован (тогда мы его сможем сравнивать с тестовыми данными). Кроме того это требуется для UI и API: последняя еда наверху.
+
4 Проверить работу MealServlet, запустив приложение

+

Optional

+

5 Сделать MealServiceTest из MealService и реализовать тесты.

+

+
По Ctrl+Shift+T (выбрать JUnit4) можно создать тест для конкретного класса, выбрав для него нужные методы. Тестовый класс создастся в папке test в том же пакете, что и тестируемый.
+

+

5.1 Сделать тестовые данные MealTestData, АНАЛОГИЧНЫЕ пропопулированным в populateDB.sql.
5.2 Сделать тесты на чужую еду (delete, get, update) с тем чтобы получить NotFoundException.
6 Предложить решение, как почнинить SpringMain, InMemory*Test. InMemory*Test должны использовать реализацию в памяти
7 Сделать индексы к таблице Meals: запретить создавать у одного и того-же юзера еду с одинаковой dateTime. +Индекс на pk (id) postgres создает автоматически: Postgres and Indexes on Foreign Keys and Primary Keys +
+

+

+
Как правильно придумать индекс для базы? Указать в нем все поля, комбинация которых создает по смыслу уникальную запись, или какие-то еще есть условия?
+

+

Индекс нужно делать по тем полям, по которым будут искаться записи (участвуют в WHERE, ORDER BY). Уникальность - совсем не обязательное условие. Индексы ускоряют поиск по определенным полям таблицы. Они не бесплатные (хранятся в памяти, замедляется вставка), поэтому на всякий случай их делать не надо. Также не строят индексы на колонки с малым процентом уникальности (например поле "М/Ж"). Поля индекса НЕ КОММУТАТИВНЫ и порядок полей в описании индекса НЕОБХОДИМО соблюдать (в силу использования B-деревьев и их производных как поисковый механизм индекса). При построении плана запроса EXPLAIN учитывается количество записей в базе, поэтому вместо индексного поиска (Index Scan) база может выбрать последовательный (Seq Scan). Проверить, работают ли индексы можно отключив Seq Scan. Также см. Queries on the first field of composite index

+

Решение проблем

+

+
Из каталога main не видятся классы/ресурсы в test
+

+

Все что находится в test используется только для тестов и недоступно в основном коде.

+

+
Из IDEA не видятся ресурсы в каталоге test
+

+

Сделайте Reimport All в Maven окне

+

+
В UserServiceImpl и MealServiceImpl подчеркнуты красным repository, ошибка: Could not autowire. There is more than one bean of 'MealRepository' type.
+

+

Spring test контекст не надо включать в Spring Facets проекта, там должны быть только spring-app.xml и spring-db.xml. Для тестовых контекстов поставьте чекбокс Check test files в Inspections.

+

Проверка по HW03 (сначала сделайте самостоятельно!)

+

1: В MealTestData еду делайте константами. Не надо Map конструкций!
2: SQL case-insensitive, не надо писать в стиле Camel. В POSTGRES возможны case-sensitive значения, их надо в кавычки заключать (обычно не делают).
3: ЕЩЕ РАЗ: InMemory тесты должны идти на InMemory репозитории
4: Проверьте, что возвращает JdbcMealRepositoryImpl при обновлении чужой еды
5: В реализации JdbcMealRepositoryImpl одним SQL запросом используйте возвращаемое update значение the number of rows affected
6: При тестировании не портите констант из MealTestData
7: Проверьте, что все, что относится к тестам, ноходится в каталоге test (не попадает в сборку проекта)

+

Graduation project

+

Представьте себе, что ПМ (лид, архитектор) дал вам ТЗ и некоторое время недоступен. У вас конечно есть много мыслей, для чего нужно приложение, как исправить ТЗ, дополнить его и сделать правильно. НО НЕ НАДО ИХ РЕАЛИЗОВЫВАТЬ В КОДЕ. Нужно сделать все максимально просто, удобно для доработок и очевидно (если конечно в ТЗ нет оговорок). Все свои вопросы и предложения и хотелки оформляйете отдельно (в read.me например). Если делаете что-то сложнее простейшего случая (например справочник еды)- объязательно напишите в read.me. Как и выбор стратегии кэширования.

+

+
Совершенство достигнуто не тогда, когда нечего добавить, а тогда, когда нечего отнять
+

+

Антуан де Сент-Экзюпери

+

Design and implement a REST API using Hibernate/Spring/SpringMVC (or Spring-Boot) without frontend.

+

The task is:

+

Build a voting system for deciding where to have lunch.

+

2 types of users: admin and regular users
Admin can input a restaurant and it's lunch menu of the day (2-5 items usually, just a dish name and price)
Menu changes each day (admins do the updates)
Users can vote on which restaurant they want to have lunch at
Only one vote counted per user
If user votes again the same day: +
- If it is before 11:00 we asume that he changed his mind.
- If it is after 11:00 then it is too late, vote can't be changed
+

+

Each restaurant provides new menu each day.

+

As a result, provide a link to github repository. It should contain the code, README.md with API documentation and couple curl commands to test it.

+

10 Best Practices for Better RESTful API

+

P.S.: Make sure everything works with latest version that is on github :)

+

P.P.S.: Asume that your API will be used by a frontend developer to build frontend on top of that.

+

Онлайн проект Topjava

+

Материалы занятия

+

Правки в проекте

+

Apply 4_0_fix.patch

+

В JdbcUserRepositoryImpl.save() и UserServiceImpl.update добавил проверку на несуществующей в базе User.id
Зарефакторил в InMemoryMealRepositoryImpl.getAll/getBetween: filter() перед sorted()

+

Примечание: в ответе на Why is SELECT * considered harmful? есть случаи, когда она допустима (наш случай):

+

+
When * means "a row"
+

+

Разбор домашнего задания HW3

+

+
SpringMain, InMemoryAdminRestControllerTest, InMemoryAdminRestControllerSpringTest починим в патче 4_5_create_mock_test_ctx.patch (видео 4)
+

+

1. JdbcMealRepositoryImpl + MealServiceTest

+

Apply 4_1_HW3.patch

+

+
+
В JdbcUserRepositoryImpl поменял MapSqlParameterSource на BeanPropertySqlParameterSource (поля для вставки определяются через отражение в бине и метаданные в SQL запросе). +В JdbcMealRepositoryImpl остается MapSqlParameterSource, т.к. в отсутствует Meal.userId. См. дополнительно CombinedSqlParameterSource
+
Новый Postgres драйвер поддерживает Java 8 Date and Time. Преобразования c Timestamp уже не нужны.
+
В meals добавил составной индекс INDEX meals_unique_user_datetime_idx ON meals(user_id, date_time) для повышения скорости запросов по этим полям:
+
Удалил лишние MealsUtil.MEALS и main()
+
+

+

POSTGRESQL: BETWEEN CONDITION
Сравнение времени выполнения для разных индексов +
- На id как на primary key индекс создается автоматически.
- все запросы в таблицу meals у нас идут с user_id
- по полю date_time также есть запросы + мы по нему сортируем список результатов, те они- хорошие кандидаты для индексирования.
- следует иметь в виду, индексы ускоряют операции чтения, но замедляют вставку и удаление, поэтому необходим анализ в реальном приложении
- Оптимизация запросов. Основы EXPLAIN в PostgreSQL
- Оптимизация запросов. Часть 2
- Оптимизация запросов. Часть 3
- Документация Postgres: индексы
+

+

Apply 4_2_HW3_optional.patch

+

Занятие 4:

+

2. Методы улучшения качества кода

+

Внимание!! В IDEA 2017.1 и 2 любой QAPlugin крэшится. Можно заменить FindBugs-IDEA
Сделайте интеграцию своего GitHub репозитория и подключите сверху своего README.md (Raw) интергацию с +
- Codacy Check code (проверка стиля и поиск багов в коде). В Codacy Issues +
  - отключил в настройках (remove pattern) проверку assert в JUnit (проверяем через матчеры) и meta http-equiv="content-type" в JSP
  - сделал remove pattern на Cross Site Scripting (XSS), будем делать защиту на последнем занятии
  +
- VersionEye (проверка зависимостей Maven на актуальность). Кликни на значке dependencies в versioneye своего проекта, чтобы взять ссылку для read.me
- Сборку и тесты Travis (результат выполнения тестов проекта) +
  - Travis CI Tutorial
  - Сборка Java проекта
  +
+

+

Apply 4_3_improve_code.patch

+

+
+
Перенес проверки предусловий Assert из InMemory репозиториев в сервисы
+
Добавил конфигурацию .travis.yml
+
По рапорту VersionEye обновил зависимости Maven (будем пробовать Spring 5!)
+
+

+

3. Spring: инициализация и популирование DB

+

Apply 4_4_init_and_populate_db.patch

+

Инициализация базы при старте приложения

+

4. Подмена контекста при тестировании

+

Apply 4_5_create_mock_test_ctx.patch

+

5. ORM. Hibernate. JPA.

+

Entity- класс (объект Java), который в ORM маппится в таблицу DB.

+

+
+
ВНИМАНИЕ: патч меняет postgres.properties, в котором у вас возможно свои креденшелы к базе.
+
hibernate-core 5.2.x включает hibernate-entitymanager и hibernate-java8, Time API конверторы уже не нужны. +
+
JPA support for Java 8 new date and time API
+
What's new in Hibernate 5?
+
JPA support for Java 8 new date and time API
+
+
+
EL implementation provided by the container. In a Java SE you have to add an implementation as dependency to your POM file: добавил javax.el зависимость со scope=provided
+
+

+

Apply 4_6_add_jpa.patch

+

+
+
Тесты и приложение ломаются. MealServiceTest починится после выполнения HW04 (JpaMealRepositoryImpl)
+
При настройке JPA в IDEA НЕ скачивайте библиотеку javaee.jar (и любую другую). Все зависимости в проект попадают только через Maven.
+
+

+

Дополнительно: +
- ORM.
- JPA и Hibernate в вопросах и ответах
- JPA EntityManager: управляем сущностями
- Field vs property access
- Hibernate: введение и написания Hello world приложения
- Mapping: описания модели Hibernate (hbm.xml/annotation).
- Hibernate. Другие ORM: TopLink, EсlipseLink, EBean (used in Playframework).
- JPA (wiki). JPA (english wiki). JPA Performance Benchmark
- Отображения наследования объектов на таблицы
- Стратегии генерации PK
- hibernate-validator. JSR-303 -> JSR-349
- Описание связей в модели. Ленивая загрузка объекта.
- JPA definitions
- Spring expressions: выражения в конфигурации
- HQL/ JPQL.
- Динамические запросы (которые формируются в коде): JPA Criteria API. Unified Queries for Java
- Using the Java 8 Date Time Classes with JPA
+

+

Apply 4_7_add_named_query_and_transaction.patch

+

Справочник:

+

6. Добавляем поддержку HSQLDB

+

Apply 4_8_add_hsqldb.patch

+

+
+
ВНИМАНИЕ: патч меняет postgres.properties
+
IDEA может ${jdbc.initLocation} подчеркивать красным - тупит...
+
+

+

Ваши вопросы

+

+
Есть несколько аналогичных "встроенных" баз данных. H2, HSQLDB, Derby, SQLite. Почему был выбран HSQLDB?
+

+

Просто с ней приходилось работать. HSQLDB и H2 наиболее популярны, в новом курсе по spring-boot планирую использовать H2. +Здесь интересное краткое описание встраиваемых баз данных в Java. +В HSQLDB нет репликаций, кластеризайии и объем данным ограничен несколькими TB. Для большого количества приложений она подходит и для продакшена. См.

+

+
Чистого JPA не существует, т.е. это всего лишь интерфейс, спецификация? Говорим JPA, подразумеваем какой-то ORM фрэймворк? А что тогда используют чистый jdbc, Spring-jdbc, MyBatis? MyBatis не реализует JPA?
+

+

ORM это технология связывания БД и объектов приложения, а JPA - это JavaEE спецификация (API) этой технологии. +Реализации JPA - Hibernate, OpenJPA, EclipceLink, но, например, Hibernate может работать по собственному API (без JPA, которая появиласть позже). Spring-JDBC, MyBatis, JDBI не реализуют JPA, это обертки к JDBC. Все ORM и JPA также реализованы поверх JDBC.

+

+
В зависимостях maven hibernate-entitymanager тянет за собой jboss-logging. Как будет происходить логгирование?
+

+

How do you configure logging in Hibernate 4 to use SLF4J: в нашем проекте автоматически подхватывается logback-classic.

+

+
В чем преимущество Hibernate ?
+

+

Hibernate (как любая ORM) реализует маппинг таблиц в объекты Java. Когда мы добавим роли к пользователю вы увидете, насколько код будет проще, чем в jdbc. Также см. 5 Reasons to Use JPA / Hibernate

+

+
Чем отличается @Column(nullable = false) от @NotNull и есть ли необходимость указывать обе аннотации ?
+

+

@Column(nullable = false) это атрибуты колонки таблицы базы. @NotNull - это валидация, которая происходит в приложении перед вставкой в базу. Если колонка ненулевая, то NOT NULL объязательна. Валидация- опциональна. Также см. +@NotNull vs @Column(nullable = false)

+

+
почему мы в в бине entityManagerFactory не указали диалект базы данных?
+

+

Он автоматически определяется из DataSource драйвера

+

+
В чем разница между persist и merge
+

+

Подробный ответ со Stackovwrflow с объяснением разницы. Упрощенно:

+

merge, в отличие от persist, если entity нет в текущей сессии, делает запрос в базу данных
entity, переданный в merge не меняется. Нужно использовать возвращаемый результат

+

Домашнее задание HW4

+

1: Сделать из Meal Hibernate entity +
- Hibernate Validator: @NotNull, @NotEmpty, @NotBlank
- Реализация ManyToOne
+
2: Имплементировать и протестировать JpaMealRepositoryImpl

+

Optional

+

3: Добавить в тесты MealServiceTest функциональность @Rule: +
- 3.1: проверку Exception
- 3.2: вывод в лог времени выполнения каждого теста
- 3.3: вывод сводки в конце класса: имя теста - время выполнения
+
JUnit @Rules
замена ExpectedException

+

Подсказки по HW4

+

+
1: Тк. JPQL работает с объектами мы не можем использовать userId для сохранения. Можно сделать например так:
+
```
 User ref = em.getReference(User.class, userId);
+ meal.setUser(ref);
+
```
+
При этом от User нам нужет только id. Создается lazy прокси над id, которая обращается к базе при запросе любого поля. Т.е. у нас запроса в базу за юзером не будет- проверьте по логам Hibernate
+

+

Внимание: проверять запросы Hibernate нужно через run. Если делаете debug и брекпойнт, то могут делаться лишние запросы к базе (дебаггер дергает toString)

+

2: В JPQL запросах можно писать: m.user.id=:userId
3: При реализации JpaMealRepositoryImpl предпочтительно не использовать try-catch в логике реализации. Но если очень хочется, то ловить только специфичекские эксепшены (пр. NoResultException), чтобы, например, при отсутствии коннекта к базе приложение отвечало адекватно.
4: Мы будем смотреть генерацию db скриптов из модели, для корректной генерации нужно в Meal добавить uniqueConstraints

+

Новая информация плохо оседает в голове, когда дается в виде патчей, поэтому, чтобы она стала "твоей" нужно еще раз проделать это самостоятельно. Домашнее задание на этом уроке небольшое, а полученных знаний уже достаточно, чтобы после его выполнения начинать делать выпускной проект, сделанный на нашем стеке.

+

Выпускной проект

+

Для проекта я взял реальное тестовое задание, поэтому жалоб не неясность формулировок принимать не буду- сделайте как поняли. Представьте, что это ваше тестовое задание на работу.
Общение в канале Slack #graduate_project
Ревью проекта входит в участие с проверкой домашних заданий (ревьюится один раз!). Отдать на ревью нужно до 08.02.
По завершению ты сможешь занести этот проект в свое портфолио и резюме как собственный, без всяких оговорок.
Обязательно проверяйся по рекомендациям в конце выпускного

+

Успехов в выполнении!

+

Запросы к таблице meals c разным index (1000 пользователей, у каждого за год по 3 записи в день):

+

Проверьте у себя, цифры у всех разные!

+

Скрипт по наполнению базы на PL/pgSQL:

+

drop function if exists populate_db();
+
+create function populate_db() returns void as $$
+declare
+ user_id integer;
+ meal_date timestamp;
+begin
+ DELETE FROM meals;
+ DELETE FROM users;
+ ALTER SEQUENCE global_seq RESTART WITH 100000;
+
+ for i in 1..1000 loop
+   INSERT INTO users (name, email, password)
+   VALUES ('User' || i, 'user' || i || '@yandex.ru', 'password');
+
+   user_id := currval('global_seq');
+
+   for j in 1..365 loop
+     meal_date := date '2014-12-31 10:00' + j;
+     INSERT INTO meals (date_time, description, calories, user_id) VALUES
+       (meal_date, 'Breakfast ' || j, 500, user_id);
+     meal_date := meal_date + interval '4';
+     INSERT INTO meals (date_time, description, calories, user_id) VALUES
+       (meal_date, 'Lunch ' || j, 1000, user_id);
+     meal_date := meal_date + interval '5';
+     INSERT INTO meals (date_time, description, calories, user_id) VALUES
+       (meal_date, 'Dinner ' || j, 500, user_id);
+   end loop;
+ end loop;
+end;
+$$ LANGUAGE plpgsql;
+
+select populate_db();
+

+

Без индекса

+

время выполнения 200ms/150ms

+

+
DROP INDEX IF EXISTS meals_unique_user_datetime_idx;
+

+

+
EXPLAIN ANALYZE +SELECT * FROM meals +WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20' +ORDER BY date_time DESC;
+

+

Sort  (cost=28292.17..28292.88 rows=286 width=31) (actual time=203.774..203.782 rows=298 loops=1)
+  Sort Key: date_time DESC
+  Sort Method: quicksort  Memory: 48kB
+  ->  Seq Scan on meals  (cost=0.00..28280.50 rows=286 width=31) (actual time=0.023..203.714 rows=298 loops=1)
+        Filter: ((date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone) AND (user_id = 100000))
+        Rows Removed by Filter: 1094702
+Planning time: 0.102 ms
+Execution time: 203.822 ms
+

+

+
EXPLAIN ANALYZE +SELECT * FROM meals +WHERE user_id = 100003 +ORDER BY date_time DESC;
+

+

Sort  (cost=22858.59..22861.23 rows=1057 width=31) (actual time=147.481..147.481 rows=0 loops=1)
+  Sort Key: date_time DESC
+  Sort Method: quicksort  Memory: 25kB
+  ->  Seq Scan on meals  (cost=0.00..22805.50 rows=1057 width=31) (actual time=147.474..147.474 rows=0 loops=1)
+        Filter: (user_id = 100003)
+        Rows Removed by Filter: 1095000
+Planning time: 0.097 ms
+Execution time: 147.514 ms
+

+

Индекс по user_id;

+

время выполнения 0.415ms/0.05ms

+

+
CREATE INDEX meals_idx ON meals (user_id);
+

+

+
EXPLAIN ANALYZE +SELECT * FROM meals +WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20' +ORDER BY date_time DESC;
+

+

Sort  (cost=59.88..60.59 rows=286 width=31) (actual time=0.372..0.378 rows=298 loops=1)
+  Sort Key: date_time DESC
+  Sort Method: quicksort  Memory: 48kB
+  ->  Index Scan using meals_user_id_idx on meals  (cost=0.43..48.21 rows=286 width=31) (actual time=0.048..0.307 rows=298 loops=1)
+        Index Cond: (user_id = 100000)
+        Filter: ((date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone))
+        Rows Removed by Filter: 797
+Planning time: 0.123 ms
+Execution time: 0.414 ms
+

+

+
EXPLAIN ANALYZE +SELECT * FROM meals +WHERE user_id = 100003 +ORDER BY date_time DESC;
+

+

Sort  (cost=96.02..98.66 rows=1057 width=31) (actual time=0.020..0.020 rows=0 loops=1)
+  Sort Key: date_time DESC
+  Sort Method: quicksort  Memory: 25kB
+  ->  Index Scan using meals_user_id_idx on meals  (cost=0.43..42.93 rows=1057 width=31) (actual time=0.013..0.013 rows=0 loops=1)
+        Index Cond: (user_id = 100003)
+Planning time: 0.095 ms
+Execution time: 0.047 ms
+

+

Составной индекс по user_id и date_time (ЗАВИСИТ ОТ ПОРЯДКА ЗАДАНИЯ КОЛОНОК!)

+

время выполнения 0.110ms/0.035ms

+

+
DROP INDEX meals_idx;
+

+

+
CREATE INDEX meals_idx ON meals (user_id, date_time);
+

+

+
EXPLAIN ANALYZE +SELECT * FROM meals +WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20' +ORDER BY date_time DESC;
+

+

Index Scan Backward using meals_user_id_date_time_idx on meals  (cost=0.43..511.74 rows=286 width=31) (actual time=0.026..0.081 rows=298 loops=1)
+  Index Cond: ((user_id = 100000) AND (date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone))
+Planning time: 0.130 ms
+Execution time: 0.112 ms
+

+

+
EXPLAIN ANALYZE +SELECT * FROM meals +WHERE user_id = 100003 +ORDER BY date_time DESC;
+

+

Index Scan Backward using meals_user_id_date_time_idx on meals  (cost=0.43..1795.68 rows=1057 width=31) (actual time=0.012..0.012 rows=0 loops=1)
+  Index Cond: (user_id = 100003)
+Planning time: 0.103 ms
+Execution time: 0.033 ms
+

+

Онлайн проект Topjava

+

Материалы занятия

+

Разбор домашнего задания HW4

+

1. Разбор вопросов

+

+
EntityManager это по сути прокси обертка над Hibernate Session, которая создается каждый раз при открытии транзакции.
+

+

Дополнительно (ни разу не сталкивался): еще есть редкий случай ручного управления @PersistenceContext(type = PersistenceContextType.EXTENDED), когда он используется в нескольних транзакциях (long-running session or session-per-conversation). +
- Spring and PersistenceContextType.EXTENDED
- Transaction-scoped vs Extended Persistence
+

+

2. HW4: JPA. @Rule

+

Apply 5_1_HW4.patch

+

+
+
При сравнении еды тесты падают, тк Hibernate делает ленивую обертку к user и если происходит обращение к любому его полю кроме id вне транзакции бросается LazyInitializationException. +По логике приложения мы достаем еду у AuthorizedUser, поле user нам не нужно и мы не будем его отдавать наружу: в тестах исключаем user из сравнения.
+
В Meal добавил @SuppressWarnings("JpaQlInspection"). Other warnings
+
Поменял реализацию JpaMealRepositoryImpl.get() (вместо @NamedQuery), реализация стали проще
+
+

+

Apply 5_2_fix_hibernate_issue.patch

+

+
+
Из за Hibernate bug with proxy initialization when using AccessType.FIELD +в JpaMealRepositoryImpl.get() делался дополнительный запрос в базу для инициализации прокси User и мы делали хак: доступ к полю AbstractBaseEntity.id через AccessType.PROPERTY. +Но в нашей версии 5.2.11.Final этого запроса нет! Пока баг не закрыли держим под наблюдением (ссылка на багу в коде). +
+
Which is better, field or property access?
+
+
+
Поправил equals() с учетом Lazy проксирования +
+
JPA hashCode()/equals() dilemma
+
Hibernate Proxy Pitfalls
+
+
+
+

+

+
Почему над AbstractBaseEntity стоит @Access(AccessType.FIELD) ? Почему при запросе user.id нам не нужно вытаскивать его из базы?
+

+

AccessType.FIELD делает доступ в AbstractBaseEntity и всех классах-наследниках по полям. При загрузке Meal Hibernate на основе поля meal.user_id делает ленивую прокcи к User, у которой нет ничего, кроме id. Из-за бага хибернайт обращаелся за юзером в базу, хотя ничего кроме его id нам не надо. @Access(value = AccessType.PROPERTY) позволял обойти баг и не делать лишний запрос в базу.

+

Apply 5_3_HW4_optional.patch

+

+
+
Hibernate 5.2.x already include Java 8 date and time types (JSR-310)
+
Stopwatch
+
Добавил сводку "имя теста - время выполнения" в конце класса
+
+

+

Занятие 5:

+

Раскрасил лог (в Spring Boot по умолчанию он тоже colored)

+

Apply 5_4_HW4_optional.patch

+

Logback layouts coloring
Дополнительно: use colored output only when logging to a real terminal

+

3. Транзакции

+

4. Профили Maven и Spring

+

Apply 5_5_profiles_connection_pool.patch

+

+
+
Галочка в XML профиле влияет только на отображение в IDEA и никак на выполнение кода.
+
tomcat-jdbc со scope=provided не работает в Tomcat 7.x, поставьте Tomcat 8.x
+
Profiles.ACTIVE_DB задает активный профиль базы (postgres/hsqldb)
+
Profiles.REPOSITORY_IMPLEMENTATION определяет реализацию репозитория при запуске приложения (для тестов задаются через @ActiveProfiles).
+
+

+

+
Для переключения на HSQLDB необходимо:
+
+
поменять в окне Maven Projects профиль (Profiles) на hsqldb и сделать Reimport All Maven Projects (1я кнопка)
+
поменять Profiles.ACTIVE_DB = HSQLDB
+
почистить проект mvn clean (фаза clean не выполняется автоматически, чтобы каждый раз не перекомпилировать весь проект)
+
+

+

Для корректного отображения неактивного профиля в IDEA проверьте флаг Inactive profile highlighting и сделайте проекту clean

+

+
Вопрос: почему после этого патча не поднимется Spring при запуске приложения в Tomcat? (будем чинить в ДЗ п.6)
+

+

Автоматический выбор профиля базы: `ActiveProfilesResolver`

+

Apply 5_6_profile_resolver.patch

+

+
Сделал автоматический выбор профиля базы при запуске приложения (тестов) в зависимости от присутствия драйвера базы в classpath (Profiles.getActiveDbProfile())
+

+

5. Пул коннектов

+

Выбор реализации пула коннектов: BoneCP, Commons Database Connection Pooling, HikariCP
Самый быстрый пул соединений на java (читаем комменты)
Tomcat pool

+

6. Spring Data JPA

+

Apply 5_7_spring_data_jpa.patch

+

+
+
Переименовал классы Proxy* на более адекватные Crud*
+
В spring-framework-bom мы уже задали версию Spring. Убрал из остальных зависимостей.
+
В spring-data-jpa 2.x поменялся интерфейс: T CrudRepository.findOne(ID id) -> Optional<T> CrudRepository findById(ID id) +
+
Java Optional — Отец холиваров
+
Java 8 Optional In Depth
+
+
+
+

+

Spring Data JPA
Замена AbstractDAO: JPA Repositories
Разрешение зависимостей: Maven BOM [Bill Of Materials] Dependency
Делегирование (в конце статьи)
Getting started with Spring Data JPA
Query methods
Spring Data – новый взгляд на persistence (JeeConf)
Евгений Борисов — Spring Data? Да, та!
Ресурсы: +
+

+

Вопросы:

+

+
Когда нужно ставить аннотацию @Modifying? Почему она стоит только над delete, но не над save?
+

+

@Modifying ставится на модифицирующие @Query. Реализацию save можно посмотреть в org.springframework.data.jpa.repository.support.SimpleJpaRepository#save(), там она есть.

+

+
Зачем мы переопределяем @Override Meal save в CrudUserRepository. Без этого все работает.
+

+

Можно не переопределять. Сделал только для явного указания всех используемых методов из наследуемого CrudRepository

+

7. Spring кэш

+

Apply 5_8_spring_cache.patch

+

+
+
Сделал миграцию на Ehcache 3.x, compatibile with javax.cache API (JSR-107) +
+
Spring 4+ with Ehcache 3 – how to
+
Новая XML конфигурация
+
Supplement JSR-107’s configurations
+
+
+
В UserServiceTest.setUp вместо вызова метода UserService.evictCache сделал очистку програмно через CacheManager +
+
Evict Ehcache elements programmatically, using Spring
+
+
+
+

+

Кеширование в Spring Framework
Дополнительно: +
- Spring cache Abstraction
- Распределённая система кеша ehcache
- Починка JUnit: один кэш на JVM
+

+

Ваши вопросы

+

+
В spring-petclinic DataJpa реализована без дополнительных классов. В таком виде как у них, spring data смотрится, конечно, намного лаконичней других реализаций, но у нас получилось вдвое больше кода, чем с тем же jpa или jdbc. Плюс только пожалуй в том, что query находятся прямо в репозитории, а не где-то там в другом пакете. Так что получается, spring data лучше подходит для простейших crud без всяких "фишек"? или в чем его достоинство для больших и сложных проектов?
+

+

Достоинство DATA-JPA по сравнению например с JPA: есть типизация, готовые реализации типовых методов CRUD а также paging, data-common. Мы можем переключить реализацию JPA, например, на mongoDb (PagingAndSortingRepository, от которого наследуется JpaRepository, находится в spring-data-common). +Соответственно его методы будут поддерживаться всеми реализациями spring-data-common, JPA одна из них и пр. Подробнее о них есть в видео Spring Data – новый взгляд на persistence. +Дополнительное проксирование в DATA-JPA - моя "фишка" для устранения минусов этого фреймворка: невозможность дебага, привязка к интерфейсу JpaRepository, перенос логики Repository в слой сервисов. +Для большого приложения выигрыш этого стоит. Для небольших (тестовых) приложений дополнительных классов можно не делать.

+

+
Почему мы для InMemory не сделали отдельного профиля? Почему их не удалить вообще?
+

+

Реализация InMemory является примером как в test делать моки с подменой контекста. Для них сделали отдельный mock.xml и запускаемый проект ничего не должен о них знать. У нас учебный проект, в котором 4 реализации репозиториев, в реальном такого не будет.

+

+
А как делать транзакционность для реализации jdbc?
+

+

Будем делать на следующем уроке

+

Домашнее задание HW05

+

1: Имплементировать DataJpaMealRepositoryImpl
2: Разделить реализации Repository по профилям Spring: jdbc, jpa, datajpa (общее в профилях можно объединять, например <beans profile="datajpa,jpa">). +
- 2.1: Профили выбора DB (postgres/hsqldb) и реализации репозитория (jdbc/datajpa/jpa) независимы друг от друга и при запуске задать приложения (тестов) нужно задать тот и другой.
- 2.2: Для интеграции с IDEA не забудте выставить в spring-db.xml справа вверху в Change Profiles... профили, например datajpa, postgres
- 2.3: Общие части для всех в spring-db.xml можно оставить как есть без профилей вверху файла (до первого <beans profile= ).
+
3: Сделать тесты всех реализаций (jdbc, jpa, datajpa) через наследование (без дублирования) +
- 3.1 сделать один базовый класс для MealServiceTest и UserServiceTest.
+
4: Запустить все тесты: mvn test (в IDEA Maven Lifecycle - test, кнопку skipTest отжать)

+

Optional

+

5: Разделить JdbcMealRepositoryImpl для HSQLDB (она не умеет работать с Java8 Time API) и Postgres через @Profile (для Postgres оставить LocalDateTime). Цель задания - потренироваться с паттерном шаблонный метод и профилями Spring. Бины Spring мы разделяем (фильтруем) по разным профилям с помощью beans profile в xml конфигурации и @Profile (те мы конфигурируем, какие бины попадут в контекст Spring в зависимости от активных профилей приложения). +Абстрактные классы не создаются и в контекст не попадают. Профили, заданные в @Profile пересекаются с активными профилями приложения: если пересечение есть, то бин включается в контекст (cм. реализацию @Profile и в ней ProfileCondition, можно подебажить). Например при сконфигуренном @Profile({"postgres","jdbc"}) бин попадет в контекст, если в профилях запущенного приложения есть хотя бы один из них (например "jdbc"). После выполнения разделения можно предложить решение проще.
6: Починить MealServlet и использовать в SpringMain реализацию DB: добавить профили. Попробуйте поднять Spring контекст без использования spring.profiles.active.
7: Сделать и протестировать в сервисах методы (тесты и реализация только для DataJpa) +
- 7.1: достать по id пользователя вместе с его едой
- 7.2: достать по id еду вместе с пользователем
- 7.3: обращения к DB сделать в одной транзакции (можно сделать разные варианты). Java Persistence/OneToMany
+

+

Подсказки по HW05

+

1: Для того, чтобы не запускались родительские классы тестов нужно сделать их abstract
2: В реализациях JdbcMealRepository код не должен дублироваться. Если вы возвращаете тип Object, посмотрите в сторону дженериков.
3: В MealServlet/SpringMain в момент setActiveProfiles контекст спринга еще не должен быть инициализирован, иначе выставление профиля уже ничего не будет делать.
4: Если у метода нет реализации, то стандартно бросается UnsupportedOperationException.
5: Для уменьшения количества кода при реализации Optional (п. 7, только DataJpa) попробуйте сделать default метод в интерфейсе
6: В Data-Jpa метод для ссылки на entity (аналог em.getReference) : T getOne(ID id)
7: Проверьте, что в DataJpaMealRepositoryImpl все обращения к DB выполняются в одной транзакции
8: Для достать по id пользователя вместе с его едой я в User добавил List<Meal> meals
9: Проверьте, что все тесты запускаются из Maven (имена классов тестов удовлетворяют соглашению) и итоги тестов класса выводятся корректно (не копятся)
10: @ActiveProfiles принимает в качестве параметра строку, либо массив строк. В тестах можно задавать несколько @ActiveProfiles в разных классах, они суммируются
11: В релизации 7.1 учесть, что у юзера может отсутствовать еда
12: Ordering a join fetched collection in JPA using JPQL/HQL
13: <beans profile= в конфигурации контекста должны находиться после всех остальных объявлений.

+

Онлайн проекта Topjava

+

Материалы занятия

+

Правки в проекте

+

Apply 6_0_fix.patch

+

+
+
Внес в User конструктор registered
+
Делаю копию roles, чтобы роли нельзя было изменить после инициализации.
+
В кэше users хранится единственный элемент - все юзеры
+
Мелкие правки
+
+

+

Разбор домашнего задания HW5

+

1. HW5: Spring Profiles. Spring Data JPA

+

Apply 6_01_HW5_data_jpa.patch

+

+
В get получаем и фильтруем Optional<User>
+

+

Транзакция начинается, когда встречается первый @Transactional. С default propagation REQUIRED остальные @Transactional просто участвуют в первой. Поэтому ставим ее сверху DataJpaMealRepositoryImpl.save(), чтобы все обращения к базе внутри метода были в одной транзакции. Анологично, если из сервиса собирается несколько запросов в репозитории, он ставится над методом сервиса.

+

Apply 6_02_HW5_profile_test.patch

+

Для IDEA в spring-db.xml не забудте выставить Spring Profiles: например datajpa, postgres

+

+
+
DbTest переименован в AbstractServiceTest и сюда перенес @ActiveProfiles(resolver = ActiveDbProfileResolver.class)
+
Заменил description.getMethodName() на getDisplayName() в выводе результатов тестов. После printResult() буфер сбрасывается в 0, чтобы не накапливать изменения.
+
+

+

Apply 6_03_extract_rules.patch

+

+
Вынес измерение времени и сводку в отдельный класс TimingRules
+

+

JUnit Rules External Resources

+

2. HW5: Optional

+

Apply 6_04_HW5_optional_fix_jdbc_profiles.patch

+

+
Сделал классы Java8JdbcMealRepositoryImpl и TimestampJdbcMealRepositoryImpl внутренними
+

+

Spring Profiles. Spring 4 Conditional.
зайдите в исходники @Profile и посмотрите (подебажте) его реализацию через @Conditional(ProfileCondition.class).
дополнительно: реализация через Java Config и Profiles на уровне методов

+

Apply 6_05_update_hsqldb.patch

+

В реальном проекте часто проблему можно решить простым обновлением версии: new HSQLDB version supports Java 8 time API

+

Apply 6_06_HW5_optional_fetch_join.patch

+

+
+
Добавил проверки и тесты на NotFound для MealService.getWithUser и UserService.getWithMeals
+
Убрал CascadeType.REMOVE, в уроке далее будет про Cascade.
+
+

+

Apply 6_07_HW5_graph_batch_size.patch

+

+
Сделал @EntityGraph через attributePaths
+

+

+
Когда мы достаем всех юзеров с ролями без @BatchSize делается запрос юзеров (1) и на каждого юзера идет в базу запрос ролей (+N). +C @BatchSize(size = 200) делается запрос на юзеров (1) и затем роли достаются пачками для 200 юзеров (+ N/200).
+

+

Занятие 6:

+

Добавил тесты на валидацию

+

+
+
к сожалению в JUnit нет ExpectedException.expectRootCause, а expectCause нам не подходит. В 13 JUnit обещают expectThrows(), а пока сделал вручную: +AbstractServiceTest.validateRootCause()
+
+

+

+
Откуда у нас берется ConstraintViolationException в тестах на валидацию? Для каких наших исключений он является рутом?
+

+

Прежде всего - пользуйтесь дебагом! Исключение легко увидеть в методе getRootCause(). Если подебажить выполение Hibernate валидации, то можно найти, где обрабатываются аннотации валидации и место в org.hibernate.cfg.beanvalidation.BeanValidationEventListener.validate(), где бросается ConstraintViolationException.

+

Apply 6_08_add_test_validation.patch

+

Тесты валидации для Jdbc не работают, нужно будет починить в HW6 (в реализация Jdbc валидация отсутствует)

+

3. Кэш Hibernate

+

+
Кэш мигрировал на 3.x
+

+

Apply 6_09_hibernate_cache.patch

+

Теперь уже все Jdbc тесты поломались. Требуется починить в HW6

+

Уровни кэширования Hibernate
Hibernate Cache. Практика
Hibernate - Caching
Починка тестов: инвалидация кэша Hibernate
Hibernate User Guide: Caching
Hibernate 5, Ehcache 3.x
Ресурсы: +
+

+

4. Cascade. Auto generate DDL.

+

Apply 6_10_cascade_ddl.patch

+

Cascading

+

+
Есть SQL ON .. CASCADE, которая выполняется в базе данных и есть аннотация в Hibernate, исполняемая в приложении
+

+

Auto schema generation

+

5. Spring Web

+

Apply 6_11_spring_web.patch

+

+
+
Для сборки проекта в окне Maven отключите тесты (Toggele 'Skip Tests' Mode)
+
В web.xml задаются профили запуска по умолчанию: <param-value>postgres,datajpa</param-value>. Если запускаетесь под HSQLDB, надо поменять на hsqldb,datajpa.
+
+

+

Добавляем в проект веб зависимости
Поднятие контекста Spring в веб приложении. ServletContextListener. Задание дефолтного профиля.
Получение контекста Spring в веб-контейнере
Servlet Lifecycle

+

6. JPS, JSTL, internationalization

+

Apply 6_12_jsp_jstl_i18n.patch

+

+
Поменял users\meals в ключах локализации на user\meal. Понадобится при локализации ошибок (сделаем позже)
+

+

Including Content in a JSP Page

+

7. Динамическое изменение профиля при запуске.

+

+
-Dspring.profiles.active="datajpa,postgres"
+

+

Set profiles in Spring 3.1

+

8. Конфигурирование Tomcat через maven plugin. Jndi-lookup.

+

С плагином мы можем сконфигурировать Tomcat приямо в pom.xml и запустить его с задеплоенным туда нашим приложением WAR из командной строки +без IDEA и без инсталляции Tomcat. По умолчанию он скачивает его из центрального maven репозитория (можно также указать свой в <container><home>${container.home}</home></container>). +При запуске Tomcat из IDEA запускается Tomcat, путь к которому мы прописали в конфигурации запуска (со своими настройками).

+

Apply 6_13_tomcat_pool_jndi_cargo.patch

+

+
+
для запуска в Tomcat 8 поменял tomcat7-maven-plugin на cargo-maven2-plugin.
+
плагин сконфигурирован под postgres. Для HSQLDB нужно скорректировать dependencies и driverClassName в context.xml
+
+

+

Запуск из коммандной строки:

+

 mvn clean package -DskipTests=true org.codehaus.cargo:cargo-maven2-plugin:1.6.5:run
+

+

9. Spring Web MVC

+

Apply 6_14_spring_webmvc.patch

+

+
+
Починил путь к корню
+
В Spring 4.3 ввели новые аннотации @Get/Post/...Mapping (сокращенный вариант @RequestMapping)
+
+

+

Spring Web MVC
Паттерн Front Controller
Добавляем DispatcherServlet и MVC application context.
Иерархия контекстов в Spring Web MVC
Сценарий обработки запроса. HandlerMappings
View resolving: прячем jsp под WEB-INF.
HandlerMapping: SimpleUrlHandlerMapping, BeanNameUrlHandlerMapping
Маппинг ресурсов.
Ресурсы: +
- Spring MVC hello world
- Special bean types in the WebApplicationContext
+

+

+
Настройки Project Structure->Modules->Spring:
+

+

+
В web.xml мы инициализируем DispatcherServlet, передавая ему параметром spring-mvc.xml. Получается, что DispatcherServlet парсит spring-mvc.xml и находит в нем context?
+

+

Нет. spring-mvc.xml парсит какой-то из спринговых ApplicationContext (думаю что XmlWebApplicationContext). +DispatcherServlet это сервлет, который раскидывает запросы по контроллерам (бинам контекста спринга). См паттерн Front Controller.

+

10. Spring Internationalization

+

Apply 6_15_spring_i18n.patch

+

Убедитесь что в настройках IDEA кодировка везде UTF-8
Проверьте, что файлы локализации у вас в UTF-8 (в IDEA справа внизу в статусе есть кодировка и можно перекодировать).

+

+
+
В локализации поменял fmt:message на spring:message
+
Выбор языка зависит от языка операционной системы и хедера Accept-Language. Добавил в spring-mvc.xml messageSource параметр fallbackToSystemLocale. +Он управляет выбором, куда переключаться при выборе en и отсутствии app_en.properties: локаль операционной системы или app.properties (fallbackToSystemLocale=false). Переключение локалей будем реализовывать в конце проекта.
+
+

+

Для тестирования локали можно поменять `Accept-Language`. Для хрома в `chrome://settings/languages` перетащить нужную локаль наверх.

+

Ваши вопросы

+

+
Кэш hibernate надстраивается над ehcache или он живет самостоятельно?
+

+

Understanding Hibernate Caching: +Hibernate supports following open-source cache implementations out-of-the-box: EHCache (Easy Hibernate Cache), OSCache (Open Symphony Cache), Swarm Cache, and JBoss Tree Cache.

+

+
Где конфигурится интернализация для jstl (т.е. файл, где задаются app, app_ru.properties)? Достаточно указать в страницах бандл и путь в ресурсы?
+

+

<fmt:setBundle basename="messages.app"/> означает что ресурсы будут искаться в classpath:messages/app(_xx)/properties: +Tag setBundle: fully-qualified resource name, which has the same form as a fully-qualified class name. +После сборки проекта maven их можно найти в target/classes или target/topjava/WEB-INF/classes.

+

+
Отлично, что она все пишет на том языке, который пришел в хидере запроса. А если я хочу выбрать?
+

+

Выбор языка зависит от языка операционной системы и хедера Accept-Language. Параметр fallbackToSystemLocale, который управляет выбором, когда с Accept-Language: en,en-US; не находится локализация app_en.properties. Для переключения локали используется JSTL Format Tag fmt:setLocale. Мы будем реализовывать переключение локалей в Spring i18n в конце проекта.

+

+
Мы создаем бин, где получаем dataSource по имени <jee:jndi-lookup id="dataSource" jndi-name="java:comp/env/jdbc/topjava"/>. +Но там не указан класс, как в других dataSource? Получается по имени jdbc/topjava нам уже отдает готовый обьект dataSource и мы как бы помещаем его в бин?
+

+

Здесь используется namespace jee:jndi-lookup, который прячет под собой классы реализации. JNDI объект DataSource конфигурируется в src/main/resources/tomcat/context.xml

+

+
В плагине прописан профиль <spring.profiles.active>tomcat,datajpa</spring.profiles.active>, а в web.xml <param-value>postgres,datajpa</param-value>. +Какой же реально отрабатывает?
+

+

См. видео урока "Динамическое изменение профиля при запуске". В плагине мы задаем параметры JVM запуска Tomcat

+

+
Почему мы не используем элемент <context:annotation-config/> в spring-db.xml?
+

+

В проекте у нас сейчас 2 Spring контекста: spring-mvc.xml (см. web.xml, DispatcherServlet) и родительский spring-app.xml + spring-db.xml (web.xml, contextConfigLocation). +Грубо: 2 мапы, причем для mvc доступно все что есть в родителе. Те spring-db.xml не является отдельным самостоятельным контекстом и достаточно того, что <context:annotation-config/> у нас есть в spring-app.xml.

+

+
A @NamedQuery или @Query подвержены кешу запросов? Т.е. если мы поставим USE_QUERY_CACHE_value="true" будет Hibernate их кешировать?
+

+

Чтобы запрос кэшировался, кроме true в конфигурации нужно еще явно выставить запросу setCacheable (http://vladmihalcea.com/2015/06/08/how-does-hibernate-query-cache-work/). По поводу кэширования @NamedQuery нашел @QueryHint: https://docs.jboss.org/jbossas/docs/Clustering_Guide/5/html/ch04s02s03.html

+

+
Почему messages мы кладем в config и используем system environment? разве так делают в реальном проекте? не будешь же вписывать на сервере эти переменные каждый раз, если проект куда-то будет переезжать. Можно по другому, кроме systemEnvironment['TOPJAVA_ROOT'] задать путь от корня проекта?
+

+

+
messages нам нужны в runtime (при работе приложения). Проект к собранному и задеплоенному в Tomcat war отношения никакого уже не имеет и на этом сервере он обычно не находится. Если ресурсы нужны только при сборке и тестировании, то путь к корню для одномодульного maven проекта можно задать как ${project.basedir}, но для многомодульного проекта (а все реальные проекты многомодульные) это путь к корню своего модуля.
+
+
В "реальном приложении" делается совершенно по разному:
+
- нести с собой в classpath, но ресурсы нельзя будет динамически (без передеплоя) обновлять
- класть в war (не в classpath) и обновлять в развернутом TOMCAT_HOME/webapps/[appname]/...
- класть в зафиксированное определенное место (например в home: ~ или в путь от корня /app/config). Можно задавать фиксированный пусть в пропертях профиля maven и фильтровать ресурсы (maven resources), чтобы они попали в проперти проекта.
- делать через переменную окружения, как у нас
- задавать в параметрах запуска JVM как системную переменную через -D..
- располагать в преференсах (для unix это home, для windows- registry): использование Preferences API
- держать настройки в DB
+
Часто в одном приложении используют несколько способов для разных видов конфигураций.
+

+

+
Не происходит ли дублирования при кэшировании пользователей чрез Hibernate и @Cacheable ?
+

+

@Cacheable кэширует результат запроса getAll(), те список юзеров. Hibernate кэширует юзеров по отдельности, те, грубо мапа, id->User. Те можно назвать это дублированием. Нужно ли будет такое в реальном приложении - все смотрится из логики запросов и их частоты, вполне вероятно что нет. Как то мы писали приложение для Дойчебанка (аналог skype на GWT, те на экране небольшое окошко)- там было 5!! уровней кэширования, первый вообще в базе.

+

+
У меня стоит томкат 7 версии, в помнике у нас 8 прописан, но всё работает. Почему?
+

+

В pom.xml мы подключаем servlet-api версии 3.1 со scope=provided, что означает что он используется только для компиляции и не идет в war. Тк мы не используем никаких фич 3.1, то наш код совместим с Tomcat 7.x. При запуске через cargo-maven2-plugin Tomcat 8 загружается из maven репозитория.

+

+
Откуда @Transactional вытягивает класс для работы с транзакцией, в составе какого бина он идет?
+

+

Если в контексте Spring есть <tx:annotation-driven/>, то подключается BeanPostProcessors, который проксирует классы (и методы), помеченные @Transactional.
По умолчанию для TransactionManager используется бин с id=transactionManager

+

Домашнее задание HW06

+

1.1 Починить тесты InMemoryAdminRestControllerSpringTest/InMemoryAdminRestControllerTest (в новой версии Spring классы spring-mvc требуют WebApplicationContext, поэтому поправьте mock.xml)
1.2 Починить Jdbc тесты (валидацию исключить) +
- org.junit.Assume
- How to get Current Profiles in Spring Application
+
1.3 Удалить сервлеты и перенести функциональность MealServlet в JspMealController контроллер (по аналогии с RootController). +MealRestController у нас останется, с ним будем работать позже. +
- 1.3.1 разнести запросы на update/delete/.. по разным методам (попробуйте вообще без action=). Можно по аналогии с RootController#setUser принимать HttpServletRequest request (аннотации на параметры и адаптеры для LocalDate/Time мы введем позже).
- 1.3.2 в одном контроллере нельзя использовать другой. Чтобы не дублировать код можно сделать наследование.
- 1.3.3 добавить локализацию и jsp:include в mealForm.jsp / meals.jsp
+

+

Optional

+

2.1 Добавить транзакционность (DataSourceTransactionManager) в Jdbc реализации
2.2 Добавить еще одну роль к ADMIN (будет 2 роли: ROLE_USER, ROLE_ADMIN)
2.3 Добавить проверку ролей в UserTestData.assertMatch
2.4 Починить тесты в JdbcUserRepositoryImpl (добавить роли). Доставать можно двумя способами: одним запросом с JOIN либо двумя запросами: отдельно users и отдельно roles. +
- 2.4.1 В реализации getAll НЕ делать запрос ролей для каждого юзера (N+1 select)
- 2.4.2 При save посмотрите на batchUpdate()
+

+

Подсказки по HW06

+

1: Неверная кодировка UTF-8 с Spring обычно решается фильтром CharacterEncodingFilter:

+

    <filter>
+        <filter-name>encodingFilter</filter-name>
+        <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
+        <init-param>
+            <param-name>encoding</param-name>
+            <param-value>UTF-8</param-value>
+        </init-param>
+        <init-param>
+            <param-name>forceEncoding</param-name>
+            <param-value>true</param-value>
+        </init-param>
+    </filter>
+    <filter-mapping>
+        <filter-name>encodingFilter</filter-name>
+        <url-pattern>/*</url-pattern>
+    </filter-mapping>
+

+

2: Если не поднимается контекст Spring, смотрим причину в верху самого нижнего эксепшена. Все ошибки на отсутствия бина в контексте или его нескольких реализациях относятся к пониманию основ: Spring application context. Если нет понимания этих основ, двигаться дальше нельзя, нужно вернуться к видео Спринг, где объясняется что это такое. Также пересмотрите видео Тестирование UserService через AssertJ. Начиная с 11.30 как раз разбираются подобные ошибки.
3: Если неправильно формируется url относительно контекста приложения (например /topjava/meals/meals), посмотрите на +
- Relative paths in JSP
- Spring redirect: prefix
+
4: При проблемах с запуском томкат проверьте запущенные java процессы, нет ли в TOMCAT_HOME\webapps приложения каталога topjava, логи tomcat - нет ли проблем с доступом к каталогам или контекстом Spring.
5: Если создаете List с одним значением или Map с одним ключом-значением, пользуйтесь Collections.singleton..
6: В MealController общую часть @RequestMapping(value = "/meals") лучше вынести на уровень класса
7: Не забывайте при реализации JdbcUserRepositoryImpl про Map.computeIfAbsent и EnumSet
8: Проверьте @Transactional(readOnly = true) сверху Jdbc..RepositoryImpl
9: Проверьте, что config\messages\app_ru.properties у вас в кодировке UTF-8 (в любом редакторе/вьюере или при отключенном Transparent native-to-ascii conversion в IDEA). ASCII коды нужны были только для JSP.

+

Онлайн проекта Topjava

+

Материалы занятия

+

Разбор домашнего задания HW6

+

1. HW6

+

Apply 7_01_HW6_fix_tests.patch

+

+
+
Добавил AbstractServiceTest.isJpaBased() и Assume.assumeTrue(isJpaBased()) в AbstractMealServiceTest.testValidation().
+
Как вариант можно было вместо наследования от AbstractJpaUserServiceTest сделать @Autowired(required = false) JpaUtil (в этом случае, если в профиле jpa/datajpa не объявить JpaUtil, тестах будет NPE)
+
В новой версии Spring классы spring-mvc требуют WebApplicationContext, поэтому поправил mock.xml
+
+

+

Apply 7_02_HW6_meals.patch

+

При переходе на AJAX JspMealController удалим за ненадобностью, возвращение всей еды meals() останется в RootController.

+

Apply 7_03_HW6_fix_relative_url_utf8.patch

+

2. HW6 Optional

+

Apply 7_04_HW6_optional_add_role.patch

+

Apply 7_05_fix_hint_graph.patch

+

В JpaUserRepositoryImpl.getByEmail DISTINCT попадает в запрос, хотя он там не нужен. Это просто указание Hibernate не дублировать данные. +Для оптимизации можно указать Hibernate делать запрос без distinct: 15.16.2. Using DISTINCT with entity queries
Тест DataJpaUserServiceTest.testGetWithMeals() не работает для admin (у админа 2 роли и еда при JOIN дублируется). DISTINCT при несколький JOIN не помогает. +Оставил в графе только meals. Корректно поставить тип LOAD, чтобы остальные ассоциации доставались по стратегии модели. Однако с типом по умолчанию FETCH роли также достаются (похоже что бага).

+

Apply 7_06_HW6_optional_jdbc.patch

+

+
+
реализовал в JdbcUserRepositoryImpl.getAll() доставание ролей через лямбду
+
в insertRoles поменял метод batchUpdate и сделал проверку на empty
+
+

+

Еще интересные JDBC реализации:

+

в getAll()/ get()/ getByEmail() делать запросы с LEFT JOIN и сделать ResultSetExtractor
подключить зависимость spring-data-jdbc-core. Там есть готовый OneToManyResultSetExtractor. Можно посмотреть, как он реализован.
реализация, зависимая от БД: доставать агрегированные роли и делать им split(","):

+

SELECT u.*, string_agg(r.role, ',') AS roles
+FROM users u
+  JOIN user_roles r ON u.id=r.user_id
+GROUP BY u.id
+

+

Занятие 7:

+

3. Тестирование Spring MVC

+

Apply 7_07_controller_test.patch

+

+
+
в MockMvc добавился CharacterEncodingFilter
+
добавил AllActiveProfileResolver
+
реализация Ehcache нетранзакционная, после отката транзакции в тестах по @Transactional Hibernate кэш не восстанавливал роль для USER. Добавил очистку кэша Hibernate в AbstractControllerTest.setUp (с учетом того, что Profiles.REPOSITORY_IMPLEMENTATION можно переключить на JDBC).
+
+

+

4. REST контроллеры

+

Apply 7_08_rest_controller.patch

+

5. Тестирование REST контроллеров. Jackson.

+

Apply 7_09_rest_test_jackson.patch

+

https://github.com/FasterXML/jackson-databind

+

6. Кастомизация Jackson Object Mapper

+

Apply 7_10_jackson_object_mapper.patch

+

Сериализация hibernate lazy-loading с помощью jackson-datatype-hibernate
Handle Java 8 dates with Jackson
Дополнительно: +
- Jackson JSON Serializer & Deserializer
+

+

7. Тестирование REST контроллеров через JSONassert

+

Apply 7_11_json_assert_tests.patch

+

8. Тестирование через SoapUi. UTF-8

+

Apply 7_12_soapui_utf8_converter.patch

+

Инструменты тестирования REST: +
- SoapUi
- Написание HTTP-запросов с помощью Curl +(для Windows можно использовать Git Bash)
- Postman
- IDEA: Tools->Test RESTful Web Service
- Insomnia REST client
+

+

Импортировать проект в SoapUi из config\Topjava-soapui-project.xml. Response смотреть в формате JSON.

+

Проверка UTF-8: http://localhost:8080/topjava/rest/profile/text
ResponseBody and UTF-8

+

Ваши вопросы

+

+
При выполнении тестов через MockMvc никаких изменений на базе не видно, почему оно не сохраняет?
+

+

AbstractControllerTest аннотируется @Transactional - это означает, что тесты идут в транзакции и после каждого теста JUnit делает rollback базы.

+

+
Что получается в результате выполнения запроса SELECT DISTINCT(u) FROM User u LEFT JOIN FETCH u.roles ORDER BY u.name, u.email? В чем разница в SQL без DISTINCT.
+

+

Запросы можно посмотреть в логах - SQL тот же. Те DISTINCT влияет на то, как Hibernate обрабатывает дублирующие записи (с DISTINCT их исключает). Результат можно посмотреть в тестах или приложении, поставив брекпойнт.

+

+
В чем заключается расширение функциональности hamcrest в нашем тесте, что нам пришлось его отдельно от JUnit прописывать?
+

+

hamcrest-all используется в проверках RootControllerTest: org.hamcrest.Matchers.*

+

+
Jackson мы просто подключаем в помнике и спринг будет с ним работать без любых других настроек?
+

+

Да, Spring смотрит в classpath и если видит там Jackson, то подключает интеграцию с ним

+

+
Где-то слышал, что любой ресурс по REST должен однозначно идентифицироваться через url, без параметров. Правильно ли задавать URL для фильтрации в виде http://localhost/topjava/rest/meals/filter/{startDate}/{startTime}/{endDate}/{endTime} ?
+

+

Так делают, только при отношении агрегация, например если давать админу право смотреть еду любого юзера, URL мог бы быть похож на http://localhost/topjava/rest/users/{userId}/meals/{mealId}. В случае критериев, поиска или странчных данных они передаются как параметр.

+

+
Что означает конструкция в JsonUtil: reader.<T>readValues(json);
+

+

См. Generic Methods. Когда компилятор не может вывести тип, можно его уточнить при вызове generic метода. Не важно static или нет.

+

Домашнее задание HW07

+

1: Добавить тесты контроллеров: +
- 1.1 RootControllerTest.testMeals для meals.jsp
- 1.2 ResourceControllerTest для style.css (проверить status и ContentType)
+
2: Реализовать MealRestController и протестировать его через MealRestControllerTest +
- 2.1 cледите чтобы url в тестах совпадал с параметрами в методе контроллера. Можно добавить логирование <logger name="org.springframework.web" level="debug"/> для проверки маршрутизации.
- 2.2 в параметрах getBetween принимать LocalDateTime (конвертировать через @DATETIMEFORMAT WITH JAVA 8 DATE-TIME API), а передавать в тестах в формате ISO_LOCAL_DATE_TIME (например '2011-12-03T10:15:30'). Вызывать super.getBetween() пока без проверки на null, используя toLocalDate()/toLocalTime() (см. Optional п.3)
+

+

Optional

+

3: Переделать MealRestController.getBetween на параметры LocalDate/LocalTime c раздельной фильтрацией по времени/дате, работающий при null значениях (см. демо и JspMealController.getBetween). Заменить @DateTimeFormat на свои LocalDate/LocalTime конверторы или форматтеры. +
+
4: Протестировать MealRestController через любой инструмент (SoapUi, curl, IDEA Test RESTful Web Service, Postman)

+

На следующем занятии используется JavaScript/jQuery. Если у вас там пробелы, пройдите его основы

+

Подсказки по HW07

+

1: Ошибка в тесте Invalid read array from JSON обычно расшифровывается немного ниже: читайте внимательно.
2: Jackson и неизменяемые объекты
3: Jackson JSON Tutorial
4: Если у meal, приходящий в контроллер, поля null, проверьте @RequestBody перед параметром (данные приходят в формате JSON)
5: При проблемах с собственным форматтером убедитесь, что в конфигурации <mvc:annotation-driven... не дублируется
6: Проверьте выполение ВСЕХ тестов через maven. В случае проблем проверьте, что не портите константу из MealTestData
7: @Autowired в тестах нужно делать в том месте, где класс будет использоваться. Общий принцип: не размазывать код по классам, объявление переменных держать как можно ближе к ее использованию, группировать (не смешивать) код с разной функциональностью.

+

Онлайн проекта Topjava

+

Материалы занятия

+

Браузер кэширует javascript и css. Если изменения не работают, обновите приложение в браузере по Ctrl+F5
При удалении файлов не забывайте делать clean: mvn clean package

+

Разбор домашнего задания HW7

+

1. HW7

+

Apply 8_01_HW07_controller_test.patch

+

+
В RootControllerTest.testMeals() сделал проверку через model().attribute("meals", expectedValue). Сравнение происходит через MealWithExceed.equals(), который мы можем переопределить, т.к. MealWithExceed не является сущностью (entity).
+

+

Apply 8_02_HW07_rest_controller.patch

+

+
+
Делаем сравнения через JSONAssert
+
Вынес дженерик методы contentJson() / contentJsonArray() в TestUtil. Они будут общими для всех и пригодятся, если сущностей в проекте будет больше 2х.
+
+

+

2. HW7_Optional

+

Apply 8_03_HW07_formatters.patch

+

+
Перенес форматтеры в подпакет web, тк они используются Spring MVC
+

+

Apply 8_04_HW07_soapui_curl.patch

+

+
Добавил примеры запросов curl в config/curl.md
+

+

Написание HTTP-запросов с помощью Curl (для Windows можно использовать Git Bash)

+

Занятие 8:

+

3. WebJars. jQuery and JavaScript frameworks

+

Apply 8_05_webjars.patch

+

+
+
Обновил jQuery до 3.x и остальные зависимости +
+
Новое в jQuery 3
+
+
+
УБРАЛ из проекта Dandelion обертку к datatables: +
+
не встречал нигде, кроме Spring Pet Clinic;
+
поддержка работы с datatables через Dandelion оказалось гораздо более трудоемкое, чем работа с плагином напрямую.
+
+
+
Исключил из зависимостей webjars ненужные jQuery
+
+

+

Подключение веб ресурсов. WebJars.
Introducing WebJars
Document Object Model (DOM)
What is the DOM?
jQuery
Is jquery a javascript library or framework
DataTables
Working with jQuery DataTables

+

4. Bootstrap

+

Apply 8_06_bootstrap.patch

+

+
+
Добавил Glyphicons
+
В таблице удаление/редактирование сделал без кнопок (линками)
+
+

+

Подключаем Bootstrap.
Twitter Bootstrap Tutorial
Bootstrap 3 Tutorial
Видео: уроки по Bootstrap 3
Дополнительно +
- Bootstrap верстка современного сайта за 45 минут
+

+

5. AJAX. Datatables. jQuery

+

JSP полезны, если надо с сервера отдать статический html с серверной логикой (условия, циклы), сформированный на основе модели. Для динамической отрисовки таблицы мы будем использовать REST и JSON на 9м уроке (работа с datatables через Ajax).

+

Apply 8_07_ajax_datatables.patch

+

+
+
Сделал загрузку скриптов асинхронной (и все общие скрипты в headTag.jsp). Для асинхронной загрузки вынес скрипт из users.jsp в userDatatables.js. +
+
Внешние скрипты, порядок исполнения
+
JavaScript loading modern approach
+
+
+
Поменял стили с jquery.dataTables на dataTables.bootstrap и добавил dataTables.bootstrap.js +
+
DataTables/Bootstrap 3 integration
+
+
+
Вместо id и селектора для добавления пользователя использовал обработчик onclick и функцию add() +
+
Введение в браузерные события
+
+
+
reset() не чистит скрытые (hidden) поля формы. Сделал очистку полей через form.find(":input").val("")
+
Обновил dataTables API: +
+
Converting parameter names for 1.10
+
dataTable() vs. DataTable()
+
+
+
+

+

AJAX.
Событие $(document).ready.
jQuery для всех.
jQuery для начинающих. AJAX.
jQuery для начинающих. Селекторы.
jQuery API
Редактирование таблицы на основе модального окна Bootstrap.
Javascript плагины для Bootstrap
DataTables API

+

6. Notifications

+

Apply 8_08_notification.patch

+

+
+
Сделал защиту от кэширование ajax запросов в IE
+
Обновил API Noty (3.1.0), добавил в сообщения glyphicon
+
Tomcat 8.5.x перестал отдавать в заголовке statusText. Отображаем просто status +
+
RFC 7230 states that clients should ignore reason phrases in HTTP/1.1 response messages.
+
Since the reason phrase is optional, Tomcat no longer sends it (statusText).
+
+
+
+

+

7. Добавление Spring Security

+

+
+
Правка к видео: путь в intercept-url должен быть полный: pattern="/rest/admin/**"
+
В Spring Security 4.x по умолчанию включен csrf (защита от межсайтовой подделки запроса). Выключил, включим на 10-м занятии.
+
В Spring Security 5.x по умолчанию пароль кодируется. Выключил, включим на 10-м занятии. +
+
Adding a Password Encoder
+
+
+
+

+

Apply 8_09_add_security.patch

+

Spring Security
Протокол AAA
Методы аутентификации.
Basic access authentication
Использование ThreadLocal
Добавляем в проект spring-security и security filter
Конфигурируем security context для ресурсов и REST
Тестируем Security REST через SoapUI/ curl/ Postman/ Testing RESTful Web Services + Generate Authorization Header
Security with Spring
Decode/Encode Base64 online

+

curl -v -H 'Authorization: Basic dXNlckB5YW5kZXgucnU6cGFzc3dvcmQ=' http://localhost:8080/topjava/rest/profile/meals

+

аналогична

+

curl -v --user user@yandex.ru:password http://localhost:8080/topjava/rest/profile/meals

+

Ваши вопросы

+

+
Что делает код?
+

+

$('.delete').click(function () {
+        deleteRow($(this).attr("id"));
+    });
+

+

На все элементы DOM с классом delete вешается обработчик события click который вызывает функцию deleteRow. Классы в html разделяются через пробел. См. селекторы в jQuery

+

+
тянет ли bootstrap за собой jQuery?
+

+

Bootstrap css это стили (форматирование), Bootstrap js зависит от jQuery: http://stackoverflow.com/questions/14608681/can-i-use-twitter-bootstrap-without-jquery#answer-14608772

+

+
А где реально этот путь "classpath:/META-INF/resources/webjars"?
+

+

Внутри подключаемых webjars ресурсы лежат по пути /META-INF/resources/webjars/... Не поленитесь посмотреть на них через Ctrl+Shift+N. +Все подключаемые jar попадают в classpath и ресурсы доступны по этому пути.

+

+
У меня webjars зависимость лежит внутри ".m2\repository\org\webjars". С чем это может быть связано?
+

+

Maven скачивает все депенденси в local repository, который по умолчанию находится в ~/.m2. +Каталог по умолчанию можно переопределить в APACHE-MAVEN-HOME\conf\settings.xml, элемент localRepository.

+

+
WEBJARS лежат вообще в другом месте WEB-INF\lib*. Биндим mapping="/webjars/*" на реальное положение jar в ware, откуда spring знает где искать наш jquery ?
+

+

В war в WEB-INF/lib/* лежат все jar, которые попадают к classpath. Spring при обращении по url /webjars/ ищет по пути биндинга <mvc:resources mapping="/webjars/ " location="classpath:/META-INF/resources/webjars/"/> +по всему classpath (то же самое как распаковать все jar в один каталог) в META-INF/resources/webjars/. В этом месте во всех jar, которые мы подключили из webjars лежат наши ресурсы.

+

+
Как можно в браузере сбросить введенный пароль базовой авторизации?
+

+

Проще всего делать новый запрос в новой анонимной вкладке (Ctrl+Shift+N в Chrome)

+

+
Оптимально ли делать доступ к статическим ресурсам (css, js, html) через webjars ?
+

+

На продакшене под нагрузкой статические ресурсы лучше всего держать не в war, а снаружи. Доступ к ним делается либо через конфигурирование Tomcat, но чаще всего через прокси, например Nginx

+

+
Как по REST определяется залогиненный юзер? Аутентификация происходит при каждом запросе?
+

+

Способы RESTful Authentication. +Мы будем использовать 2: coockie + http session (на след. уроке) и Basic Authentication с аутентификацией при каждом запросе.

+

+
Почему @RequestParam не работает в PUT и DELETE запросах?
+

+

По спецификации Servlet API параметры в теле для PUT, DELETE, TRACE методах не обрабатываются (только в url). +Те. можно:

+

использовать POST
передавать параметры в url
использовать HttpPutFormContentFilter фильтр
настроить Tomcat в обход спецификации.

+

См. Handle request parameters for an HTTP PUT method

+

+
Что происходит, когда мы нажимаем на кнопку submit в форме добавления юзера (users.jsp, <form id="detailsForm">)?
+

+

В datatablesUtil.js берется DOM элемент (форма) по id="detailsForm" и на событие submit вешается обработчик:

+

$('#detailsForm').submit(function () {
+    save();
+    return false;
+});
+

+

+
Данные между браузером и ajax гоняются в виде json? Почему в AdminAjaxController у методов delete и createOrUpdate нет в аннотациях параметра consumes = MediaType.APPLICATION_JSON_VALUE ?
+

+

Посмотреть на данные между приложением и браузером можно (и нужно!) в браузере (вкладка Network в Инструментах разработчика, F12 в Хроме). Зависит от того, как их отправляем из браузера и из приложения. Данные формы обычно передаются просто параметрами. APPLICATION_JSON_VALUE в контроллере нужно, только если параметры отдаются\принимаются в формате JSON.

+

Домашнее задание HW08

+

1: Перевести meals на datatables (meals.jsp, MealAjaxController). +
- 1.1 Реализовать добавление записи еды через модальное окно Bootstrap и удаление еды по ajax (БЕЗ редактирования).
- 1.2 При вставке данных по AJAX пропадает все JSP форматирование, чинить перерисовку НЕ надо. Следующий урок- будем делать datatable по AJAX и форматирование на стороне клиента.
+
2: Т.к. HTML атрибут id у каждого элемента документа должен быть уникален, нужно избавиться от дублирования id="${user.id}" в строках таблиц users и meals (переместить атрибут id в тэг <tr> или передавать в качестве параметра функций через onclick)

+

Optional.

+

3: Перевести работу фильтра на AJAX. Попробуйте после модификации таблицы (например добавлении записи) обновлять ее также с учетом фильтра.
4: Сделать кнопку сброса фильтра.
5: Реализовать enable/disable User через checkbox в users.jsp с сохранением в DB. Неактивных пользователей выделить css стилем.

+

Подсказки по HW08

+

1: проверьте, как у вас первоначально (или по F5) отображаются неактивные пользователи (если меняете css при enable/disable)
2: если у вас запрос фильтрации не попадает в Ajax контроллер, скорее всего срабатывает submit формы фильтрации. Нужно или делать в событии return false как в datatablesUtil:$('#detailsForm').submit, либо вместо type="submit" сделать type="button"
3: enable/disable делать c @Transactional (можно реализовать как на уровне репозитория, так и на уровне сервиса через несколько sql, которые должны быть в одной транзакции)
4: в datatablesUtil.js следует выносите только общие скрипты (cкрипты еды размещайте в mealDatatables.js, пользователей в userDatatables.js)
5: если в контроллер приходит null проверте в Network вкладке браузера в каком формате приходят данные и в каком формате в контроллере вы их принимаете (consumes).

+

Онлайн проект Topjava

-

Материалы занятия (скачать все патчи можно через Download папки patch)

+

Материалы занятия (скачать все патчи можно через Download папки patch)

Правки в проекте

Apply 2_0_add_fix.patch

Разбор домашнего задания HW1:

@@ -672,7 +673,7 @@

откройте вкладку Maven Projects и сделайте clean

если страничка в браузере работает неверно, очистите кэш (Ctrl+F5 в хроме)

Онлайн проект Topjava

-

Материалы занятия (скачать все патчи можно через Download папки patch)

+

Материалы занятия (скачать все патчи можно через Download папки patch)

Правки в проекте

Apply 3_0_fix.patch

В поля ввода формы добавил required

Разбор домашнего задания HW02

-

1. HW2

+

1. HW2

-
ВНИМАНИЕ! При удалении класса из исходников он (скомпилированный) остается в target (и classpath). В этом случае (или в любом другом, когда проект начинает глючить) сделайте mvn clean.
+
ВНИМАНИЕ! При удалении класса из исходников, его скомпилированная версия все еще будет находиться в target (и classpath). В этом случае (или в любом другом, когда проект начинает глючить) сделайте mvn clean.

Apply 3_01_HW2_repository.patch

-
В репозиториях по другому инстанциировал компараторы. Оптимизация анонимных классов не требуется! Почитайте комменты от Holger: Java 8 relieves us from the need to think about such things at all.
-
Зарефакторил <T extends Comparable<? super T>> DateTimeUtil.isBetween(T value, T start, T end). Дженерики означают, что мы принимаем экземпляры класса, который имплементит компаратор, который умеет сравнивать T или суперклассы от T
-
В InMemoryMealRepositoryImpl.save() сделал обновление атомарным. В варианте computeIfPresent (см. псевдокод в Map.computeIfPresent) удаление элемента if (newValue == null) remove не используем, т.к. передаем ненулевое новое значение. Используем только атомарноный put, если элемент присутствует, те вместо 2х операций, разнесенных во времени +
В репозиториях по другому инстанциировал компараторы. Оптимизация анонимных классов не требуется! Почитайте комменты от Holger: Java 8 relieves us from the need to think about such things at all.
+
Зарефакторил <T extends Comparable<? super T>> DateTimeUtil.isBetween(T value, T start, T end). Дженерики означают, что мы принимаем экземпляры класса, реализующего компаратор, который умеет сравнивать T или суперклассы от T
+
В InMemoryMealRepositoryImpl.save() вместо 2-х разнесенных по времени операций
-
проверка get(meal.getId(), userId)
+
get(meal.getId(), userId)

meals.put(meal.getId(), meal), -между которыми может быть например операция удаления этой еды из другого потока делается meals.computeIfPresent. ConcurrentHashMap в отличие от HashMap делает операции атомарно.
+между которыми может вклинится операция удаления этой еды из другого потока, сделал обновление атомарным, используя ConcurrentHashMap.computeIfPresent() (см. псевдокод в Map.computeIfPresent. ConcurrentHashMap в отличие от HashMap делает операции атомарно).

@@ -708,15 +709,15 @@
Apply 3_04_HW2_optional_filter.patch

-
Вместо MealServlet.resetParam (перемещение параметров фильтрации в атрибуты запроса для отображения в meals.jsp), достаю их в jsp напрямую из запроса через ${param.xxx}
+
Вместо MealServlet.resetParam (перемещение параметров фильтрации в атрибуты запроса для отображения в meals.jsp), достаю их в jsp напрямую из запроса через ${param.xxx}

В демо фильтр не хранится в сессии (скидывается по F5). Что такое сессия будем разбирать, когда будем делать реальную авторизацию

Apply 3_05_HW2_optional_select_user.patch
-
2. Вопросы по API и слоям приложения
+
2. Вопросы по API и слоям приложения

-
Should services always return DTOs, or can they also return domain models?
-
Mapping Entity->DTO goes in which application layer: Controller or Service?
+
Should services always return DTOs, or can they also return domain models?
+
Mapping Entity->DTO goes in which application layer: Controller or Service?

Вопросы по HW2

@@ -728,26 +729,26 @@

В данном случае двойная мапа - самый эффективный способ хранения, который не требует итерирования (перебора всех значений).

Занятие 3:
-
3. Коротко о жизненном цикле Spring контекста.
+
3. Коротко о жизненном цикле Spring контекста.

Apply 3_06_bean_life_cycle.patch

-
Spring изнутри. Этапы инициализации контекста.
+
Spring изнутри. Этапы инициализации контекста.

Ресурсы:
-
Евгений Борисов. Spring, часть 1
-
Евгений Борисов. Spring, часть 2
+
Евгений Борисов. Spring, часть 1
+
Евгений Борисов. Spring, часть 2

-
4. Тестирование через JUnit.
+
4. Тестирование через JUnit.

ВНИМАНИЕ!! Перед накаткой патча создайте каталог test (из корня проекта путь \src\test), иначе часть файлов попадет в src\main.

-
в maven-surefire-plugin (JUnit) поменял кодировку на UTF-8
+
в maven-surefire-plugin (JUnit) поменял кодировку на UTF-8

добавил метод InMemoryUserRepositoryImpl.init() для инициализации.

save() не больше работает для отсутствующих id
-
автогенерацию id начал с 10
+
автогенерацию id начал со 100

@@ -755,10 +756,10 @@
Apply 3_07_add_junit.patch

Вопрос: почему проект упадет при попытке открыть страничку еды (в логе смотреть самый верх самого нижнего исключения)?

-
JUnit 4
-
Тестирование в Java. JUnit
+
JUnit 4
+
Тестирование в Java. JUnit

-
5. Spring Test
+
5. Spring Test

поменял @RunWith: SpringRunner is an alias for the SpringJUnit4ClassRunner
@@ -766,83 +767,91 @@

Apply 3_08_add_spring_test.patch

-
Spring Testing
+
Spring Testing

-
6. Базы данных. Обзор NoSQL и Java persistence solution без ORM.
+
6. Базы данных. Обзор NoSQL и Java persistence solution без ORM.

-
PostgreSQL.
+
PostgreSQL.

PostgreSQL JDBC Driver
-
Установка PostgreSQL. ВНИМАНИЕ! с postgres 9.6 возможны проблемы.
-
Чтобы избежать проблем с правами и именами каталогов, рекомендуют установить postgres в простой каталог, например C:\Postgresql. И при проблемах создать каталог data на другом диске. Если Unix, проверить права доступа к папке.
+
Установка PostgreSQL. ВНИМАНИЕ! с postgres 9.6 возможны проблемы.
+
Чтобы избежать проблем с правами и именами каталогов, рекомендуют установить postgres в простой каталог, например C:\Postgresql. И при проблемах создать каталог data на другом диске. Если Unix, проверить права доступа к папке (0700).

Создать в pgAdmin новую базу topjava и новую роль user, пароль password

+
+
Проверьте, что у user в Privileges есть возможность авторизации (особенно для pgAdmin4)
+

-
NoSQL or RDBMS. Обзор NoSQL систем. CAP
-
DB-Engines Ranking
-
JDBC
-
Обзор Java persistence solution без ORM: commons-dbutils, -Spring JdbcTemplate, -MyBatis, JDBI, jOOQ
+
NoSQL or RDBMS. Обзор NoSQL систем. CAP
+
DB-Engines Ranking
+
JDBC
+
Обзор Java persistence solution без ORM: commons-dbutils, +Spring JdbcTemplate, +MyBatis, JDBI, jOOQ

Основы:
-
Реляционная СУБД
-
Реляционные базы
-
Уроки по JDBC
-
Postgres Guide
-
PostgreSQL Tutorial
-
Try SQL
-
Базы данных на Java
-
Возможности JDBC — второй этап
+
Реляционная СУБД
+
Реляционные базы
+
Уроки по JDBC
+
Postgres Guide
+
PostgreSQL Tutorial
+
Try SQL
+
Базы данных на Java
+
Возможности JDBC — второй этап

Дополнительно:
-
Документация к PostgreSQL 9.6
-
Книги по PostgreSQL
+
Документация к PostgreSQL 9.6
+
Книги по PostgreSQL

-
7. Настройка Database в IDEA.
+
7. Настройка Database в IDEA.

Apply 3_09_add_postgresql.patch

-
Настройка Database в IDEA и запуск SQL.
+
Настройка Database в IDEA и запуск SQL.

-
8. Скрипты инициализации базы. Spring Jdbc Template.
+
8. Скрипты инициализации базы. Spring Jdbc Template.

в JdbcUserRepositoryImpl.getByEmail() заменил queryForObject() на query(). Загляните в код: queryForObject бросает EmptyResultDataAccessException вместо нужного нам null.

Apply 3_10_db_implementation.patch

-
Подключение Spring Jdbc.
-
Конфигурирование DataSource. Property Placeholder
+
Подключение Spring Jdbc.
+
Конфигурирование DataSource. Property Placeholder

Проверьте, что в контекст Spring проекта включены оба файла конфигурации

-
9. Тестирование UserService через AssertJ.
+
9. Тестирование UserService через AssertJ.
+
Apply 3_11_test_UserService.patch

-
The JPA hashCode() / equals() dilemma
-
Junit Matcher for comparators
-
AssertJ custom comparison strategy. AssertJ field by field comparisons
+
Spring Testing Annotations
+
The JPA hashCode() / equals() dilemma
+
Hibernate: implementing equals() and hashCode()
+
Junit Matcher for comparators
+
AssertJ custom comparison strategy. AssertJ field by field comparisons

-
Apply 3_11_test_UserService.patch
-
10. Логирование тестов.
+
10. Логирование тестов.

Apply 3_12_test_logging.patch

-
Новый PostgreSQL JDBC Driver логирует через java.util.logging. Направил логирование в SLF4J
-
Поменял формат вывода. См. Logback Layouts
+
Новый PostgreSQL JDBC Driver логирует через java.util.logging. Направил логирование в SLF4J
+
Поменял формат вывода. См. Logback Layouts

+
+
Ресурсы, которые кладутся в classpath, maven при сборке берет из определенных каталогов resources (Introduction to the Standard Directory Layout). Их можно настраивать через maven-resources-plugin, меняем в проекте Masterjava.
+

Apply 3_13_fix_servlet.patch

Приложение перестало работать, тк. для репозитория мы используем заглушку JdbcMealRepositoryImpl
-
11. Ответы на Ваши вопросы
+
11. Ответы на Ваши вопросы

-
Что такое REST? 10 Best Practices for Better RESTful API
+
Что такое REST? 10 Best Practices for Better RESTful API

Зачем нужна сортировка еды?

Можно ли обойтись без MapSqlParameterSource?

Как происходит работа с DB в тестах?
@@ -855,11 +864,11 @@
Какая разница между @BeforeClass and @Before?

@BeforeClass выполняется один раз после загрузки класса (поэтому метод может быть только статический), @Before перед каждым тестом. -Также: для чистоты тестов экземпляр тестового класса пересоздается перед каждым тестом: http://stackoverflow.com/questions/6094081/junit-using-constructor-instead-of-before
+Также: для чистоты тестов экземпляр тестового класса пересоздается перед каждым тестом: http://stackoverflow.com/questions/6094081/junit-using-constructor-instead-of-before

Тесты в классе в каком-то определенном порядке выполняются ("сверху вниз" например)?

-
Порядок по умолчанию неопределен, каждый тест должен быть автономен и не зависеть от других. См. также http://stackoverflow.com/questions/3693626/how-to-run-test-methods-in-specific-order-in-junit4
+
Порядок по умолчанию неопределен, каждый тест должен быть автономен и не зависеть от других. См. также http://stackoverflow.com/questions/3693626/how-to-run-test-methods-in-specific-order-in-junit4

Обязательно ли разворачивать postgreSQL?

@@ -876,7 +885,7 @@
Логика в базе - это процедуры и триггеры. Нет никакого ООП, переиспользовать код достаточно сложно, никагого рефакторинга, поиска по коду и других плюшек IDE. Нельзя делать всякие вещи типа кэширования, хранения в сесии - это все для логики на стороне java. Например json можно напрямую отдать в процедуру и там парсить и вставлять в таблицы или наоборот - собирать из таблиц и возвращать. А затем потребуется некоторая логика на стороне приложения и все равно придется этот json дополнительно разпарсивать в java. Я на таком проекте делал специальную миграцию, чтобы процедуры мигрировать не как sql скрипты, а каждую процедуру хранить как класс с историей изменений. Если логика: триггеры и простые процедуры записи-чтения, которые не требуют переиспользования кода или -проект небольшой это допустимо, иначе проект становится трудно поддерживать. Также иногда используют View для разграничения доступа. Например, для финансовых систем, таблицы проводок доступны только для админ учеток, а View просто не дадут увидеть (тем более изменить) данны обычному оператору на уровне СУБД.
+проект небольшой это допустимо, иначе проект становится трудно поддерживать. Также иногда используют View для разграничения доступа. Например, для финансовых систем, таблицы проводок доступны только для админ учеток, а View просто не дадут увидеть (тем более изменить) данны обычному оператору на уровне СУБД.

Онлайн проекта Topjava

+

Материалы занятия

+

Браузер кэширует javascript и css. Если изменения не работают, обновите приложение в браузере по Ctrl+F5
При удалении файлов не забывайте делать clean: mvn clean package

+

Правка

+

Apply 9_0_fix.patch

+

Обновил некоторые зависимости
Для DELETE сделал возвращаемый статус NO_CONTENT (204) +
- 15 тривиальных фактов о правильной работе с протоколом HTTP
+

+

Разбор домашнего задания HW8

+

1. HW8

+

Поправка к видео: в гриде bootstrap 12 колонок.

+

Apply 9_01_HW8.patch

+

+
+
Все события сделал через onlick. Чтобы формы не сабмитились, заменил type="submit" на type="button".
+
Фильтр еды сделал в Bootstrap Panels +
+
Fitting a panel into bootstrap's grid system
+
+
+
Удалил лишние классы, JSP и i18N
+
+

+

Apply 9_02_HW8_clear_filter.patch

+

+
Добавил сброс фильтра
+

+

2. HW8 Optional (enable/disable user)

+

Apply 9_03_HW8_enable_disable.patch

+

+
+
Перенес метод enable в userDatatables.js и вынес стиль disabled в css
+
Меняю стиль <tr> ПОСЛЕ успешной обработки запроса через toggleClass и при ошибке возвращаю checked в прежнее состояние
+
Убрал init(). При переводе таблицы на Ajax вместо него будет createdRow. Стили disabled добавляются при отрисовки таблицы в JSP
+
+

+

Занятие 9:

+

3. Spring Binding

+

Apply 9_04_binding.patch

+

+
Move ru.javawebinar.topjava.util.MealsUtil.DEFAULT_CALORIES_PER_DAY to ru.javawebinar.topjava.util.UserUtil
+

+

4. Реализация update

+

Apply 9_05_update.patch

+

+
+
Сделал интерфейс HasId от которого наследуются BaseTo и AbstractBaseEntity
+
Сделал проверку id в ValidationUtil на основе HasId
+
Сделал в ProfileRestController обновление своего профиля через UserTo (нельзя изменять себе роли) и поправил тест
+
+

+

Вопрос:

+

+
Можно ли было удаление делать без перезагрузки таблицы (удалением строки) и для редактирования брать данные со страницы, а не с сервера?
+

+

В многопользовательском приложении принято при изменении данных подтягивать все изменения с базы, иначе может быть большая несогласованность базы и UI. В таблице еды наши пользователи видят только свои записи, но лучше для всех таблиц делать общий подход. Дополнительная нагрузка на базу тут совсем небольшая.

+

5. Spring Validation

+

Apply 9_06_validation.patch

+

+
+
заменил hibernate @Depricated аннотации валидации на анологичные javax
+
responseJSON не выводится в случае его отсутствия (например при попытке добавить пользователья с дублирующимся email)
+
сделал конкатенацию ошибок через StringJoiner
+
при неверном формате email делается проверка startsWith, чтобы поле email не дублировалось в сообщении
+
+

+

6. Перевод DataTables на Ajax

+

Apply 9_07_datatable_via_ajax.patch

+

+
Напомню, что мы перешли на параметры Datatables в формате 1.10
+

+

DataTables Ajax

+

Вопрос:

+

+
Что за дополнительный параметр (который каждый раз инкрементируется) появляется при запросе datatables данных по ajax (например http://localhost:8080/topjava/ajax/admin/users/?_=1496156621129) ?
+

+

Это защита datatables от кэширования запроса браузером (например в IE).

+

Apply 9_08_js_i18n.patch

+

+
+
Добавил простую интернационализацию в JavaScript. +
+
на стороне сервера формируется i18n JavaScript массив с значениями, который затем используется для интернационализации в браузере
+
в модальном окне заголовок подменяется через $('#modalTitle').html(..title)
+
+
+
+

+

Для тестирования локали можно поменять `Accept-Language`. Для хрома в `chrome://settings/languages` перетащить нужную локаль наверх.

+

JavaScript internationalization

+

7. Форма логина / логаут.

+

Apply 9_09_min_form_login.patch

+

+
Добавил функциональность logout
+

+

Мои вопросы:

+

Почему при логине как admin еда отдаются для user?
Почему при логине как user не отображается список пользователей?
Почему еда не редактируется?

+

+
Подсказка: поглядите вкладку Network в браузере.
+

+

Apply 9_10_jsp_form_login.patch

+

+
Рефакторинг
+
+
В login.jsp вместо атрибутов достаю параметры запроса (param.error/message).
+
Закрыл доступ к /login для уже авторизованных в приложении пользователей (в spring-security.xml изменил permitAll на isAnonymous)
+
+

+

Собственный form-login

+

8. Реализация собственного провайдера авторизации.

+

Apply 9_11_auth_via_user_service.patch

+

UserDetailsService Implementations

+

9. Принцип работы Spring Security. Проксирование.

+

10. Spring Security Test

+

Apply 9_12_spring_security_test.patch

+

+
+
Cделал "честную" авторизацию в RootControllerTest (через authentication в утильном методе TestUtil)
+
Cделал mockAuthorize для SpringMain, в который не попадают фильтры
+
+

+

11. Cookie. Session.

+

Ваши вопросы

+

+
В куки попадает обычная строка JSESSIONID. Куда сериалиуется объект User?
+

+

Для хранения сосотяния сессии (например корзины покупателя) в Servlet API есть механизм хранения объектов сессии (грубо- мультимапмапа, которая достается из хранилища по ключу). При создании сессии на стороне сервера (через request.getSession) создается кука JSESSIONID, которая пеердается между клиентом и сервером и является ключом в хранилище объектов сессий. См. обработка сессий с помощью сервлетов

+

+
В login.jsp есть форма <form:form action="spring_security_check" ..> Где такой url используется?
+

+

Это стандартный url для авторизации в spring-security. Он его и обрабатывает.

+

+
Если не пользовать js, а писать UI на JSP, сообщения между ui и сервером будут в формате json? Это же будет JSON API?
+

+

Есть данные, которые передаются между клиентом и сервером в формате json или get/post с параметрами, есть стили взаимодействия клиента и сервера (REST, JSON API, JSON-RPC) и есть отрисовка UI: JSP, Javascript фреймворк, Thymleaf и пр. Не надо эти вещи путать между собой.

+

+
По умолчанию спринг работает с UserDetailsService, который должен возвращать UserDetails. Но мы не хотим стандартные, мы хотим свои, поэтому просто наследуем наши UserServiceImpl и AuthorizedUser от соответствующих интерфейсов и реализуем недостающие методы, которые spring security и будет использовать?
+

+

Да. Сервис аутентификации конфигурится в spring-security.xml <authentication-manager> и должен реализовывать интерфейс UserDetailsService. В spring-security есть его стандартные реализации, которые использовались до нашей кастомной UserServiceImpl, например jdbc-user-service использует реализацию JdbcUserDetailsManager

+

Домашнее задание HW9

+

1: Реализовать для meal Binding/ Update/ Validation. Проверить работу при пустом значении calories.
2: Перевести meals.jsp на работу по ajax. Стиль строки таблицы сделать в зависимости от exceeded, время отображать без T. Добавить i18n.
3: Починить meals тесты, добавить тест на неавторизованный доступ

+

Optional

+

4: Подключить datetime-picker к фильтрам и модальному окну добавления/редактирования еды +
- 4.1 DateTimePicker jQuery plugin
- 4.2 Еще есть Bootstrap 3 Datepicker
+

+

Попробуйте при запросах по REST оставить стандартный ISO формат (с разделителем T)

+

Проверка в HW09

+

1: Проверьте, что при добавлении и редактировании пользователя и еды у вас корректно отображаются заголовки модального окна: +"Добавить/Редактировать еду пользователя"
2: Не дублируйте

+

<c:forEach var='key' ...
+i18n['${key}'] = ...
+

+

3: Для подключения css и js datetimepicker-а посмотрите в его jar (или поищите в проекте по Ctrl+Shift+N: datetimepicker)
4: datetimepicker работает корректно в Хроме, если убрать в type в <input type="date/time/datetime-local" ..
5: Если появляются проблемы с JS типа ... is not defined - обратите внимание на порядок загрузки скриптов и атрибут defer. Скрипты должны идти в нужном порядке. Если определяете скрипт прямо в jsp, он выполняется до defer скриптов.
6: Не дублируйте обработку ошибок в BindingResult в ajax контроллерах
7: Проверьте редактирование еды: открыть на редактирование и сохранить не должно приводить к ошибкам с форматом времени.
8: Проверьте в RootController.meals(), его нужно тоже поправить

+

Составление резюме, подготовка к интервью, поиск работы

+

Составление резюме:

+

Наши истории (делимся опытом и успехом)

+

Тесты/задачи онлайн:

+

Тестовое собеседование, самые спрашиваемые темы

+

Интервью:

+

+
про clone и finalize объязательно прочтите Джошуа Блох: Java. Эффективное программирование (второе издание)
+

+

Cracking the Coding Interview

+

+
Особенно обратите внимание на раздел: Часть VIII. Вопросы собеседования
+

+

От себя:

+

email, skype - очень желательно, чтобы по ним вы были узнаваемы. Заведите рабочие, если не так.
написать ВЕСЬ IT опыт (исключая опыт пользователя: Windows, MS Word, Photophop, Yandex disk, Google docs, ..): технологии, какие задачи решали (конкретные), какие инструменты использовали, VCS, DB, инструменты сборки, ... включая опыт в ВУЗе.
на English иметь желательно. Если вакансия опублинована на Englsih - шлите на нем. Часто могут на нем попросить, если работодатель иностранный.
удобно иметь резюме где то в инете (hh, linkedin, google doc, чтобы им было удобно делиться).

+

Позиционирование проекта Topjava:

+

+
Обязательно убери из резюме любое упоминание Junior. Количество обращений возрастет на порядок. Ссылку на стажировку можно поставить: http://javaops.ru (в linkedin: https://www.linkedin.com/company/java-online-projects).
+
+
После завершения проекта ты освошь все заявленные в нем технологии - вставь их в квалификацию (включая java 8 Stream and Time API).
+

+

В разделе опыт работы (если нет коммерческого опыта) вставь:

+

  Участие в разработке Spring/JPA Enterprise приложения c авторизацией и правами доступа на основе ролей 
+          на стеке Maven/ Spring MVC/ Security/ REST(Jackson)/ Java 8 Stream API:
+  -  реализация сохранения в базы Postgres и HSQLDB на основе Spring JBDC, JPA(Hibernate) и Spring-Data-JPA
+  -  реализация и тестирование REST и AJAX контроллеров
+  -  реализация клиента на Bootstrap (css/js), datatables, jQuery + plugins.
+  -  собственная доработка проекта
+

+

+
Делай упор не на обучение, а на участие в проекте. Выполнение домашних заданий это полноценное участие с написанием функционала по всем пройденным технологиям. На собеседовании смотрят не на то, что ты заканчивал, а на опыт и знания.
+

+

В процессе обучения

+

+
Если рассмотриваешь предложения по работе, подними в своем профиле этот флаг и обязательно заполни ссылку на резюме. Обновления нашей базы выпускников смотрят уже более 125 партнеров по трудоустройству (компании и индивидуальные рекрутеры). Проверь содержание "Информация для HR": по нему принимают решение, открывать резюме или нет.
+
+
Вступайте в нашу группу участников Slack: каналы помощи с Java, отзывы о работодателях, обсуждение тестовых заданий, вакансии, цены на рынке труда, IT события, интересные видео и многое другое.
+
+
Подпишитесь на рассылку вакансий под себя
+

+

После прохождения испытательного срока жду твою историю успеха

+

Основные сайты поиска работы:

+

Как выжить на испытательном сроке

+

Учись грамотно формулировать проблему. Проблема "у меня не работает" может иметь тысячи причин. В +процессе формулирования очень часто приходит ее решение.
Учись инвестигировать проблему. Внимательное чтение логов и умение дебажить - основные навыки +разработчика. В логах надо читать верх самого нижнего эксепшена - там причина всей портянки.
Грамотно уделяй время каждой проблеме. Две крайности - сразу бросаться за помощью и +бится нам ней часами. +Пробуй решить ее сам и в зависимости от проблемы выделяй на это разумное время.
Если тебе что-то объясняют по проекту - обязательно записывай.
Когда получаешь задачу - уточни все очень подробно.
Получай в процессе решения обратную связь - в том ли направлении ты идешь.
Не игнорируй совместные ланчи (курилки)
Готовься к стендапам/летучкам. Задавай на них вменяемые вопросы. Выказывай заинтересованность
Выдели самое главное путем опроса босса и важных коллег. Не распыляйся на мелочи.
Советы новичкам

+

Отзывы по стажировке Topjava

+

Graduation project

-

Представьте себе, что ПМ (лид, архитектор) дал вам ТЗ и некоторое время недоступен. У вас конечно есть много мыслей, для чего нужно приложение, как исправить ТЗ, дополнить его и сделать правильно. НО НЕ НАДО ИХ РЕАЛИЗОВЫВАТЬ В КОДЕ. Нужно сделать все максимально просто, удобно для доработок и очевидно (если конечно в ТЗ нет оговорок). Все свои вопросы и предложения и хотелки оформляйете отдельно (в read.me например). Если делаете что-то сложнее простейшего случая (например справочник еды)- объязательно напишите в read.me. Как и выбор стратегии кэширования.

-

-
Совершенство достигнуто не тогда, когда нечего добавить, а тогда, когда нечего отнять
-

-

Антуан де Сент-Экзюпери

-

+

Тестовое задание на оплачиваемую стажировку

Design and implement a REST API using Hibernate/Spring/SpringMVC (or Spring-Boot) without frontend.

The task is:

Build a voting system for deciding where to have lunch.

@@ -686,19 +693,27 @@

Онлайн проекта Topjava

+

Материалы занятия

+

Разбор домашнего задания HW9

+

1. HW9

+

Apply 10_1_HW9_binding_ajax.patch

+

Datatables перевели на ajax ("ajax": {"url": ajaxUrl, ..), те при отрисовке таблица сама по этому url запрашивает данные. Поэтому в методе RootController.meals() нам нужно только возвратить view "meals" (meals.jsp) которому уже не нужны данные в атрибутах.

+

+
+
JavaScript i18n[] локализацию перенес в i18n.jsp
+
Вынес общий код в ValidationUtil.getErrorResponse()
+
+

+

Apply 10_2_HW9_test.patch

+

Apply 10_3_HW9_datetimepicker.patch

+

+
+
Изменил формат ввода dateTime в форме без 'T': при биндинге значений к полям формы в datatablesUtil.updateRow() для поля dateTime делаю replace('T', ' '). REST интерфейс по прежнему работает в стандарте ISO-8601
+
Вынес общий код в datatablesUtil.formatDate()
+
+

+

Занятие 10:

+

2. Дополнительно: кастомизация JSON (@JsonView) и валидации (groups)

+

ВНИМАНИЕ! 10_04_opt и 10_05_opt - не обязательные патчи. Если будете делать- то в отдельной ветке (у меня opt_view_groups). Это варианты решений, которые не идут в master.

+

Что возвращать: Entity или DTOs

+

Apply 10_04_opt_json_view.patch

+

Jackson Annotation +
- Jackson JSON Views
+
@JsonView: фильтруем JSON
Jackson set default view

+

Apply 10_05_opt_validated_groups.patch

+

3. Рефакторинг: jQuery конверторы и группы валидации по умолчанию

+

Apply 10_04_jquery_converters.patch

+

Apply 10_05_persist_validate_group.patch

+

Default Hibernate validation. Т.к. Persist наследуется от javax.validation.groups.Default, при сохранении учитываются все непомеченные аннотации валидации (Default) + помеченные Persist.

+

4. Spring Security Taglib. Method Security Expressions.

+

Apply 10_06_secure_tag_annotation.patch

+

Spring Security Taglib.
Method Security и Method Security Expressions.

+

Вопрос:

+

+
У нас в sprng-mvc подключается spring-app, в который подключается spring-security. Т.о. spring-mvc в себе содержит код spring-app и spring-security. Почему тогда аннотация <security:global-method-security... из spring-security не видна для контроллера из spring-mvc?
+

+

Подключаем один контекст внутрь другого: это про import а не про наследование (тоже самое что скопипастить сюда xml из подключаемого import файла). Наследование означает, что поиск бина, если он не найден, происходит в родителе.
При создании контекста аннотация <security:global-method-security... говорит про то, что все бины текущего контекста, у которых есть аннотации авторизации (@PreAuthorize/ @Secured/ ..) будут проксироваться с проверкой авторизации. Контексты родителей и детей создаются сами по себе и аннотации проксирования у них собственные.

+

5. Interceptors. Редактирование профиля. JSP tag files.

+

Apply 10_07_interceptor.patch

+

Spring interceptors.

+

Apply 10_08_profile_jsptag.patch

+

6. Форма регистрации.

+

Apply 10_09_registration.patch

+

+
+
Добавил локализацию
+
При регистрации передаю username в login.jsp как параметр и делаю setCredentials (пароль вводится скрыто, поэтому его не передаю из соображений безопасности). Т.к setCredentials требует jQuery, убрал для него defer
+
+

+

7. Обработка исключений в Spring.

+

Apply 10_10_not_found_422.patch

+

+
Поменял код 404 (URL not found) на 422 (Unprocessable Entity)
+

+

Используем HTTP status code

+

Apply 10_11_global_exception.patch

+

+
+
Перед отображением exception предварительно делаю ValidationUtil.getRootCause
+
Добавил локализацию
+
+

+

Global Exception Handling

+

Apply 10_12_controller_advice_exception.patch

+

Отображение валидации для формы еды и юзера пропало (TODO в коде для HW10). Можно посмотреть сериализацию в ErrorInfo при попытке добавить юзера с дублирующимся email.

+

+
+
Добавил в ErrorInfo тип ошибки ErrorType
+
@ResponseBody над методами ExceptionInfoHandler заменил на @RestControllerAdvice
+
В ExceptionInfoHandler удалил @Order над методами и добавил над классом:
+
+

+

  Methods are matched by closest exception in
+  *  @see  org.springframework.web.method.annotation.ExceptionHandlerMethodResolver#getMappedMethod
+  *  164: Collections.sort(matches, new ExceptionDepthComparator(exceptionType))
+

+

+
+
В ExceptionInfoHandler.logAndGetErrorInfo() также использую ValidationUtil.getRootCause
+
+

+

8. Encoding password. Json READ/WRITE access

+

Apply 10_13_password_encoding.patch

+

Password Encoding

+

Apply 10_14_read_write_access.patch

+

В реальном приложении для управления паролем необходим отдельный UI интерфейс с подтверждением старого пароля.

+

@JsonProperty READ_ONLY / WRITE_ONLY

+

9. Межсайтовая подделка запроса (CSRF).

+

Apply 10_15_csrf.patch

+

+
Убрал form:form из ajax запросов: там csrf работает через header. Проверьте в вкладке браузера Network.
+

+

Поломалась UTF-8 кодировка в редактировании профиля и регистрациию (если по умолчанию не UTF-8). В Optional HW10 нужно будет починить.

+

Ваши вопросы

+

+
В чем отличие между аннотоацией @PreAuthorize("hasRole('ROLE_ADMIN')") и конфигурацией в jsp: <sec:authorize access="isAuthenticated()">, <sec:authorize access="hasRole('ROLE_ADMIN')"> ?
+

+

Анотация @PreAuthorize обрабатывается Spring анологично @Transactional, @Cacheable - класс проксируется и до-после вызова метода добавляется функциональность. +В данном случае перед вызовом метода проверяются роль залогиненного юзера. JSTL тэг authorize выполняет проверку условия в залогиненном юзере внутри jsp.

+

+
Еще раз: почему не нужен csrf для REST и нельзя подделать JSON запрос с вредоносного сайта?
+

+

Попробуйте выполнить ajax запрос из вашего приложения c url, у которого домен отличный от вашего (например "http://topjava.herokuapp.com/meals/ajax/admin/users/"+id). +В консоли браузера будет XMLHttpRequest cannot load... - нарушение same origin policy. +Формам же разрешается делать submit (через action=..) на другой домен, но невозможно cделать Content-Type, отличный от стндартных enctype и методов кроме get и post. Таким образом consumes = MediaType.APPLICATION_JSON_VALUE в POST защищает приложение от CSRF.

+

+
Почему использован BCryptPasswordEncoderа не hash(password+salt). Почему нельзя напрямую сравнивать закодированные пароли?
+

+

BCryptPasswordEncoder automatically generates a salt and concatenates it with the hash value in a single String. Для одного и тогоже пароля получаются разные хэши. Cравнивать их можно только через isMatch() с незахэшированным паролем.

+

+
Когда запускается в GlobalControllerExceptionHandler метод defaultErrorHandler? Когда как в него исключение попадает? Как выбирается, кто обрабатывает исключения: ExceptionInfoHandler или GlobalControllerExceptionHandler?
+

+

GlobalControllerExceptionHandler попадает в контекст спринг (через @ControllerAdvice его находят в пакете web). Далее спринг перехватывает исключения и отправляет в подходящий по исключению метод GlobalControllerExceptionHandler. ExceptionInfoHandler помечен @ControllerAdvice(annotations = RestController.class), он обрабатывает только ошибки из всех контроллеров с аннотацией RestController.class.

+

+
Откуда берутся в валидации сообщения на русском "должно быть между 10 и 10000"?
+

+

Локализация встроена в Hibernate Validation. Смотрите Ctrl+Shift+N и ValidationMessages_ru.properties.

+

Домашнее задание HW10

+

1: Сделать валидацию в AdminAjaxController/MealAjaxController через ExceptionInfoHandler. Вернуть клиенту ErrorInfo и статус HttpStatus.UNPROCESSABLE_ENTITY (тип методов контроллеров вернуть обратно на void).
2: Сделать валидацию принимаемых json объектов в REST контроллерах через ExceptionInfoHandler. Добавить в Rest контроллеры тест для невалидных данных. +
- @Valid @RequestBody + Error handling
+
3: Сделать обработку ошибки при дублирования email ("User with this email already exists") для: +
- 3.1 регистрации / редактирования профиля пользователя +
  - Spring MVC form handling example
  +
- 3.2 добавления / редактирования пользователя в таблице
- 3.3 REST контроллеров
+

+

Optional

+

4: Сделать обработку ошибки при дублирования dateTime еды. Сделать тесты на дублирование email и dateTime. +
- Тесты на DB exception c @Transactional
- Сheck String in response body with mockMvc
+
5: Сделать в приложении выбор локали (см. http://topjava.herokuapp.com/) +
- Spring MVC internationalization sample
- Spring 4 MVC Internationalization
+
6: Починить UTF-8 в редактировании профиля и регистрации (если кодировка по умолчанию у вас не UTF-8). Подумайте, почему кодировка поломалась.

+

Проверка в HW10

+

1: ErrorInfo просто бин для передачи информации на клиента. Кода возврата и ответ настраиваются в ExceptionInfoHandler.
2: Не дублируйте обработку ошибок BindingResult: result.getFieldErrors()..
3: Можно не создавать собственные эксепшены, а в ExceptionInfoHandler ловить стандартные
4: в MethodArgumentNotValidException также есть e.getBindingResult(), его можно обрабатывать по аналогии с BindException
5: Не дублируйте код переключения локали на странице логина и в приложении
6: При проблемах с валидацией Meals в MealRestController, посмотрите на валидацию в MealAjaxController.updateOrCreate

+

Онлайн проекта Topjava

+

Обновил Демо приложение нашей версией

+

Материалы занятия

+

Некоторые темы урока новые, поэтому видео есть не везде.

+

Все материалы проекта (в том числе и будущие обновления) останутся доступны в Google Drive.

+

Правка

+

Apply 11_0_fix.patch

+

Поправил app_ru.properties +
- Spring в отличии от JSP может работать с UTF-8.
- Проверьте в настройках IDEA справа внизу выключенный флаг Transparent native-to-ascii conversion
+
Поправил сodacy issues +
- В exception.jsp подразумевается оставить закомментированный код HTML на странице, потому используется 
+

+

Разбор домашнего задания HW10

+

1. HW10

+

Apply 11_01_HW10_fix_encoding.patch

+

Apply 11_02_HW10_validation.patch

+

+
+
В соответствии со спицификацией для поменял HTTP 400 (ошибка в структуре сообщения) на HTTP 422 (ошибка в содержании)
+
Сделал тесты и проверку типа ошибки через jsonPath
+
+

+

Apply 11_03_HW10_duplicate_email.patch

+

+
+
сделал код(ключ) i18n константой (EXCEPTION_DUPLICATE_EMAIL)
+
+

+

Apply 11_04_HW10_duplicate_datetime.patch

+

+
+
Реализавать обработку дублирования user.email и meal.dateTime можно по разному +
+
через поиск в сообщении DataIntegrityViolationException имени DB constrains
+
через Controller Based Exception Handling
+
через Custom Validator, с еще одним запросом в базу. Первый самый простой и расширяемый (хотя зависить от базы), выбрал его. Для работы с HSQLDB сделал toLowerCase. Самый корректный и трудоемкий с собственными валидаторами: он позволяет валидировать в конроллерах, а не при сохранении.
+
+
+
+

+

+
+
Сделал утильный класс MessageUtil для работы с i18n.
+
Добавил тесты на дублирование. Отключил транзакционность в тестах на дублирование через @Transactional(propagation = Propagation.NEVER). +
+
Решение проблемы с транзакционными тестами
+
+
+
+

+

Вопрос:

+

+
Поясните, почему без тесты на дубликаты падают без @Transactional(propagation = Propagation.NEVER)
+

+

@Transactional в AbstractControllerTest означает, что коммита в базу не происходит, вместо него делается rollback. +А без сохранения в базу нарушение ограничения на дубликат не происходит.
@Transactional(propagation = Propagation.NEVER) над тестом отключает AbstractControllerTest @Transactional, в репозитории происходит сохранение в базу и в ExceptionInfoHandler ловим DataIntegrityViolationException.

+

2. HW10 Optional: change locale

+

Apply 11_05_HW10_change_locale.patch

+

+
+
Вместо lang.jsp сделал общий bodyHeader.jsp
+
Добавил локализацию календаря $.datetimepicker.setLocale(localeCode)
+
Вместо смену локали в lang.jsp через javascript сделал href=${requestScope['javax.servlet.forward.request_uri']}?lang=..
+
+

+

Bootstrap Navbar

+

Заключительное 11-е занятие

+

Локализация:

+

Apply 11_06_i18n.patch

+

Вынес общие части опций таблиц в datatablesUtil.js используя jQuery.extend()
Добавил локализацию Search в datatable
Сделал локализацию ошибок валидации: +
- Все коды для локализации конкретной ошибки валидации можно посмотреть в дебаге: FieldError.getCodes()
- Коды для ее аргументов: FieldError.getArguments() (аргумент складывается из имени класса и поля).
+
Добавил локализацию ErrorInfo.type (код локализации в ErrorType и поле ErrorInfo.typeMessage)

+

Защита от XSS (Cross Site Scripting)

+

+
Попробуйте до и после патча ввести в любое текстовое поле редактирования <script>alert('XSS')</script> и сохранить.
+

+

Apply 11_07_XSS.patch

+

+
+
password проверять не надо, т.к. он не выводится в html, а email надо
+
Сделал общий интерфейс валидации View.Web и @Validated(View.Web.class) вместо @Valid для проверки содержимого только на входе UI/REST. При сохранении проверка на безопасный html контент не делается.
+
+

+

Обработка ошибок 404 (NotFound)

+

Apply 11_08_404.patch

+

Доступ к AuthorizedUser

+

Apply 11_09_auth_user.patch

+

Автоподстановка в контроллерах +
- не стал делать автоподстановку по всем контроллерам (в абстрактных контроллерах проще работать с AuthorizedUser, чем получать его через @AuthenticationPrincipal и передавать параметром)
+
В JSP: the authentication Tag +
- авторизованный пользователь доступен в JSP через tag authentication, интерсептор становится не нужным
+

+

Ограничение модификации пользователей

+

Apply 11_10_restrict_modification.patch

+

В AbstractUserController добавилась защита от удаления-модификации Admin/User для профиля HEROKU (в AbstractUserController заинжектил Environment и сделал проверку HEROKU)
Чтобы тесты были рабочими, ввел профиль HEROKU, работающий так же, как и POSTGRES.
Добавил ApplicationException для работы с ошибками с поддержкой i18n в приложении (от него отнаследовал NotFoundException и ModificationRestrictionException)

+

3. Деплой приложения в Heroku.

+

Apply 11_11_heroku.patch

+

+
+
Добавил зависимости postgres в профиль мавена heroku
+
Поменял настройки dataSource для профиля heroku. +При опускании/поднятии приложения в heroku.com портятся коннекты в пуле и необходимо их валидировать.
+
+

+

Приложение деплоится в ROOT: http://localhost:8080

+

Деплой Java Spring приложения в PaaS-платформу Heroku

+

Config Vars
+  ERROR_PAGE_URL=...
+  TOPJAVA_ROOT=/app
+
+Datasources advanced
+    ssl=true
+    sslfactory=org.postgresql.ssl.NonValidatingFactory
+

+

Ресурсы: +
- PaaS-платформа Heroku
- Конфигурирование приложения для запуска через Tomcat-based Java Web
- Конфигурирование DataSource profile для Heroku
- Интерграция с IDEA
- Find your Platform as a Service
- Getting Started with Java on Heroku
- Managing Your SSH Keys
- Deploy your application to Heroku
- Развертывание приложений Java с помощью PaaS от Heroku
- A Java Developer’s Guide to PaaS
- A Simple PaaS Comparison Guide (With the Java Dev in Mind)
- Java PaaS shootout
+

+

Apply 11_12_fix_locale.patch

+

Починка тестов, зависящих от локали окружения

+

4. Собеседование. Разработка ПО

+

Домашнее задание по проекту:

+

Задеплоить свое приложение в Heroku
Сделать / обновить резюме (отдать на ревью в канал #hw11 группы slack) +
- Resume Templates +
  - Выбираете по вкусу, заходите в корзину покупок и в правом нижнем углу "I have a discount code" вводите: ZgyI50xW. Компания поделилась со мной кодом в замен на ваши отзывы об использовании сервиса.
  +
- Загрузка сайта на GitHub. Бесплатный хостинг и домен.
- CSS theme for hosting your personal site, blog, or portfolio
+
Заполнить в своем профиле Java Online Projects ссылку на резюме и информацию по поиску работы (если конечно актуально): резюме, флаги рассматриваю работу, готов к релокации и информация для HR.
Обновления базы соискателей буду рассылать по HR ночью на 31.01, постарайтесь успеть
Сделать и внести в свое портфолио Graduation project +
- Для участников с проверкой выпускной проект принимаю на ревью до 15.02 (участникам Masterjava до 31.05).
+
Пройти важную тему МНОГОПОТОЧНОСТЬ по первому уроку Masterjava. +
- Обучение на Masterjava сейчас идет в индивидуальном режиме, старт в любое время.
- Проект, патчи, группа Slack, занятия и видео анологичны проекту Topjava.
- Цена для участников Topjava снижена
+

+

Возможные доработки приложения:

+

Для редактирования паролей сделать отдельный интерфейс с запросом старого пароля и кнопку сброса пароля для администратора.
Добавление и удаление ролей для пользователей в админке.
Перевести UI на Angular / Vaadin elements /GWT /GXT /Vaadin / ZK/ [Ваш любимый фреймворк]..
Перевести проект на Spring Boot
Перевести шаблоны с JSP на Thymeleaf
Сделать авторизацию в приложение по OAuth 2.0 (Spring Security OAuth, +VK auth, github oauth, ...)
Сделать подтверждение регистрации пользователя по email c возможностью восстановления пароля.
Сделать отображение еды постранично, с поиском и сортировкой на стороне сервера.
Перевод проекта на https
Сделать desktop/mobile приложение, работающее по REST с нашим приложением.
Показ ошибок в модальном окне редактирования таблицы так же, как и в JSP профиля
Limit login attempts example
Сделать авторизацию REST по JWT

+

Доработки участников прошлых выпусков:

+

Авторизация в приложение по OAuth2 через GitHub +
- GitHub, ветка oauth
+
Авторизация в приложение по OAuth2 через GitHub/Facebook/Google +
- GitHub
+
Angular 2 UI +
- tutorial по доработке
- ветка angular2 в гитхабе
+
Отдельный фронтэнд на Angular 2, который работает по REST с авторизацией по JWT +
- ветка development фронтэнда
- ветка development бэкэнда
- в JWT токенен приложение topjava передает email, name и роль admin как boolean true/false, +на клиенте он декодируется и из него получается auth-user, с которым уже работает фронтэнд
+

+

Жду твою доработку из списка!

+

Ресурсы по Проекту

+

Уроки Bootstrap 3
Spring at tutorialspoint
Articles in Spring
Learn Spring on Baeldung
Spring Framework +Reference Documentation
Hibernate Reference Documentation
Java Course (книга 2)
Справочник «Паттерны проектирования»
Catalog of Patterns of Enterprise Application Architecture

+

Пожалуйста ответь на 4-6 вопросов по проекту, это важно!

+

Замечания по резюме:

+

варианты размещения: google doc + linkedin + hh + ...
хорошо, если будет в html формате (например в https://pages.github.com/). Например так, на github
возраст и день рождения можно не писать
все упоминания Junior убрать!
линки делай кликабельными (если формат поддерживает)
если нет опыта в IT, обязательно вставь участие в стажировке Topjava. Также вставь ссылку на свой сертификат (она есть в личном профиле). Весь не-IT опыт можно кратко.
всю выгодную для себя информацию (и важную для HR) распологайте вверху. Название секций в резюме и их порядок относительно стандартный и важный

+

Составление резюме, подготовка к интервью, поиск работы

-

Составление резюме:

-

Наши истории (делимся опытом и успехом)

-

Тесты/задачи онлайн:

-

Тестовое собеседование, самые спрашиваемые темы

-

Интервью:

-

-
про clone и finalize объязательно прочтите Джошуа Блох: Java. Эффективное программирование (второе издание)
-

-

Cracking the Coding Interview

-

-
Особенно обратите внимание на раздел: Часть VIII. Вопросы собеседования
-

-

От себя:

-

email, skype - очень желательно, чтобы по ним вы были узнаваемы. Заведите рабочие, если не так.
написать ВЕСЬ IT опыт (исключая опыт пользователя: Windows, MS Word, Photophop, Yandex disk, Google docs, ..): технологии, какие задачи решали (конкретные), какие инструменты использовали, VCS, DB, инструменты сборки, ... включая опыт в ВУЗе.
на English иметь желательно. Если вакансия опублинована на Englsih - шлите на нем. Часто могут на нем попросить, если работодатель иностранный.
удобно иметь резюме где то в инете (hh, linkedin, google doc, чтобы им было удобно делиться).

-

Позиционирование проекта Topjava:

-

-
Обязательно убери из резюме любое упоминание Junior. Количество обращений возрастет на порядок. Ссылку на стажировку можно поставить: http://javaops.ru (в linkedin: https://www.linkedin.com/company/java-online-projects).
-
-
После завершения проекта ты освошь все заявленные в нем технологии - вставь их в квалификацию (включая java 8 Stream and Time API).
-

-

В разделе опыт работы (если нет коммерческого опыта) вставь:

-

  Участие в разработке Spring/JPA Enterprise приложения c авторизацией и правами доступа на основе ролей 
-          на стеке Maven/ Spring MVC/ Security/ REST(Jackson)/ Java 8 Stream API:
-  -  реализация сохранения в базы Postgres и HSQLDB на основе Spring JBDC, JPA(Hibernate) и Spring-Data-JPA
-  -  реализация и тестирование REST и AJAX контроллеров
-  -  реализация клиента на Bootstrap (css/js), datatables, jQuery + plugins.
-  -  собственная доработка проекта
-

-

-
Делай упор не на обучение, а на участие в проекте. Выполнение домашних заданий это полноценное участие с написанием функционала по всем пройденным технологиям. На собеседовании смотрят не на то, что ты заканчивал, а на опыт и знания.
-

-

В процессе обучения

-

-
Если рассмотриваешь предложения по работе, подними в своем профиле этот флаг и обязательно заполни ссылку на резюме. Обновления нашей базы выпускников смотрят уже более 125 партнеров по трудоустройству (компании и индивидуальные рекрутеры). Проверь содержание "Информация для HR": по нему принимают решение, открывать резюме или нет.
-
-
Вступайте в нашу группу участников Slack: каналы помощи с Java, отзывы о работодателях, обсуждение тестовых заданий, вакансии, цены на рынке труда, IT события, интересные видео и многое другое.
-
-
Подпишитесь на рассылку вакансий под себя
-

-

После прохождения испытательного срока жду твою историю успеха

-

Основные сайты поиска работы:

-

Как выжить на испытательном сроке

-

Учись грамотно формулировать проблему. Проблема "у меня не работает" может иметь тысячи причин. В -процессе формулирования очень часто приходит ее решение.
Учись инвестигировать проблему. Внимательное чтение логов и умение дебажить - основные навыки -разработчика. В логах надо читать верх самого нижнего эксепшена - там причина всей портянки.
Грамотно уделяй время каждой проблеме. Две крайности - сразу бросаться за помощью и -бится нам ней часами. -Пробуй решить ее сам и в зависимости от проблемы выделяй на это разумное время.
Если тебе что-то объясняют по проекту - обязательно записывай.
Когда получаешь задачу - уточни все очень подробно.
Получай в процессе решения обратную связь - в том ли направлении ты идешь.
Не игнорируй совместные ланчи (курилки)
Готовься к стендапам/летучкам. Задавай на них вменяемые вопросы. Выказывай заинтересованность
Выдели самое главное путем опроса босса и важных коллег. Не распыляйся на мелочи.
Советы новичкам

-

Отзывы по стажировке Topjava

-

Тестовое задание на оплачиваемую стажировку

-

Design and implement a REST API using Hibernate/Spring/SpringMVC (or Spring-Boot) without frontend.

-

The task is:

-

Build a voting system for deciding where to have lunch.

-

2 types of users: admin and regular users
Admin can input a restaurant and it's lunch menu of the day (2-5 items usually, just a dish name and price)
Menu changes each day (admins do the updates)
Users can vote on which restaurant they want to have lunch at
Only one vote counted per user
If user votes again the same day: -
- If it is before 11:00 we asume that he changed his mind.
- If it is after 11:00 then it is too late, vote can't be changed
-

-

Each restaurant provides new menu each day.

-

As a result, provide a link to github repository.

-

It should contain the code and README.md with API documentation and curl commands to get data for voting and vote.

-

P.S.: Make sure everything works with latest version that is on github :)

-

P.P.S.: Asume that your API will be used by a frontend developer to build frontend on top of that.

-

Онлайн проект Topjava

-

Не стоит стремиться прочитать все ссылки урока, их можно использовать как справочник. Гораздо важнее пройти основной материал урока и сделать Домашнее Задание
Обязательно посмотри правила работы с патчами на проекте
Делать Apply Patch лучше по одному, непосредственно перед видео на эту тему, а при просмотре видео сразу отслеживать все изменения кода проекта по изменению в патче (Version Control->Local Changes-> Ctrl+D)
Код проекта обновляется и не всегда совпадает с видео (можно увидеть как развивался проект). Изменения в проекте указываю после соответствующего патча.

-

Материалы занятия (скачать все патчи можно через `Download/Скачать` папки patch)

-

Рефакторинг проекта

-

Apply 1_0_fix.patch

-

-
-
переименовал классы UserMeal* в более красивые Meal*
-
удалил себя из шапки классов
-
обновил версию maven-compiler-plugin
-
-

-

Разбор домашнего задания HW0:

-

1. Optional: реализация getFilteredMealsWithExceeded через Stream API

-

Apply 1_1_HW0_stream.patch

-

Презентация Java 8

-

2. Работа с git в IDEA. Реализация через цикл.

-

Apply 1_2_HW0_cycle.patch

-

-
Изменения в проекте: map.getOrDefault заменил на map.merge, for заменены на forEach
-

-

Вопросы по HW0

-

-
что делает метод Map.merge ?
-

-

никогда не надо лениться зайти в код Map.merge (Ctrl+мышка на методе) и почитать javadoc (Ctrl+Q). Когда привыкать, если не сейчас?

-

-
что означает Integer::sum ?
-

-

это ссылка на метод, сокращенная форма лямбды. IDEA иногда выделяет желтым и предлагает замену (соглашаться по Alt+Enter). -Например m->m.getCalories() заменяется на Meal::getCalories.

-

-
почему не использовать в TimeUtil методы isBefore/isAfter ?
-

-

это строгие (excluded) сравнения, а нам также нужны краевые значения

-

-
В MealsUtil у нас где-то есть ключевое слово final, где-то нет. В чем разница?
-

-

Я участвовал в одном проекте, где final был обязательным (в сеттингах IDEA галочка стояла). Но это скорее исключение, чем правило в проектах java (в Java 8 вообще ввели эффективный final, те по факту). Во всех новомодных языках переменные final по умолчанию, а в java нужно помнить и везде добавлять, утомительно. Но если приучитесь - хуже не будет. Я обычно ставлю там, где важно по смыслу (если не забываю).

-

-
Почему у User.registered тип Date, а Meal.dateTime LocalDateTime?
-

-

Время регистрации - абсолютное (конкретный момент), а время еды по бизнес логике относительно (те не зависит от часового пояса)

-

3. HW0 Optional 2: реализация в один проход и одной строкой Stream API

-

Apply 1_3_HW0_optional2.patch

-

Занятие 1:

-

4. Обзор используемых в проекте технологий. Интеграция ПО.

-

5. Maven.

-

Среда сборки проектов Maven.
The Central Repository
Настройка пропертей Maven: кодировка, java version, зависимости, maven-compiler-plugin
The Reactor. Snapshots
Недостатки Maven. Другие инструменты сборки.
Справочник: -
-

-

6. WAR. Веб-контейнер Tomcat. Сервлеты.

-

-
-
Нам нужна 8-я версия Tomcat (например последняя 8.5.16)
-
Устанавливать Tomcat лучше простым скачиванием архива apache-tomcat-8.5.16[-windows-xxx].zip и копированием из него в каталог без пробелов и русских букв (пример С:\java\apache-tomcat-8.5.16). Не используйте Tomcat 8.5.13 и 9.0.0.M19 IDEA из-за бага Tomcat
-
-

-

Apply 1_4_switch_to_war.patch

-

-
-
Обновил сервлеты до версии 3.1 -(Tomcat 8 использует это API, хотя для нас не принципиально, т.к. мы никакие фичи 3.x Servlet API не используем)
-
Переименовал userList.jsp в users.jsp
-
Сервлет добавляется в следующем патче, те в web.xml он будет подчеркиваться красным.
-
-

-

Apply 1_5_add_servlet_api.patch

-

-
-
Если зависимость servlet-api не подтянулась, обновите maven проект.
-
Проверка, кто занял порт (в случае проблем с запуском и дебагом на портах 8080, 8000)
-
Деплой war в Tomcat с Application context
-
Динамическое обновление без передеплоя
-
-

-

Apply 1_6_forward_to_redirect.patch

-

Tomcat Home Page
Сервлеты.
Томкат менеджер: http://localhost:8080/manager -
- в TOMCAT_HOME\conf\tomcat-users.xml нужно добавить
-

-

<user username="tomcat" password="tomcat" roles="tomcat,manager-gui,admin-gui"/>
-

-

Наше приложение: http://localhost:8080/topjava
Наш сервлет: http://localhost:8080/topjava/users
Справочник: -
-

-

7. Логирование.

-

Apply 1_7_logging.patch

-

-
Установите переменную окружения на TOPJAVA_ROOT на корень проекта и перезапустите IDEA. Слеши в пути должны быть в стиле unix (/)
-

-

-
-
изменения в проекте: убрал LoggerWrapper и логирую напрямую в логгер SLF4J. При логгировании через вспомогательный класс, в логе теряется имя исходного класса.
-
удалил зависимость jul-to-slf4j. Она нам не нужна и, согласно видео Владимира Красильщика про логирование, она замедляет работу
-
Не делать конкатенацию строк при логгировании сообщений, если уровень логирования в конфигурации выставлен выше уровня логирования в коде -
-
slf4j formatting with {}
-
What is the fastest way of (not) logging
-
-
-
-

-

Java Logging: история кошмара
Ведение лога приложения
Log4j, Logback
Добавление зависимостей логирования в проект.
Logback variable substitution

-

Проверочные вопросы:

-

Что нужно изменить в pom.xml, чтобы перейти с logback на log4j ?

-

Ваши вопросы

-

-
Почему private static final Logger log а не LOG ?
-

-

Так ее называют по умолчанию в проекте lombook.
Это правило именования констант, которые не "deeply immutable", те если их содержимое можно изменить.

-

-
Используются ли еще где-то в реальной разработке JSP, или это уже устаревшая технология? Заменит ли ее JSF (https://javatalks.ru/topics/38037)?
-

-

JSF и JSP- разные ниши и задачи. -JSP- шаблонизатор, JSF- МVС фреймворк. Из моего опыта- с JSP сталкивался в 60% проектов. Его прямая замена: http://www.thymeleaf.org (в Spring-Boot по умолчанию), но в уже запущенных проектах встречается достаточно редко. JSP не умирает, потому что просто и дешево. Кроме того включается в большинство веб-контейнеров (в Tomcat его реализация Jasper)

-

JSF- sun-овский еще фреймворк, с которым я ни разу не сталкивался и особого желания нет. Вот он как раз, по моему мнению, активно замещается хотя бы javascript фреймворками (angular, ember, react).

-

-
А зачем мы использовали logback? Почему SLF4J нас не устроило? Почему реализация логирования не log4j?
-

-

SLF4J-API это API. Там есть только пустая реализация org.slf4j.helpers.NOPLogger (можно посмотреть в исходниках). Logback для новых проектов стал стандарт. spring-petclinic и spring-boot используют его по умолчанию.

-

http://logback.qos.ch/reasonsToSwitch.html

-

Домашнее задание HW01 (делаем ветку HW01 от последнего патча в master)

-

-
На проекте мы учимся мыслить и работать как Java разработчики уже сейчас, потом это будет гораздо сложнее и стоить дороже. -Вот на мой взгляд хорошие советы новичкам. От себя я добавлю:
-
-
Учись грамотно формулировать проблему. Проблема "у меня не работает" может иметь тысячи причин. В процессе формулирования очень часто приходит ее решение.
-
Учись исследовать проблему. Внимательное чтение логов и умение дебажить - основные навыки разработчика. Обычно самый верх самого нижнего эксепшена- причина ошибки, туда нужно ставить брекпойнт.
-
Грамотно уделяй время каждой проблеме. Две крайности - сразу бросаться за помощью и биться над ней часами. Пробуй решить ее сам и в зависимости от проблемы выделяй на это разумное время.
-
-

-

1. Реализовать сервлет с отображением в таблице списка еды (в памяти и БЕЗ учета пользователя)

-

-
Деплоиться в Tomcat лучше как war exploded: нет упаковки в war и при нажатой кнопке Update Resources on Frame Deactivation можно обновляться css, html, jsp без передеплоя. При изменении web.xml, добавлении методов, классов необходим redeploy.
-

-

1.1 По аналогии с UserServlet добавить MealServlet и meals.jsp -
- Задеплоить приложение (war) в Tomcat c applicationContext=topjava (приложение должно быть доступно по http://localhost:8080/topjava)
- Попробовать разные деплои в Tomcat, remote и local debug
-
1.2 Сделать отображения списка еды в JSP, цвет записи в таблице зависит от параметра exceed (красный/зеленый). -
- 1.2.1 Список еды захардкодить (те проинициализировать в коде, желательно чтобы в проекте инициализация была только в одном месте)
- 1.2.2 Время выводить без 'T'
- 1.2.3 Список выводим БЕЗ фильтрации по startTime/endTime
- 1.2.4 Вариант реализации: -
  - из сервлета преобразуете еду в List<MealWithExceeded>;
  - кладете список в запрос (request.setAttribute);
  - делаете forward на jsp для отрисовки таблицы (при redirect атрибуты теряются).
  - в JSP для цикла можно использовать JSTL tag forEach. Для подключения JSTL в pom.xml и шапку JSP нужно добавить:
  -
-

-

    <dependency>
-       <groupId>javax.servlet</groupId>
-       <artifactId>jstl</artifactId>
-       <version>1.2</version>
-    </dependency>
-
-    <%@ taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %>
-    ...
-

-

Optional

-

2. Реализуем в ПАМЯТИ CRUD (create/read/update/delete) для еды

-

Пример: Simple CRUD using Servlet/JSP

-

2.1 Хранение в памяти будет одна из наших CRUD реализаций (позже будет JDBC, JPA и DATA-JPA).
2.2 Работать с реализацией CRUD через интерфейс, который не должен ничего знать о деталях реализации (Map, DB или что-то еще).
2.3 Добавить поле id в Meal/ MealWithExceed и реализовать генерацию счетчика, УЧЕСТЬ МНОГОПОТОЧНОСТЬ СЕРВЛЕТОВ -
- обзор java.util.concurrent
-
2.4 Сделать форму редактирования в JSP: AJAX/JavaScript использовать НЕ надо, делаем через <form method="post"> и doPost() в сервлете.
2.5 Для ввода дат и времени можно использовать html5 типы, хотя они поддерживаются не всеми браузерами (протестировать свой браузер). В конце курса мы добавим DateTimePicker jQuery plugin, который будет работать на всех браузерах.

-

После выполнения ДЗ обязательно проверьте решение на ошибки

-

Вопросы по HW1

-

-
Не попадаю на страничку/брекпойнт в сервлете.
-

-

внимательно проверь url и applicationContext (Application Context должен быть тот же, что и url приложения: wiki IDEA)
посмотрите в task manager: возможно запущено несколько JVM и они мешают друг другу. Лишние java приложения убить.

-

-
Приложение не видит TOPJAVA_ROOT.
-

-

После выставления переменной окружения IDEA нужно рестартовать. Слеши в пути должны быть в стиле unix (/). Проверить, видит ли java переменную окружения можно так: System.getenv("TOPJAVA_ROOT"). Еще вариант: добавить -DTOPJAVA_ROOT=... в опции запуска приложения, тогда она доступна из java как System.getProperty("TOPJAVA_ROOT").

-

-
Проблемы с кодировкой в POST (кракозябры).
-

-

Возможное решение - выставьте кодировку ДО первого чтения из request:

-

protected void doPost(HttpServletRequest request, ...) {
+Возможное решение - выставьте кодировку ДО первого чтения из request:
+```
+protected void doPost(HttpServletRequest request, ...) {
     request.setCharacterEncoding("UTF-8");
-

-

-
Если сервлет тыкают несколько пользователей / несколько браузеров, какого должно быть поведение? Нужно ли что-то делать с сессиями?
-

-

В Optional нужно делать реализацию хранения многопоточной. Cессии пока не используем (начнутся, когда будет прикручивать авторизацию).

-

-
Для чего нам нужна многопоточная реализация коллекции, если каждый пользователь видит только себя?
-

-

Реализация хранения в памяти у нас одна на всех. Те коллекция шарится между пользователями, а они в разных потоках ее дергают. Если несколько потоков одновременно будут изменять коллекцию без учета многопоточности (например один будет удалять, второй вставлять), мы получим ConcurrentModificationException

-

-
Предпочтительнее ли создавать новый объект Meal при каждом update?
-

-

Если при обновлении не создавать копию, то сохраненный в памяти объект может кто-то попортить. Вопрос скорее доверия к коду- если проект большой и людей над ним трудится много, то вероятнее нужно копировать.

-

-
Почему теряются атрибуты при передаче на сервлет: http://localhost:8080/topjava/meals?action=add&... и req.getAttribute("action") = null ?
-

-

См. Difference between getAttribute() and getParameter(). Отсюда также следует, что при редиректе атрибуты теряются.

-

-
Зачем нужен в jsp <jsp:useBean id=".." scope="request" type=".."/> ?
-

-

jsp:useBean нужен IDEA для автодополнений - она понимает тип переменной, которая уже доступна в JSP (например через setAttribute). И еще эта переменная становится доступной в java вставках. Для вывода в JSP это тэг не обязателен. Если тип переменной JSP не совпадает с тем, что в jsp:useBean, будет ошибка.

-

Типичные ошибки

-

1 Если в названии класса есть Meal, не нужно использовать слово meal в методах класса.
2 Привыкайте писать комментарии к чекину: одной фразой что вы сделали в нем. Например: Meals CRUD implementation. См. -Как писать сообщения коммитов
3 Хранение в памяти и операции с ней должны выполняться просто и эффективно
4 Хранить нужно Meal и конвертировать ее в MealWithExceed когда отдаем список на отображение в JSP. Иначе при редактировании любой записи или изменении юзером своей нормы caloriesPerDay нужно будет пересчитывать все записи юзера.
5 Стили color можно применять ко всей строке таблицы tr, а не каждой ячейке.
6 DateTimeFormatter можно сделать один заранее (он потокобезопасный в отличие от SimpleDateFormatter), а не создавать новый при каждом запросе.
7 Работать с CRUD надо через интерфейс.
8 Реализаций хранения будет несколько, нужно учитывать это в названии класса имплементации работы в памяти.
9 В web.xml принято группировать сервлет со своим маппингом
10 Не размещайте никакую логику (форматирование, счетчики) в бинах, где хранятся только данные (Meal, MealWithExceed)
11 Еще раз: детали реализации в памяти не должны быть никому видны. Те НЕ НАДО счетчик размещать в Meal или MealServlet или MealsUtil, в базе же он будет по другому генерится.
12 volatile при ++ не помогает от многопоточности. Почему?
13 Обратите также внимание на то, чтобы реализация вашей коллекции для хранения еды была также многопоточной.
14 Не делайте дублирование кода MealsUtil. Возможно вам пригодятся константы LocalTime.MIN и LocalTime.MAX
15 Не дублируйте строки в jsp. Посмотрите на тернарный оператор.
16 после операции delete в браузере должен быть url http:\\localhost:8080\topjava\meals
17 Перед чекином проверяйте свой ченджлист (Ctrl+D на файле из Local Changes - посмотреть что поменялось). Если там только пробелы/переводы строк, не надо его комитить - делайте файлу Git->revert.
18 Учтите в названии реализации CRUD, что -
- 18.1 у нас будет несколько реализаций (не только в памяти)
- 18.2 у нас будет 2 CRUD (для еды и пользователей). А в реальном проекте их намного больше.
-
19 Сессии НЕ использовать! При редиректе все атрибуты (req.getAttribute()) теряются (см. вопрос выше). Сценарий редиректа: -
- 1 из сервлета делаем редирект (снова на сервлет, не на JSP!)
- 2 снова заходим в сервлет
- 3 кладем нужные атрибуты и делаем forward на jsp
- 4 если очень хочется передать параметры из 1. в 2. можно сделать их через параметры запроса (например meals?id=5) и доставать через reg.getParameter(id). В моей реализации такого не потребовалось.
-

-

Онлайн проект Topjava

-

Материалы занятия (скачать все патчи можно через Download папки patch)

-

Правки в проекте

-

Apply 2_0_add_fix.patch

-

Разбор домашнего задания HW1:

-

Перед сборкой проекта (или запуском Tomcat)

-

откройте вкладку Maven Projects и сделайте clean
если страничка в браузере работает неверно, очистите кэш (Ctrl+F5 в хроме)

-

1. Отображения списка еды в JSP

-

Apply 2_1_HW1.patch

-

-
-
Изменения в MealsUtil: -
-
Сделал константу List<Meal> MEALS
-
Сделал вспомогательный метод getWithExceeded
-
-
-
Форматирование даты сделал на основе JSTL LocalDateTime format
-
Переименовал TimeUtil в DateTimeUtil
-
Переименовал mealList.jsp в meals.jsp
-
Добавил еще один способ вывести dateTime через стандартную JSTL функцию replace (префикс fn в шапке также надо поменять)
-
-

-

jsp:useBean
MVC - Model View Controller

-

2. Optional: реализация CRUD

-

Apply 2_2_HW1_optional.patch

-

Про использование паттерна Repository будет подробно рассказано в видео "Слои приложения"

-

-
-
Переименовал mealEdit.jsp в mealForm.jsp
-
В meal.jsp используется параметр запроса param.action, который не кладется в атрибуты.
-
В MealServlet.doGet() сделал выбор через switch
-
Пофиксил багу c history.back() в mealForm.jsp для FireFox (коммит формы при Cancel, сделал type="button").
-
-

-

Дополнительно:

-

HTTP 1.0 vs 1.1

-

Вопросы по HW1

-

-
Зачем в InMemoryMealRepositoryImpl наполнять map с помощью нестатического блока инициализации, а не в конструкторе?
-

-

Разницы нет. Сделал чтобы напомнить вам про эту конструкцию. Малоизвестные особенности Java

-

-
Почему InMemoryMealRepositoryImpl не singleton?
-

-

Начиная с Servlet API 2.3 пул сервлетов не создается, создается только один инстанс сервлетов. Те. InMemoryMealRepositoryImpl в нашем случае создается тоже только один раз. Далее все наши классы слоев приложения будут создаваться через Spring, бины которого по умолчанию являются синглтонами (в его контексте).

-

-
Objects.requireNonNull в MealServlet.getId(request) если у нас нет id в запросе бросает NPE (NullPointerException). Но оно вылетит и без этого метода. Зачем он нужен и почему мы его не обрабатываем?
-

-

Objects.requireNonNull - это проверка предусловия (будет подробно на 4-м занятии). Означает что в метод пришел неверный аргумент (должен быть не null) и приложение сообщает об ошибке сразу на входе (а не "может быть где-то потом"). См. What is the purpose of Objects#requireNonNull. Если ее проглатывать или замазывать, то приложение возможно где-то работает неверно (приходят неверные аргументы), а мы об этом не узнаем. Красиво обрабатывать ошибки будем на последних занятиях (Spring Exception Handling).

-

Занятие 2:

-

3. Библиотека vs Фреймворк. Стандартные библиотеки Apache Commons, Guava

-

Apache Commons, Guava -
- Guava используется на проекте Многомодульный maven. Многопоточность. XML (JAXB/StAX). Веб сервисы (JAX-RS/SOAP). Удаленное взаимодействие (JMS/AKKA)
-

-

4. Слои приложения. Создание каркаса приложения.

-

Apply 2_3_app_layers.patch

-

-
-
Переименовал ExceptionUtil в ValidationUtil
-
Поменял LoggedUser на AuthorizedUser
-
Добавил проверку id пользователя, пришедшего в контроллер (treat IDs in REST body, "If it is a public API you should be conservative when you reply, but accept liberally")
-
-

-

Паттерн "Слои приложения"
Data Access Object
Паттерн DTO
Value Object и Data Transfer Object
Should services always return DTOs, or can they also return domain models?
Дополнительно: -
-

-

Ваши вопросы

-

-
Какова цель деления приложения на слои?
-

-

Управляемость проекта (особенно большого) повышается на порядок:

-

Обеспечивается меньшая связываемость. Допустим если мы меняем что-то в контроллере, то сервис эти изменения не задевают.
Облегчается тестирование (мы будем тестировать слои сервисов и контроллеров отдельно)

-

-
DTO используются когда есть избыточность запросов, которую мы уменьшаем, собрав данные из разных бинов в один? Когда DTO необходимо использовать?
-

-

(D)TO может быть как частью одного entity (набор полей) так и набором нескольких entities. -В нашем проекте для данных, которые надо отдавать наружу и отличающихся от Entiy (хранимый бин), мы будем делать (Data) Transfer Object и класть в отдельный пакет to. Например MealsWithExceeded мы отдаем наружу и он является Transfer Object, его надо перенести в пакет to. -На многих проектах (и собеседованиях) практикуют разделение на уровне maven модулей entity слоя от логики и соответствующей конвертацией ВСЕХ Entity в TO, даже если у них те же самые поля. -Хороший ответ когда TO обязательны есть на stackoverflow: When to Use.

-

-
Почему контроллеры положили в папку web, а не в conrollers?
-

-

То же самое что domain/model - просто разные названия.

-

-
Зачем мы наследуем NotFoundException от RuntimeException?
-

-

Так с ним удобнее работать. И у нас нет никаких действий по восстановлению состояния приложения (no recoverable conditions): checked vs unchecked exception. По последним данным checked exception вообще depricated: Ignore Checked Exceptions

-

-
Зачем в API пишем NotFoundException, если они RuntimeException?
-

-

Обычно не пишут. Я написал для информации разработчикам - здесь делаем проверку и может быть брошено.

-

-
Зачем в AdminRestController переопределяются методы родителя с вызовом тех же родительских?
-

-

Сделано на будущее, мы будем работать с AdminRestController.

-

-
И что такое ProfileRestController?
-

-

Контроллер, где авторизованный пользователь будет работать со своими данными

-

-
Что лучше возвращать из API: Collection или List
-

-

Вообще, как правило, возвращают List, если не просится по коду более общий случай (например возможный Set или Collection, возвращаемый Map.values()). Если возвращается отсортированный список, то List будет адекватнее.

-

5. Обзор Spring Framework. Spring Context.

-

Apply 2_4_add_spring_context.patch

-

Apply 2_5_add_dependency_injection.patch

-

Apply 2_6_add_annotation_processing.patch

-

Difference -between @Component, @Repository & @Service annotations in Spring
Spring Auto Scanning Components
Использование аннотации @Autowired
Дополнительное: -
-

-

Apply 2_7_constructor_injection.patch

-

В контроллерах Constructor Injection делать не стал, добавляется лишний код (попробуйте сделать сами). На каждом проекте свои правила, универсальных нет.

-

Дополнительно видео по Spring

-

6. Пояснения к HW2. Обработка Autowired

-

<context:annotation-config/> говорит спрингу при поднятии контекста обрабатывать @Autowired (добавляется в контекст спринга AutowiredAnnotationBeanPostProcessor). После того, как все бины уже в контексте постпроцессор через отражение инжектит все @Autowired зависимости. Будет подробнее в видео "Жизненный цикл Spring контекста" на следующем уроке.

-

Ваши вопросы

-

-
Что такое схема в spring-app.xml xsi:schemaLocation и зачем она нужна
-

-

XML схема нужна для валидации xml, IDEA делает по ней автозаполнение.

-

-
Что означает для Spring
-

-

 <bean class="ru.javawebinar.topjava.service.UserServiceImpl">
-     <property name="repository" ref="mockUserRepository"/>
- </bean> ?
-

-

Можно сказать так: создай и занеси в свой контекст экземпляр класса (бин) UserServiceImpl и заинжекть в его проперти из своего контекста бин mockUserRepository.

-

-
Как биндинг происходит для @Autowired? Как поступать, если у нас больше одной реализации UserRepository?
-

-

@Autowired инжектит по типу (т.е. ижектит класс который реализует UserRepository). Обычно он один. Если у нас несколько реализаций, Spring не поднимится и поругается - No unique bean. -В этом случае можно уточнить имя бина через @Qualifier. @Qualifier обычно добавляют только в случае нескольких реализаций.

-

-
Почему нельзя сервлет помещать в Spring контекст?
-

-

Сервлеты- это исключительно классы servlet-api (веб контейнера) и должны инстанциироваться и работать в нем. Те технически можно ( без init/destroy), но идеологически - неверно. Также НЕ надо работать с cервлетом из SpringMain.

-

Еще раз смотрим на демо приложение и вникаем, что такое пользователь и его еда и что он может с ней сделать. Когда пользователь авторизуется в приложении, его id и норма калорий чудесным образом попадают в AuthorizedUser и в приложении мы может обращаемся к ним. Как они реально туда попадут будет в уроке 9 (Spring Security, сессия и куки)
Перед началом выполнения ДЗ (ели есть хоть какие-то сомнения) прочитайте ВСЕ ДЗ. Если вопросы остаются- то ВСЕ подсказки. Особенно этот пункт важный, когда будете делать реальное рабочее ТЗ.

-

Домашнее задание HW02

-

1: переименовать MockUserRepositoryImpl в InMemoryUserRepositoryImpl и имплементировать по аналогии с InMemoryMealRepositoryImpl (список пользователей возвращать отсортированным по имени)
2: сделать Meal extends AbstractBaseEntity, MealWithExceed перенести в пакет ru.javawebinar.topjava.to (transfer objects)
3: изменить MealRepository/InMemoryMealRepositoryImpl: в одном общем хранилище хранится вся еда всех пользователей. Любой пользователь авторизуется и видит/модифицирует только свою еду. -
- 3.1: если по запрошенному id еда отсутствует или чужая, возвращать null/false (см. комментарии в UserRepository)
- 3.2: реализовать хранение еды для каждого пользователя можно с добавлением поля userId в Meal ИЛИ без него (как нравится). Напомню, что репозиторий один и приложение может работать одновременно с многими пользователями.
- 3.3: список еды возвращать отсортированным по времени, последние записи наверху
- 3.4: атомарность операций не требуется (коллизии при одновременном изменении одного пользователя можно не учитывать)
-
4: Реализовать слои приложения для функциональности "еда". API контроллера должна удовлетворять все потребности демо приложения и ничего лишнего (см. демо). -
- Смотрите на реализацию слоя для user и делаете по аналогии! Если там что-то непонятно, не надо исправлять или делать по своему. Задавайте вопросы. Если действительно нужна правка- я сделаю и напишу всем.
- 4.1: после авторизации (сделаем позднее), id авторизованного юзера будет попадать в AuthorizedUser.id(). Запрос попадает в контроллер, методы которого будут доступны снаружи по http, т.е. запрос можно будет сделать с ЛЮБЫМ id для еды -(не принадлежащем авторизированному пользователю). Нельзя позволять модифицировать/смотреть чужую еду.
- 4.2: AuthorizedUser известен только на слое web (см. реализацию ProfileRestController). MealService можно тестировать без подмены логики авторизации, принимаем в методах сервиса и репозитория параметр userId: id владельца еды.
- 4.3: если еда не принадлежит авторизированному пользователю или отсутствует, в MealServiceImpl бросать NotFoundException.
- 4.4: конвертацию в MealWithExceeded можно делать как в слое web, так и в service (Mapping Entity->DTO: Controller or Service?)
- 4.5: в MealServiceImpl постараться сделать в каждом методе только одни запрос к MealRepository
- 4.6 еще раз: не надо в названиях методов повторять названия класса (Meal).
-
5: включить классы еды в контекст Spring (добавить аннотации) и вызвать из SpringMain любой метод MealRestController (проверить что Spring все корректно заинжектил)

-

Optional

-

6: в MealServlet сделать инициализацию Spring, достать MealRestController из контекста и работать с едой через него (как в SpringMain). pom.xml НЕ менять, работаем со spring-context. Сервлет обращается к контролеру, контроллер вызывает сервис, сервис - репозиторий. -
- 6.1: учесть, что когда будем работать через Spring MVC, MealServlet удалим, те вся логика должна быть в контроллере
-
7: добавить в meals.jsp и MealServlet две отдельные фильтрации еды: по дате и по времени (см. демо)
8: добавить выбор текущего залогиненного пользователя (имитация авторизации, сделать Select с двумя элементами со значениями 1 и 2 в index.html и AuthorizedUser.setId(userId) в UserServlet). -Настоящая атворизация будет через Spring Security позже.

-

Подсказки по HW02 (для проверки, сначала сделайте самостоятельно!)

-

1: В реализации InMemoryUserRepositoryImpl -
- 1.1: getByEmail попробуйте сделать через stream
- 1.2: delete попробуйте сделать за одно обращение к map (без containsKey)
- 1.3: предусмотрите случай одинаковых User.name (порядок должен быть зафиксированным).
-
2: В реализации InMemoryMealRepositoryImpl -
- 2.1: В Meal, которая приходит в контроллер нет никакой информации о пользователе (еда приходит в контроллер БЕЗ user/userId). Она может быть только авторизованного пользователя, поэтому что-то сравнивать с ним никакого смысла нет. По id еды и авторизованному пользователю нужно проверить ее принадлежность.
- 2.2: get\update\delete - следите, чтобы не было NPE (NullPointException может быть, если в хранилище отсутствует юзер или еда).
- 2.3: Проверьте сценарий: авторизованный пользователь пробует изменить чужую еду (id еды ему не принадлежит).
- 2.4: Фильтрацию по датам сделать в репозитории т.к. из базы будем брать сразу отфильтрованные по дням записи. Следите чтобы первый и последний день не были обрезаны, иначе сумма калорий будет неверная.
- 2.5: Если запрашивается список и он пустой, не возвращайте NULL! По пустому списку можно легко итерироваться без риска NullPoinException.
- 2.6: Не дублируйте код в getAll и метод с фильтрацией
- 2.7: попробуйте учесть, что следующая реализация (сортировка, фильтрация) будет делаться прямо в базе данных
-
3: Проверьте, что удалили Meal.id, он уже есть в базовом BaseEntity
4: Проверку isBetweenDate сделать в DateTimeUtil. Попробуйте использовать дженерики и объединить ее с isBetweenTime
5: Реализация 'MealRestController' должен уметь обрабатывать запросы: -
- 5.1: Отдать свою еду (для отображения в таблице, формат List<MealWithExceed>), запрос БЕЗ параметров
- 5.2: Отдать свою еду, отфильтрованную по startDate, startTime, endDate, endTime
- 5.3: Отдать/удалить свою еду по id, параметр запроса - id еды. Если еда с этим id чужая или отсутствует - NotFoundException
- 5.4: Сохранить/обновить еду, параметр запроса - Meal. Если обновляемая еда с этим id чужая или отсутствует - NotFoundException
- 5.5: Сервлет мы удалим, а контроллер останется, поэтому возвращать List<MealWithExceed> надо из контроллера. И userId принимать в контроллере НЕЛЬЗЯ (иначе - для чего аторизация?). Подмену MIX/MAX для Date/Time также сделайте здесь.
- 5.6: В REST при update принято передавать id (см. AdminRestController.update)
- 5.7: Сделайте отдельный getAll без применения фильтра
-
6: Проверьте корректную обработку пустых значений date и time в контроллере
7: Авторизированного пользователя берем из AuthorizedUser.id(), cм. ProfileRestController
8: В MealServlet -
- 8.1: Закрывать springContext в сервлете грамотнее всего в HttpServlet.destroy(): если где-то в контексте Spring будет ленивая инициализация, метод-фабрика, не синглтон-scope, то контекст понадобится при работе приложения. У нас такого нет, но делать надо все грамотно.
- 8.2: Не храните параметры фильтра как члены класса сервлета, это не многопоточно! Один экземпляр сервлета используется всеми запросами на сервер, попробуйте дернуть его из 2х браузеров.
-

-

Онлайн проект Topjava

-

Материалы занятия (скачать все патчи можно через Download папки patch)

-

Правки в проекте

-

Apply 3_0_fix.patch

-

Поправил InMemoryMealRepositoryImpl.save(). Если обновляется еда, которой нет в хранилище (c несуществующим id), вставка не происходит. См. также объяснение computeIfPresent в HW02
В местах, где требуется int, заменил Integer.valueOf() на Integer.parseInt()
Закомментировал ненужный context:annotation-config: сканирование аннотаций подключаются при context:component-scan
В поля ввода формы добавил required

-

Разбор домашнего задания HW02

-

1. HW2

-

-
ВНИМАНИЕ! При удалении класса из исходников, его скомпилированная версия все еще будет находиться в target (и classpath). В этом случае (или в любом другом, когда проект начинает глючить) сделайте mvn clean.
-

-

Apply 3_01_HW2_repository.patch

-

-
-
В репозиториях по другому инстанциировал компараторы. Оптимизация анонимных классов не требуется! Почитайте комменты от Holger: Java 8 relieves us from the need to think about such things at all.
-
Зарефакторил <T extends Comparable<? super T>> DateTimeUtil.isBetween(T value, T start, T end). Дженерики означают, что мы принимаем экземпляры класса, реализующего компаратор, который умеет сравнивать T или суперклассы от T
-
В InMemoryMealRepositoryImpl.save() вместо 2-х разнесенных по времени операций -
-
get(meal.getId(), userId)
-
meals.put(meal.getId(), meal), -между которыми может вклинится операция удаления этой еды из другого потока, сделал обновление атомарным, используя ConcurrentHashMap.computeIfPresent() (см. псевдокод в Map.computeIfPresent. ConcurrentHashMap в отличие от HashMap делает операции атомарно).
-
-
-
-

-

Apply 3_02_HW2_meal_layers.patch

-

-
-
Перенес обработку null-дат в MealRestController.getBetween()
-
По аналогии с AbstractUserController добавил проверку id пользователя, пришедшего в MealRestController (assureIdConsistent, checkNew)
-
-

-

Apply 3_03_HW2_optional_MealServlet.patch

-

-
-
Убрал логирование (уже есть в контроллере)
-
assureIdConsistent позволяет в контроллере обновлять еду с id=null
-
-

-

Apply 3_04_HW2_optional_filter.patch

-

-
-
Вместо MealServlet.resetParam (перемещение параметров фильтрации в атрибуты запроса для отображения в meals.jsp), достаю их в jsp напрямую из запроса через ${param.xxx}
-
В демо фильтр не хранится в сессии (скидывается по F5). Что такое сессия будем разбирать, когда будем делать реальную авторизацию
-
-

-

Apply 3_05_HW2_optional_select_user.patch

-

2. Вопросы по API и слоям приложения

-

Вопросы по HW2

-

-
Что делает repository.computeIfAbsent / computeIfPresent ?
-

-

Всегда пробуйте ответить на вопрос сами. Дастоточно просто зайти по Ctrl+мышка в реализацию и посмотреть javadoc и их дефолтную реализацию

-

-
Почему выбрана реализация Map<userId, Map<mealId,Meal>> а не Meal.userId + Map<mealId,Meal> ?
-

-

В данном случае двойная мапа - самый эффективный способ хранения, который не требует итерирования (перебора всех значений).

-

Занятие 3:

-

3. Коротко о жизненном цикле Spring контекста.

-

Apply 3_06_bean_life_cycle.patch

-

Spring изнутри. Этапы инициализации контекста.
Ресурсы: -
- Евгений Борисов. Spring, часть 1
- Евгений Борисов. Spring, часть 2
-

-

4. Тестирование через JUnit.

-

-
ВНИМАНИЕ!! Перед накаткой патча создайте каталог test (из корня проекта путь \src\test), иначе часть файлов попадет в src\main.
-
-
в maven-surefire-plugin (JUnit) поменял кодировку на UTF-8
-
добавил метод InMemoryUserRepositoryImpl.init() для инициализации. -
-
save() не больше работает для отсутствующих id
-
автогенерацию id начал со 100
-
-
-
-

-

Apply 3_07_add_junit.patch

-

Вопрос: почему проект упадет при попытке открыть страничку еды (в логе смотреть самый верх самого нижнего исключения)?

-

5. Spring Test

-

-
-
поменял @RunWith: SpringRunner is an alias for the SpringJUnit4ClassRunner
-
-

-

Apply 3_08_add_spring_test.patch

-

Spring Testing

-

6. Базы данных. Обзор NoSQL и Java persistence solution без ORM.

-

PostgreSQL.
PostgreSQL JDBC Driver
Установка PostgreSQL. ВНИМАНИЕ! с postgres 9.6 возможны проблемы.
Чтобы избежать проблем с правами и именами каталогов, рекомендуют установить postgres в простой каталог, например C:\Postgresql. И при проблемах создать каталог data на другом диске. Если Unix, проверить права доступа к папке (0700).

-

-
Создать в pgAdmin новую базу topjava и новую роль user, пароль password
-

-

-
Проверьте, что у user в Privileges есть возможность авторизации (особенно для pgAdmin4)
-

-

NoSQL or RDBMS. Обзор NoSQL систем. CAP
DB-Engines Ranking
JDBC
Обзор Java persistence solution без ORM: commons-dbutils, -Spring JdbcTemplate, -MyBatis, JDBI, jOOQ
Основы: -
-
Дополнительно: -
- Документация к PostgreSQL 9.6
- Книги по PostgreSQL
-

-

7. Настройка Database в IDEA.

-

Apply 3_09_add_postgresql.patch

-

Настройка Database в IDEA и запуск SQL.

-

8. Скрипты инициализации базы. Spring Jdbc Template.

-

-
в JdbcUserRepositoryImpl.getByEmail() заменил queryForObject() на query(). Загляните в код: queryForObject бросает EmptyResultDataAccessException вместо нужного нам null.
-

-

Apply 3_10_db_implementation.patch

-

Подключение Spring Jdbc.
Конфигурирование DataSource. Property Placeholder

-

-
Проверьте, что в контекст Spring проекта включены оба файла конфигурации
-

-

9. Тестирование UserService через AssertJ.

-

Apply 3_11_test_UserService.patch

-

10. Логирование тестов.

-

Apply 3_12_test_logging.patch

-

-
-
Новый PostgreSQL JDBC Driver логирует через java.util.logging. Направил логирование в SLF4J
-
Поменял формат вывода. См. Logback Layouts
-
-

-

Ресурсы, которые кладутся в classpath, maven при сборке берет из определенных каталогов resources (Introduction to the Standard Directory Layout). Их можно настраивать через maven-resources-plugin, меняем в проекте Masterjava.

-

Apply 3_13_fix_servlet.patch

-

Приложение перестало работать, тк. для репозитория мы используем заглушку JdbcMealRepositoryImpl

-

11. Ответы на Ваши вопросы

-

Что такое REST? 10 Best Practices for Better RESTful API
Зачем нужна сортировка еды?
Можно ли обойтись без MapSqlParameterSource?
Как происходит работа с DB в тестах?
Как реализовывать RowMapper?
Мои комментарии: решения проблем разработчиком.
Нужен ли разработчику JavaScript?

-

Ваши вопросы

-

-
Какая разница между @BeforeClass and @Before?
-

-

@BeforeClass выполняется один раз после загрузки класса (поэтому метод может быть только статический), @Before перед каждым тестом. -Также: для чистоты тестов экземпляр тестового класса пересоздается перед каждым тестом: http://stackoverflow.com/questions/6094081/junit-using-constructor-instead-of-before

-

-
Тесты в классе в каком-то определенном порядке выполняются ("сверху вниз" например)?
-

-

Порядок по умолчанию неопределен, каждый тест должен быть автономен и не зависеть от других. См. также http://stackoverflow.com/questions/3693626/how-to-run-test-methods-in-specific-order-in-junit4

-

-
Обязательно ли разворачивать postgreSQL?
-

-

Желательно: хорошая и надежная ДБ:) Если совсем не хочется - можно работать со своей любимой RDBMS (поправить initDB.sql) или работать c postgresql в heroku (креденшелы к нему есть сверху в postgres.properties). На следующем уроке добавим HSQLDB, она не требует установки.

-

-
Зачем начали индексацию с 100000?
-

-

Тут нет "как принято". Так удобно вставлять в базу (если будет потребность) записи вручную не мешая счетчику.

-

-
Из 5-го видео - "Логика в базе - большое зло". Можно чуть поподробней об этом?
-

-

Есть успешные проекты с логикой в базе. Те все относительно.
Логика в базе - это процедуры и триггеры. Нет никакого ООП, переиспользовать код достаточно сложно, никагого рефакторинга, поиска по коду и других плюшек IDE. Нельзя делать всякие вещи типа кэширования, хранения в сесии - это все для логики на стороне java. Например json можно напрямую отдать в процедуру и там парсить и вставлять в таблицы или наоборот - собирать из таблиц и возвращать. -А затем потребуется некоторая логика на стороне приложения и все равно придется этот json дополнительно разпарсивать в java. -Я на таком проекте делал специальную миграцию, чтобы процедуры мигрировать не как sql скрипты, а каждую процедуру хранить как класс с историей изменений. Если логика: триггеры и простые процедуры записи-чтения, которые не требуют переиспользования кода или -проект небольшой это допустимо, иначе проект становится трудно поддерживать. Также иногда используют View для разграничения доступа. Например, для финансовых систем, таблицы проводок доступны только для админ учеток, а View просто не дадут увидеть (тем более изменить) данны обычному оператору на уровне СУБД.

-

-
У JUnit есть ассерты и у спринга тоже. Можно ли обойтись без JUnit?
-

-

Предусловия и JUnit-тесты совершенно разные вещи. Один другого не заменит, у нас будут предусловия в следующем уроке.

-

-
Я так понял VARCHAR быстрее, чем TEXT, когда мы работаем с небольшими записями. Наши записи будут небольшими (255). Почему вы приняли решение перейти на TEXT?
-

-

В отличие от MySql в Postgres VARCHAR и TEXT - тоже самое: http://stackoverflow.com/questions/4848964/postgresql-difference-between-text-and-varchar-character-varying

-

-
Зачем при создании таблицы мы создаем CREATE UNIQUE INDEX и CREATE INDEX. При каких запросах он будет использоваться?
-

-

UNIQUE индекс нужен для обеcпечения уникальности, DB не даст сделать одинаковый индекс. Индексы используется для скорости выполнения запросов. Обычно они задействуются, когда в запросе есть условия, на которые сделан индекс. Узнать по конкретному запросу можно запросив план запроса: см. Оптимизация запросов. Основы EXPLAIN в PostgreSQL. На измерение производительности с индексами посмотрим в следующем уроке.

-

-
А это нормально, что у нас в базе у meals есть userId, а в классе - нет?
-

-

Что значит - "нормально"? Приложение работает. Ненормально, когда в приложении есть "лишний" код, который не используется. Для ORM он нам понадобится- мы Meal.user добавим.

-

-
Почему мы использует один sequence на разные таблицы?
-

-

Мы будем использовать Hibernate, по умолчанию он делает глобальный sequence на все таблицы. В этом подходе есть как плюсы, так и минусы, из плюсов - удобно делать ссылки в коде и в таблицах на при наследовании и мапы в коде. В дополнение: Configure Hibernate to create separate sequence for each table by default.

-

Домашнее задание HW03

-

1 Понять, почему перестали работать SpringMain, InMemoryAdminRestControllerTest, InMemoryAdminRestControllerSpringTest
2 Дополнить скрипты создания и инициализации базы таблицой MEALS. Запустить скрипты на вашу базу (через Run). Порядок таблиц при DROP и DELETE важен, если они связаны внешними ключами (foreign key, fk). Проверьте, что ваши скрипты работают
3 Реализовать через Spring JDBC Template JdbcMealRepositoryImpl -
- 3.1. сделать каждый метод за один SQL запрос
- 3.2. userId в класс Meal вставлять НЕ надо (для UI и REST это лишние данные, userId это id залогиненного пользователя)
- 3.3. JbdcTemplate работает через сеттеры. Вместе с конструктором по умолчанию их нужно добавить в Meal
- 3.4. Cписок еды должен быть отсортирован (тогда мы его сможем сравнивать с тестовыми данными). Кроме того это требуется для UI и API: последняя еда наверху.
-
4 Проверить работу MealServlet, запустив приложение

-

Optional

-

5 Сделать MealServiceTest из MealService и реализовать тесты.

-

-
По Ctrl+Shift+T (выбрать JUnit4) можно создать тест для конкретного класса, выбрав для него нужные методы. Тестовый класс создастся в папке test в том же пакете, что и тестируемый.
-

-

5.1 Сделать тестовые данные MealTestData (точно такие же, как вставляем в populateDB.sql).
5.2 Сделать тесты на чужую еду (delete, get, update) с тем чтобы получить NotFoundException.
6 Почнинить SpringMain, InMemory*Test. InMemory*Test должны использовать реализацию в памяти
7 Сделать индексы к таблице Meals: запретить создавать у одного и того-же юзера еду с одинаковой dateTime. -Индекс на pk (id) postgres создает автоматически: Postgres and Indexes on Foreign Keys and Primary Keys -
-

-

-
Как правильно придумать индекс для базы? Указать в нем все поля, комбинация которых создает по смыслу уникальную запись, или какие-то еще есть условия?
-

-

Индекс нужно делать по тем полям, по которым будут искаться записи (участвуют в WHERE, ORDER BY). Уникальность - совсем не обязательное условие. Индексы ускоряют поиск по определенным полям таблицы. Они не бесплатные (хранятся в памяти, замедляется вставка), поэтому на всякий случай их делать не надо. Также не строят индексы на колонки с малым процентом уникальности (например поле "М/Ж"). Поля индекса НЕ КОММУТАТИВНЫ и порядок полей в описании индекса НЕОБХОДИМО соблюдать (в силу использования B-деревьев и их производных как поисковый механизм индекса). При построении плана запроса EXPLAIN учитывается количество записей в базе, поэтому вместо индексного поиска (Index Scan) база может выбрать последовательный (Seq Scan). Проверить, работают ли индексы можно отключив Seq Scan. Также см. Queries on the first field of composite index

-

Решение проблем

-

-
Из каталога main не видятся классы/ресурсы в test
-

-

Все что находится в test используется только для тестов и недоступно в основном коде.

-

-
Из IDEA не видятся ресурсы в каталоге test
-

-

Сделайте Reimport All в Maven окне

-

-
В UserServiceImpl и MealServiceImpl подчеркнуты красным repository, ошибка: Could not autowire. There is more than one bean of 'MealRepository' type.
-

-

Spring test контекст не надо включать в Spring Facets проекта, там должны быть только spring-app.xml и spring-db.xml. Для тестовых контекстов поставьте чекбокс Check test files в Inspections.

-

Проверка по HW03 (сначала сделайте самостоятельно!)

-

1: В MealTestData еду делайте константами. Не надо Map конструкций!
2: SQL case-insensitive, не надо писать в стиле Camel. В POSTGRES возможны case-sensitive значения, их надо в кавычки заключать (обычно не делают).
3: ЕЩЕ РАЗ: InMemory тесты должны идти на InMemory репозитории
4: Проверьте, что возвращает JdbcMealRepositoryImpl при обновлении чужой еды
5: В реализации JdbcMealRepositoryImpl одним SQL запросом используйте возвращаемое update значение the number of rows affected
6: При тестировании не портите констант из MealTestData
7: Проверьте, что все, что относится к тестам, ноходится в каталоге test (не попадает в сборку проекта)
8: Еще раз: в тестах проверять через JUnit Assert нельзя. Он проверяет через equals, который, учитавая будующие JPA реализации, мы не можем переопределить как сравнение по всем поля.
9: НЕ делайте склейку SQL запросов вручную из параметров, только через jdbcTemplate параметры! См. Внедрение_SQL-кода
10: Напомню: BeanPropertyRowMapper работает через отражение. Ему нужны геттеры/сеттеры и имена полей должны "совпадать" с колонками ResultSet (Column values are mapped based on matching the column name as obtained from result set metadata to public setters for the corresponding properties. The names are matched either directly or by transforming a name separating the parts with underscores to the same name using "camel" case).

-

Онлайн проект Topjava

-

Материалы занятия

-

Правки в проекте

-

Apply 4_0_fix.patch

-

В JdbcUserRepositoryImpl.save() и UserServiceImpl.update добавил проверку на несуществующей в базе User.id
Зарефакторил в InMemoryMealRepositoryImpl.getAll/getBetween: filter() перед sorted()

-

Примечание: в ответе на Why is SELECT * considered harmful? есть случаи, когда она допустима (наш случай):

-

-
When * means "a row"
-

-

Разбор домашнего задания HW3

-

-
SpringMain, InMemoryAdminRestControllerTest, InMemoryAdminRestControllerSpringTest починим в патче 4_5_create_mock_test_ctx.patch (видео 4)
-

-

1. JdbcMealRepositoryImpl + MealServiceTest

-

Apply 4_1_HW3.patch

-

-
-
В JdbcUserRepositoryImpl поменял MapSqlParameterSource на BeanPropertySqlParameterSource (поля для вставки определяются через отражение в бине и метаданные в SQL запросе). -В JdbcMealRepositoryImpl остается MapSqlParameterSource, т.к. в отсутствует Meal.userId. См. дополнительно CombinedSqlParameterSource
-
Новый Postgres драйвер поддерживает Java 8 Date and Time. Преобразования c Timestamp уже не нужны.
-
В meals добавил составной индекс INDEX meals_unique_user_datetime_idx ON meals(user_id, date_time) для повышения скорости запросов по этим полям:
-
Удалил лишние MealsUtil.MEALS и main()
-
-

-

POSTGRESQL: BETWEEN CONDITION
Сравнение времени выполнения для разных индексов -
- На id как на primary key индекс создается автоматически.
- все запросы в таблицу meals у нас идут с user_id
- по полю date_time также есть запросы + мы по нему сортируем список результатов, те они- хорошие кандидаты для индексирования.
- следует иметь в виду, индексы ускоряют операции чтения, но замедляют вставку и удаление, поэтому необходим анализ в реальном приложении
- Оптимизация запросов. Основы EXPLAIN в PostgreSQL
- Оптимизация запросов. Часть 2
- Оптимизация запросов. Часть 3
- Документация Postgres: индексы
-

-

Apply 4_2_HW3_optional.patch

-

Занятие 4:

-

2. Методы улучшения качества кода

-

Внимание!! В IDEA 2017.1 и 2 любой QAPlugin крэшится. Можно заменить FindBugs-IDEA
Сделайте интеграцию своего GitHub репозитория и подключите сверху своего README.md (Raw) интергацию с -
- Codacy Check code (проверка стиля и поиск багов в коде). В Codacy Issues -
  - отключил в настройках (remove pattern) проверку assert в JUnit (проверяем через матчеры) и meta http-equiv="content-type" в JSP
  - сделал remove pattern на Cross Site Scripting (XSS), будем делать защиту на последнем занятии
  -
- VersionEye (проверка зависимостей Maven на актуальность). Кликни на значке dependencies в versioneye своего проекта, чтобы взять ссылку для read.me
- Сборку и тесты Travis (результат выполнения тестов проекта) -
  - Travis CI Tutorial
  - Сборка Java проекта
  -
-

-

Apply 4_3_improve_code.patch

-

-
-
Перенес проверки предусловий Assert из InMemory репозиториев в сервисы
-
Добавил конфигурацию .travis.yml
-
По рапорту VersionEye обновил зависимости Maven (будем пробовать Spring 5!)
-
-

-

3. Spring: инициализация и популирование DB

-

Apply 4_4_init_and_populate_db.patch

-

Инициализация базы при старте приложения

-

4. Подмена контекста при тестировании

-

Apply 4_5_create_mock_test_ctx.patch

-

5. ORM. Hibernate. JPA.

-

Entity- класс (объект Java), который в ORM маппится в таблицу DB.

-

-
-
ВНИМАНИЕ: патч меняет postgres.properties, в котором у вас возможно свои креденшелы к базе.
-
hibernate-core 5.2.x включает hibernate-entitymanager и hibernate-java8, Time API конверторы уже не нужны. -
-
JPA support for Java 8 new date and time API
-
What's new in Hibernate 5?
-
JPA support for Java 8 new date and time API
-
-
-
EL implementation provided by the container. In a Java SE you have to add an implementation as dependency to your POM file: добавил javax.el зависимость со scope=provided
-
-

-

Apply 4_6_add_jpa.patch

-

-
-
Тесты и приложение ломаются. MealServiceTest починится после выполнения HW04 (JpaMealRepositoryImpl)
-
При настройке JPA в IDEA НЕ скачивайте библиотеку javaee.jar (и любую другую). Все зависимости в проект попадают только через Maven.
-
Если вы используете Java 9, то возникают проблемы с JAXBException (пакет java.xml.bind). См. решение
-
-

-

Дополнительно: -
- ORM.
- JPA и Hibernate в вопросах и ответах
- JPA EntityManager: управляем сущностями
- Field vs property access
- Hibernate: введение и написания Hello world приложения
- 15 reasons why we need to choose Hibernate over JDBC
- Mapping: описания модели Hibernate (hbm.xml/annotation).
- Hibernate. Другие ORM: TopLink, EсlipseLink, EBean (used in Playframework).
- JPA (wiki). JPA (english wiki). JPA Performance Benchmark
- Отображения наследования объектов на таблицы
- Стратегии генерации PK
- hibernate-validator. JSR-303 -> JSR-349
- Описание связей в модели. Ленивая загрузка объекта.
- JPA definitions
- Spring expressions: выражения в конфигурации
- HQL/ JPQL.
- Динамические запросы (которые формируются в коде): JPA Criteria API. Unified Queries for Java
- Using the Java 8 Date Time Classes with JPA
-

-

Apply 4_7_add_named_query_and_transaction.patch

-

Справочник:

-

6. Добавляем поддержку HSQLDB

-

Apply 4_8_add_hsqldb.patch

-

-
-
ВНИМАНИЕ: патч меняет postgres.properties
-
IDEA может ${jdbc.initLocation} подчеркивать красным - тупит...
-
-

-

Ваши вопросы

-

-
Есть несколько аналогичных "встроенных" баз данных. H2, HSQLDB, Derby, SQLite. Почему был выбран HSQLDB?
-

-

Просто с ней приходилось работать. HSQLDB и H2 наиболее популярны, в новом курсе по spring-boot планирую использовать H2. -Здесь интересное краткое описание встраиваемых баз данных в Java. -В HSQLDB нет репликаций, кластеризайии и объем данным ограничен несколькими TB. Для большого количества приложений она подходит и для продакшена. См.

-

-
Чистого JPA не существует, т.е. это всего лишь интерфейс, спецификация? Говорим JPA, подразумеваем какой-то ORM фрэймворк? А что тогда используют чистый jdbc, Spring-jdbc, MyBatis? MyBatis не реализует JPA?
-

-

ORM это технология связывания БД и объектов приложения, а JPA - это JavaEE спецификация (API) этой технологии. -Реализации JPA - Hibernate, OpenJPA, EclipceLink, но, например, Hibernate может работать по собственному API (без JPA, которая появиласть позже). Spring-JDBC, MyBatis, JDBI не реализуют JPA, это обертки к JDBC. Все ORM и JPA также реализованы поверх JDBC.

-

-
В зависимостях maven hibernate-entitymanager тянет за собой jboss-logging. Как будет происходить логгирование?
-

-

How do you configure logging in Hibernate 4 to use SLF4J: в нашем проекте автоматически подхватывается logback-classic.

-

-
В чем преимущество Hibernate ?
-

-

Hibernate (как любая ORM) реализует маппинг таблиц в объекты Java. Когда мы добавим роли к пользователю вы увидете, насколько код будет проще, чем в jdbc. Также см. 5 Reasons to Use JPA / Hibernate

-

-
Чем отличается @Column(nullable = false) от @NotNull и есть ли необходимость указывать обе аннотации ?
-

-

@Column(nullable = false) это атрибуты колонки таблицы базы. @NotNull - это валидация, которая происходит в приложении перед вставкой в базу. Если колонка ненулевая, то NOT NULL объязательна. Валидация- опциональна. Также см. -@NotNull vs @Column(nullable = false)

-

-
почему мы в в бине entityManagerFactory не указали диалект базы данных?
-

-

Он автоматически определяется из DataSource драйвера

-

-
В чем разница между persist и merge
-

-

Подробный ответ со Stackovwrflow с объяснением разницы. Упрощенно:

-

merge, в отличие от persist, если entity нет в текущей сессии, делает запрос в базу данных
entity, переданный в merge не меняется. Нужно использовать возвращаемый результат

-

Домашнее задание HW4

-

1: Сделать из Meal Hibernate entity -
- Hibernate Validator: @NotNull, @NotEmpty, @NotBlank
- Реализация ManyToOne
-
2: Имплементировать и протестировать JpaMealRepositoryImpl

-

Optional

-

3: Добавить в тесты MealServiceTest функциональность @Rule: -
- 3.1: проверку Exception
- 3.2: вывод в лог времени выполнения каждого теста
- 3.3: вывод сводки в конце класса: имя теста - время выполнения
-
JUnit @Rules
замена ExpectedException

-

Подсказки по HW4

-

-
1: Тк. JPQL работает с объектами мы не можем использовать userId для сохранения. Можно сделать например так:
-
```
 User ref = em.getReference(User.class, userId);
- meal.setUser(ref);
-
```
-
При этом от User нам нужет только id. Создается lazy прокси над id, которая обращается к базе при запросе любого поля. Т.е. у нас запроса в базу за юзером не будет- проверьте по логам Hibernate
-

-

Внимание: проверять запросы Hibernate нужно через run. Если делаете debug и брекпойнт, то могут делаться лишние запросы к базе (дебаггер дергает toString)

-

2: В JPQL запросах можно писать: m.user.id=:userId
3: При реализации JpaMealRepositoryImpl предпочтительно не использовать try-catch в логике реализации. Но если очень хочется, то ловить только специфичекские эксепшены (пр. NoResultException), чтобы, например, при отсутствии коннекта к базе приложение отвечало адекватно.
4: Мы будем смотреть генерацию db скриптов из модели, для корректной генерации нужно в Meal добавить uniqueConstraints
5: Когда будете чинить MealServiceTest, помните, что тесты пишутся для приложения, а не наоборот.
6: При записи в базу через namedQuery валидация ентити не работает, только валидация в бд

-

Новая информация плохо оседает в голове, когда дается в виде патчей, поэтому, чтобы она стала "твоей" нужно еще раз проделать это самостоятельно. Домашнее задание на этом уроке небольшое, а полученных знаний уже достаточно, чтобы после его выполнения начинать делать выпускной проект, сделанный на нашем стеке.

-

Выпускной проект

-

Для проекта я взял реальное тестовое задание, поэтому жалоб не неясность формулировок принимать не буду- сделайте как поняли. Представьте, что это ваше тестовое задание на работу.
Общение в канале Slack #graduate_project
Ревью проекта входит в участие с проверкой домашних заданий (ревьюится один раз!). Отдать на ревью нужно до 15.02 (если идешь на проект "Многомодульный maven. Многопоточность. XML (JAXB/StAX). -Веб сервисы (JAX-RS/SOAP). Удаленное взаимодействие (JMS/AKKA) (Masterjava)", то срок до 31.05).
По завершению ты сможешь занести этот проект в свое портфолио и резюме как собственный, без всяких оговорок.
Обязательно проверяйся по рекомендациям в конце выпускного

-

Успехов в выполнении!

-

Онлайн проект Topjava

-

Материалы занятия

-

Разбор домашнего задания HW4

-

1. Разбор вопросов

-

-
EntityManager это по сути прокси обертка над Hibernate Session, которая создается каждый раз при открытии транзакции.
-

-

Дополнительно (ни разу не сталкивался): еще есть редкий случай ручного управления @PersistenceContext(type = PersistenceContextType.EXTENDED), когда он используется в нескольних транзакциях (long-running session or session-per-conversation). -
- Spring and PersistenceContextType.EXTENDED
- Transaction-scoped vs Extended Persistence
-

-

2. HW4: JPA. @Rule

-

Apply 5_1_HW4.patch

-

-
-
При сравнении еды тесты падают, тк Hibernate делает ленивую обертку к user и если происходит обращение к любому его полю кроме id вне транзакции бросается LazyInitializationException. -По логике приложения мы достаем еду у AuthorizedUser, поле user нам не нужно и мы не будем его отдавать наружу: в тестах исключаем user из сравнения.
-
В Meal добавил @SuppressWarnings("JpaQlInspection"). Other warnings
-
Поменял реализацию JpaMealRepositoryImpl.get() (вместо @NamedQuery), реализация стали проще
-
-

-

Apply 5_2_fix_hibernate_issue.patch

-

-
-
Из за Hibernate bug with proxy initialization when using AccessType.FIELD -в JpaMealRepositoryImpl.get() делался дополнительный запрос в базу для инициализации прокси User и мы делали хак: доступ к полю AbstractBaseEntity.id через AccessType.PROPERTY. -Но в нашей версии 5.2.11.Final этого запроса нет! Пока баг не закрыли держим под наблюдением (ссылка на багу в коде). -
-
Which is better, field or property access?
-
-
-
Поправил equals() с учетом Lazy проксирования -
-
JPA hashCode()/equals() dilemma
-
Hibernate Proxy Pitfalls
-
-
-
-

-

-
Почему над AbstractBaseEntity стоит @Access(AccessType.FIELD) ? Почему при запросе user.id нам не нужно вытаскивать его из базы?
-

-

AccessType.FIELD делает доступ в AbstractBaseEntity и всех классах-наследниках по полям. При загрузке Meal Hibernate на основе поля meal.user_id делает ленивую прокcи к User, у которой нет ничего, кроме id. Из-за бага хибернайт обращаелся за юзером в базу, хотя ничего кроме его id нам не надо. @Access(value = AccessType.PROPERTY) позволял обойти баг и не делать лишний запрос в базу.

-

Apply 5_3_HW4_optional.patch

-

-
-
Hibernate 5.2.x already include Java 8 date and time types (JSR-310)
-
Stopwatch
-
Добавил сводку "имя теста - время выполнения" в конце класса
-
-

-

Занятие 5:

-

Раскрасил лог (в Spring Boot по умолчанию он тоже colored)

-

Apply 5_4_HW4_optional.patch

-

Logback layouts coloring
Дополнительно: use colored output only when logging to a real terminal

-

3. Транзакции

-

4. Профили Maven и Spring

-

Apply 5_5_profiles_connection_pool.patch

-

-
-
Галочка в XML профиле влияет только на отображение в IDEA и никак на выполнение кода.
-
tomcat-jdbc со scope=provided не работает в Tomcat 7.x, поставьте Tomcat 8.x
-
Profiles.ACTIVE_DB задает активный профиль базы (postgres/hsqldb)
-
Profiles.REPOSITORY_IMPLEMENTATION определяет реализацию репозитория при запуске приложения (для тестов задаются через @ActiveProfiles).
-
-

-

-
Для переключения на HSQLDB необходимо:
-
-
поменять в окне Maven Projects профиль (Profiles) на hsqldb и сделать Reimport All Maven Projects (1я кнопка)
-
поменять Profiles.ACTIVE_DB = HSQLDB
-
почистить проект mvn clean (фаза clean не выполняется автоматически, чтобы каждый раз не перекомпилировать весь проект)
-
-

-

Для корректного отображения неактивного профиля в IDEA проверьте флаг Inactive profile highlighting и сделайте проекту clean

-

-
Вопрос: почему после этого патча не поднимется Spring при запуске приложения в Tomcat? (будем чинить в ДЗ п.6)
-

-

Автоматический выбор профиля базы: `ActiveProfilesResolver`

-

Apply 5_6_profile_resolver.patch

-

-
Сделал автоматический выбор профиля базы при запуске приложения (тестов) в зависимости от присутствия драйвера базы в classpath (Profiles.getActiveDbProfile())
-

-

5. Пул коннектов

-

Выбор реализации пула коннектов: BoneCP, Commons Database Connection Pooling, HikariCP
Самый быстрый пул соединений на java (читаем комменты)
Tomcat pool

-

6. Spring Data JPA

-

Apply 5_7_spring_data_jpa.patch

-

-
-
Переименовал классы Proxy* на более адекватные Crud*
-
В spring-framework-bom мы уже задали версию Spring. Убрал из остальных зависимостей.
-
В spring-data-jpa 2.x поменялся интерфейс: T CrudRepository.findOne(ID id) -> Optional<T> CrudRepository findById(ID id) -
-
Java Optional — Отец холиваров
-
Java 8 Optional In Depth
-
-
-
-

-

Spring Data JPA
Замена AbstractDAO: JPA Repositories
Разрешение зависимостей: Maven BOM [Bill Of Materials] Dependency
Делегирование (в конце статьи)
Getting started with Spring Data JPA
Query methods
Spring Data – новый взгляд на persistence (JeeConf)
Евгений Борисов — Spring Data? Да, та!
Ресурсы: -
-

-

Вопросы:

-

-
Когда нужно ставить аннотацию @Modifying? Почему она стоит только над delete, но не над save?
-

-

@Modifying ставится на модифицирующие @Query. Реализацию save можно посмотреть в org.springframework.data.jpa.repository.support.SimpleJpaRepository#save(), там она есть.

-

-
Зачем мы переопределяем @Override Meal save в CrudUserRepository. Без этого все работает.
-

-

Можно не переопределять. Сделал только для явного указания всех используемых методов из наследуемого CrudRepository

-

7. Spring кэш

-

Apply 5_8_spring_cache.patch

-

-
-
Сделал миграцию на Ehcache 3.x, compatibile with javax.cache API (JSR-107) -
-
Spring 4+ with Ehcache 3 – how to
-
Новая XML конфигурация
-
Supplement JSR-107’s configurations
-
-
-
В UserServiceTest.setUp вместо вызова метода UserService.evictCache сделал очистку програмно через CacheManager -
-
Evict Ehcache elements programmatically, using Spring
-
-
-
-

-

Кеширование в Spring Framework
Дополнительно: -
- Spring cache Abstraction
- Распределённая система кеша ehcache
- Починка JUnit: один кэш на JVM
-

-

Ваши вопросы

-

-
В spring-petclinic DataJpa реализована без дополнительных классов. В таком виде как у них, spring data смотрится, конечно, намного лаконичней других реализаций, но у нас получилось вдвое больше кода, чем с тем же jpa или jdbc. Плюс только пожалуй в том, что query находятся прямо в репозитории, а не где-то там в другом пакете. Так что получается, spring data лучше подходит для простейших crud без всяких "фишек"? или в чем его достоинство для больших и сложных проектов?
-

-

Достоинство DATA-JPA по сравнению например с JPA: есть типизация, готовые реализации типовых методов CRUD а также paging, data-common. Мы можем переключить реализацию JPA, например, на mongoDb (PagingAndSortingRepository, от которого наследуется JpaRepository, находится в spring-data-common). -Соответственно его методы будут поддерживаться всеми реализациями spring-data-common, JPA одна из них и пр. Подробнее о них есть в видео Spring Data – новый взгляд на persistence. +# Онлайн проект Topjava + +## Материалы занятия + +## ![hw](https://cloud.githubusercontent.com/assets/13649199/13672719/09593080-e6e7-11e5-81d1-5cb629c438ca.png) Разбор домашнего задания HW4 + +### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 1. Разбор вопросов +- Validate by RegExp +- Working with JPA Entity Objects +- Java Persistence/Relationships +- Использование ThreadLocal переменных +- Merge vs Persist +- Видео: работа в ZK с OpenJPA (в чем Hibernate хуже) +- Паттерн- открытие транзакции в фильтре и почему это bad-practice +- Sequence Strategies +- SequenceGenerator/IdentityGenerator in PostgreSql + +> `EntityManager` это по сути прокси обертка над Hibernate Session, которая создается каждый раз при открытии транзакции. + +- Дополнительно (ни разу не сталкивался): еще есть редкий случай ручного управления `@PersistenceContext(type = PersistenceContextType.EXTENDED)`, когда он используется в нескольних транзакциях (long-running session or session-per-conversation). + - Spring and PersistenceContextType.EXTENDED + - Transaction-scoped vs Extended Persistence + +### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 2. HW4: JPA. @Rule +#### Apply 5_1_HW4.patch +> - При сравнении еды тесты падают, тк Hibernate делает ленивую обертку к `user` и если происходит обращение к любому его полю кроме id вне транзакции бросается `LazyInitializationException`. +По логике приложения мы достаем еду у `AuthorizedUser`, поле `user` нам не нужно и мы не будем его отдавать наружу: в тестах исключаем `user` из сравнения. +> - В `Meal` добавил `@SuppressWarnings("JpaQlInspection")`. Other warnings +> - Поменял реализацию `JpaMealRepositoryImpl.get()` (вместо `@NamedQuery`), реализация стали проще + +#### Apply 5_2_fix_hibernate_issue.patch +> - Из за [Hibernate bug with proxy initialization when using `AccessType.FIELD`](https://hibernate.atlassian.net/browse/HHH-3718) + в `JpaMealRepositoryImpl.get()` делался дополнительный запрос в базу для инициализации прокси `User` и мы делали хак: доступ к полю `AbstractBaseEntity.id` через `AccessType.PROPERTY`. + Но в нашей версии `5.2.11.Final` этого запроса нет! Пока баг не закрыли держим под наблюдением (ссылка на багу в коде). +> - Which is better, field or property access? +> - Поправил `equals()` с учетом Lazy проксирования +> - JPA hashCode()/equals() dilemma +> - Hibernate Proxy Pitfalls + +> ![question](https://cloud.githubusercontent.com/assets/13649199/13672858/9cd58692-e6e7-11e5-905d-c295d2a456f1.png) Почему над `AbstractBaseEntity` стоит `@Access(AccessType.FIELD)` ? Почему при запросе `user.id` нам не нужно вытаскивать его из базы? + +`AccessType.FIELD` делает доступ в `AbstractBaseEntity` и всех классах-наследниках по полям. При загрузке `Meal` Hibernate на основе поля `meal.user_id` делает ленивую прокcи к `User`, у которой нет ничего, кроме id. Из-за бага хибернайт обращаелся за юзером в базу, хотя ничего кроме его id нам не надо. `@Access(value = AccessType.PROPERTY)` позволял обойти баг и не делать лишний запрос в базу. + +#### Apply 5_3_HW4_optional.patch + +> - Hibernate 5.2.x already include Java 8 date and time types (JSR-310) +> - Stopwatch +> - Добавил сводку "имя теста - время выполнения" в конце класса + +## Занятие 5: + +### Раскрасил лог (в Spring Boot по умолчанию он тоже colored) +#### Apply 5_4_log_colored.patch +- [Logback layouts coloring](https://logback.qos.ch/manual/layouts.html#coloring) +- Дополнительно: [use colored output only when logging to a real terminal](https://stackoverflow.com/questions/31046748) + +### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 3. Транзакции +- wiki Транзакция +- readOnly и Propagation.SUPPORTS +- Ресурсы: + - How does Spring @Transactional Really Work + - Стратегии работы с транзакциями: Распространенные ошибки + - Spring @Transactional - isolation, propagation + +### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 4. Профили Maven и Spring +#### Apply 5_5_profiles_connection_pool.patch +> - **Галочка в XML профиле влияет только на отображение в IDEA и никак на выполнение кода.** +> - **`tomcat-jdbc` со `scope=provided` не работает в Tomcat 7.x, поставьте Tomcat 8.x** +> - `Profiles.ACTIVE_DB` задает активный профиль базы (postgres/hsqldb) +> - `Profiles.REPOSITORY_IMPLEMENTATION` определяет реализацию репозитория при запуске приложения (для тестов задаются через `@ActiveProfiles`). + +> Для переключения на HSQLDB необходимо: +> - поменять в окне Maven Projects профиль (Profiles) на `hsqldb` и сделать `Reimport All Maven Projects` (1я кнопка) +> - поменять `Profiles.ACTIVE_DB = HSQLDB` +> - почистить проект `mvn clean` (фаза `clean` не выполняется автоматически, чтобы каждый раз не перекомпилировать весь проект) + +Для корректного отображения неактивного профиля в IDEA проверьте флаг _Inactive profile highlighting_ и сделайте проекту clean + +![image](https://cloud.githubusercontent.com/assets/13649199/25120020/29935958-2425-11e7-8363-1ff027426f64.png) + +> Вопрос: почему после этого патча не поднимется Spring при запуске приложения в Tomcat? (будем чинить в ДЗ п.6) + +- Using Spring Profiles in XML Config +- Spring Profiles example + +### Автоматический выбор профиля базы: [`ActiveProfilesResolver`](http://stackoverflow.com/questions/23871255/spring-profiles-simple-example-of-activeprofilesresolver) +#### Apply 5_6_profile_resolver.patch +> Сделал автоматический выбор профиля базы при запуске приложения (тестов) в зависимости от присутствия драйвера базы в classpath (`Profiles.getActiveDbProfile()`) + +### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 5. Пул коннектов +- Выбор реализации пула коннектов: BoneCP, Commons Database Connection Pooling, HikariCP +- Самый быстрый пул соединений на java (читаем комменты) +- Tomcat pool + + +### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 6. Spring Data JPA +#### Apply 5_7_spring_data_jpa.patch +> - Переименовал классы _Proxy*_ на более адекватные _Crud*_ +> - В `spring-framework-bom` мы уже задали версию Spring. Убрал из остальных зависимостей. +> - В spring-data-jpa 2.x поменялся интерфейс: `T CrudRepository.findOne(ID id)` -> `Optional CrudRepository findById(ID id)` +> - [Java Optional — Отец холиваров](http://sboychenko.ru/java-optional) +> - [Java 8 Optional In Depth](https://www.mkyong.com/java8/java-8-optional-in-depth/) + +- Spring Data JPA +- Замена AbstractDAO: JPA Repositories +- Разрешение зависимостей: Maven BOM [Bill Of Materials] Dependency +- Делегирование (в конце статьи) +- Getting started with Spring Data JPA +- Query methods +- Spring Data – новый взгляд на persistence (JeeConf) +- Евгений Борисов — Spring Data? Да, та! +- Ресурсы: + - Github repositories + - Spring Data JPA Tutorial + - Spring Data JPA with QueryDSL + - [SpEL support in Spring Data JPA @Query](https://spring.io/blog/2014/07/15/spel-support-in-spring-data-jpa-query-definitions) + +![question](https://cloud.githubusercontent.com/assets/13649199/13672858/9cd58692-e6e7-11e5-905d-c295d2a456f1.png) Вопросы: + +> Когда нужно ставить аннотацию `@Modifying`? Почему она стоит только над delete, но не над save? + +`@Modifying` ставится на модифицирующие `@Query`. Реализацию save можно посмотреть в `org.springframework.data.jpa.repository.support.SimpleJpaRepository#save()`, там она есть. + +> Зачем мы переопределяем `@Override Meal save` в `CrudUserRepository`. Без этого все работает. + +Можно не переопределять. Сделал только для явного указания всех используемых методов из наследуемого `CrudRepository` + +### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 7. Spring кэш +#### Apply 5_8_spring_cache.patch +> - Сделал миграцию на [Ehcache 3.x, compatibile with javax.cache API (JSR-107)](http://www.ehcache.org/) +> - [Spring 4+ with Ehcache 3 – how to](https://imhoratiu.wordpress.com/2017/01/26/spring-4-with-ehcache-3-how-to/) +> - [Новая XML конфигурация](http://www.ehcache.org/documentation/3.4/xml.html) +> - [Supplement JSR-107’s configurations](http://www.ehcache.org/documentation/3.1/107.html#supplement-jsr-107-configurations) +> - В `UserServiceTest.setUp` вместо вызова метода `UserService.evictCache` сделал очистку програмно через `CacheManager` +> - [Evict Ehcache elements programmatically, using Spring](https://stackoverflow.com/questions/29557959/evict-ehcache-elements-programmatically-using-spring) + +- Кеширование в Spring Framework +- Дополнительно: + - Spring cache Abstraction + - Распределённая система кеша ehcache + - Починка JUnit: один кэш на JVM + +## ![question](https://cloud.githubusercontent.com/assets/13649199/13672858/9cd58692-e6e7-11e5-905d-c295d2a456f1.png) Ваши вопросы +> В spring-petclinic `DataJpa` реализована без дополнительных классов. В таком виде как у них, spring data смотрится, конечно, намного лаконичней других реализаций, но у нас получилось вдвое больше кода, чем с тем же jpa или jdbc. Плюс только пожалуй в том, что query находятся прямо в репозитории, а не где-то там в другом пакете. Так что получается, spring data лучше подходит для простейших crud без всяких "фишек"? или в чем его достоинство для больших и сложных проектов? + +Достоинство DATA-JPA по сравнению например с JPA: есть типизация, готовые реализации типовых методов CRUD а также paging, data-common. Мы можем переключить реализацию JPA, например, на mongoDb (`PagingAndSortingRepository`, от которого наследуется `JpaRepository`, находится в `spring-data-common`). +Соответственно его методы будут поддерживаться всеми реализациями `spring-data-common`, JPA одна из них и пр. Подробнее о них есть в видео Spring Data – новый взгляд на persistence. Дополнительное проксирование в DATA-JPA - моя "фишка" для устранения минусов этого фреймворка: невозможность дебага, привязка к интерфейсу JpaRepository, перенос логики Repository в слой сервисов. -Для большого приложения выигрыш этого стоит. Для небольших (тестовых) приложений дополнительных классов можно не делать.

-

-
Почему мы для InMemory не сделали отдельного профиля? Почему их не удалить вообще?
-

-

Реализация InMemory является примером как в test делать моки с подменой контекста. Для них сделали отдельный mock.xml и запускаемый проект ничего не должен о них знать. У нас учебный проект, в котором 4 реализации репозиториев, в реальном такого не будет.

-

-
А как делать транзакционность для реализации jdbc?
-

-

Будем делать на следующем уроке

-

Домашнее задание HW05

-

1: Имплементировать DataJpaMealRepositoryImpl
2: Разделить реализации Repository по профилям Spring: jdbc, jpa, datajpa (общее в профилях можно объединять, например <beans profile="datajpa,jpa">). -
- 2.1: Профили выбора DB (postgres/hsqldb) и реализации репозитория (jdbc/datajpa/jpa) независимы друг от друга и при запуске задать приложения (тестов) нужно задать тот и другой.
- 2.2: Для интеграции с IDEA не забудте выставить в spring-db.xml справа вверху в Change Profiles... профили, например datajpa, postgres
- 2.3: Общие части для всех в spring-db.xml можно оставить как есть без профилей вверху файла (до первого <beans profile= ).
-
3: Сделать тесты всех реализаций (jdbc, jpa, datajpa) через наследование (без дублирования) -
- 3.1 сделать один базовый класс для MealServiceTest и UserServiceTest.
-
4: Запустить все тесты: mvn test (в IDEA Maven Lifecycle - test, кнопку skipTest отжать)

-

Optional

-

5: Разделить JdbcMealRepositoryImpl для HSQLDB (она не умеет работать с Java8 Time API) и Postgres через @Profile (для Postgres оставить LocalDateTime). Цель задания - потренироваться с паттерном шаблонный метод и профилями Spring. Бины Spring мы разделяем (фильтруем) по разным профилям с помощью beans profile в xml конфигурации и @Profile (те мы конфигурируем, какие бины попадут в контекст Spring в зависимости от активных профилей приложения). -Абстрактные классы не создаются и в контекст не попадают. Профили, заданные в @Profile пересекаются с активными профилями приложения: если пересечение есть, то бин включается в контекст (cм. реализацию @Profile и в ней ProfileCondition, можно подебажить). Например при сконфигуренном @Profile({"postgres","jdbc"}) бин попадет в контекст, если в профилях запущенного приложения есть хотя бы один из них (например "jdbc"). После выполнения разделения можно предложить решение проще.
6: Починить MealServlet и использовать в SpringMain реализацию DB: добавить профили. Попробуйте поднять Spring контекст без использования spring.profiles.active.
7: Сделать и протестировать в сервисах методы (тесты и реализация только для DataJpa) -
- 7.1: достать по id пользователя вместе с его едой
- 7.2: достать по id еду вместе с пользователем
- 7.3: обращения к DB сделать в одной транзакции (можно сделать разные варианты). Java Persistence/OneToMany
-

-

Подсказки по HW05

-

1: Для того, чтобы не запускались родительские классы тестов нужно сделать их abstract
2: В реализациях JdbcMealRepository код не должен дублироваться. Если вы возвращаете тип Object, посмотрите в сторону дженериков.
3: В MealServlet/SpringMain в момент setActiveProfiles контекст спринга еще не должен быть инициализирован, иначе выставление профиля уже ничего не будет делать.
4: Если у метода нет реализации, то стандартно бросается UnsupportedOperationException.
5: Для уменьшения количества кода при реализации Optional (п. 7, только DataJpa) попробуйте сделать default метод в интерфейсе
6: В Data-Jpa метод для ссылки на entity (аналог em.getReference) : T getOne(ID id)
7: Проверьте, что в DataJpaMealRepositoryImpl все обращения к DB выполняются в одной транзакции
8: Для достать по id пользователя вместе с его едой я в User добавил List<Meal> meals
9: Проверьте, что все тесты запускаются из Maven (имена классов тестов удовлетворяют соглашению) и итоги тестов класса выводятся корректно (не копятся)
10: @ActiveProfiles принимает в качестве параметра строку, либо массив строк. В тестах можно задавать несколько @ActiveProfiles в разных классах, они суммируются
11: В релизации 7.1 учесть, что у юзера может отсутствовать еда
12: Ordering a join fetched collection in JPA using JPQL/HQL
13: <beans profile= в конфигурации контекста должны находиться после всех остальных объявлений.

-

Онлайн проекта Topjava

-

Материалы занятия

-

Правки в проекте

-

Apply 6_0_fix.patch

-

-
-
Внес в User конструктор registered
-
Делаю копию roles, чтобы роли нельзя было изменить после инициализации.
-
В кэше users хранится единственный элемент - все юзеры
-
Мелкие правки
-
-

-

Разбор домашнего задания HW5

-

1. HW5: Spring Profiles. Spring Data JPA

-

Apply 6_01_HW5_data_jpa.patch

-

-
В get получаем и фильтруем Optional<User>
-

-

Транзакция начинается, когда встречается первый @Transactional. С default propagation REQUIRED остальные @Transactional просто участвуют в первой. Поэтому ставим ее сверху DataJpaMealRepositoryImpl.save(), чтобы все обращения к базе внутри метода были в одной транзакции. Анологично, если из сервиса собирается несколько запросов в репозитории, он ставится над методом сервиса.

-

Apply 6_02_HW5_profile_test.patch

-

Для IDEA в spring-db.xml не забудте выставить Spring Profiles: например datajpa, postgres

-

-
-
DbTest переименован в AbstractServiceTest и сюда перенес @ActiveProfiles(resolver = ActiveDbProfileResolver.class)
-
Заменил description.getMethodName() на getDisplayName() в выводе результатов тестов. После printResult() буфер сбрасывается в 0, чтобы не накапливать изменения.
-
-

-

Apply 6_03_extract_rules.patch

-

-
Вынес измерение времени и сводку в отдельный класс TimingRules
-

-

JUnit Rules External Resources

-

2. HW5: Optional

-

Apply 6_04_HW5_optional_fix_jdbc_profiles.patch

-

-
Сделал классы Java8JdbcMealRepositoryImpl и TimestampJdbcMealRepositoryImpl внутренними
-

-

Spring Profiles. Spring 4 Conditional.
зайдите в исходники @Profile и посмотрите (подебажте) его реализацию через @Conditional(ProfileCondition.class).
дополнительно: реализация через Java Config и Profiles на уровне методов

-

Apply 6_05_update_hsqldb.patch

-

В реальном проекте часто проблему можно решить простым обновлением версии: new HSQLDB version supports Java 8 time API

-

Apply 6_06_HW5_optional_fetch_join.patch

-

-
-
Добавил проверки и тесты на NotFound для MealService.getWithUser и UserService.getWithMeals
-
Убрал CascadeType.REMOVE, в уроке далее будет про Cascade.
-
-

-

Apply 6_07_HW5_graph_batch_size.patch

-

-
Сделал @EntityGraph через attributePaths
-

-

-
Когда мы достаем всех юзеров с ролями без @BatchSize делается запрос юзеров (1) и на каждого юзера идет в базу запрос ролей (+N). -C @BatchSize(size = 200) делается запрос на юзеров (1) и затем роли достаются пачками для 200 юзеров (+ N/200).
-

-

Занятие 6:

-

Добавил тесты на валидацию

-

-
-
к сожалению в JUnit нет ExpectedException.expectRootCause, а expectCause нам не подходит. В 13 JUnit обещают expectThrows(), а пока сделал вручную: -AbstractServiceTest.validateRootCause()
-
-

-

-
Откуда у нас берется ConstraintViolationException в тестах на валидацию? Для каких наших исключений он является рутом?
-

-

Прежде всего - пользуйтесь дебагом! Исключение легко увидеть в методе getRootCause(). Если подебажить выполение Hibernate валидации, то можно найти, где обрабатываются аннотации валидации и место в org.hibernate.cfg.beanvalidation.BeanValidationEventListener.validate(), где бросается ConstraintViolationException.

-

Apply 6_08_add_test_validation.patch

-

Тесты валидации для Jdbc не работают, нужно будет починить в HW6 (в реализация Jdbc валидация отсутствует)

-

3. Кэш Hibernate

-

-
Кэш мигрировал на 3.x
-

-

Apply 6_09_hibernate_cache.patch

-

Теперь уже все Jdbc тесты поломались. Требуется починить в HW6

-

Уровни кэширования Hibernate
Hibernate Cache. Практика
Hibernate - Caching
Починка тестов: инвалидация кэша Hibernate
Hibernate User Guide: Caching
Hibernate 5, Ehcache 3.x
Ресурсы: -
-

-

4. Cascade. Auto generate DDL.

-

Apply 6_10_cascade_ddl.patch

-

Cascading

-

-
Есть SQL ON .. CASCADE, которая выполняется в базе данных и есть аннотация в Hibernate, исполняемая в приложении
-

-

Auto schema generation

-

5. Spring Web

-

Apply 6_11_spring_web.patch

-

-
-
Для сборки проекта в окне Maven отключите тесты (Toggele 'Skip Tests' Mode)
-
В web.xml задаются профили запуска по умолчанию: <param-value>postgres,datajpa</param-value>. Если запускаетесь под HSQLDB, надо поменять на hsqldb,datajpa.
-
-

-

Добавляем в проект веб зависимости
Поднятие контекста Spring в веб приложении. ServletContextListener. Задание дефолтного профиля.
Получение контекста Spring в веб-контейнере
Servlet Lifecycle

-

6. JPS, JSTL, internationalization

-

Apply 6_12_jsp_jstl_i18n.patch

-

-
Поменял users\meals в ключах локализации на user\meal. Понадобится при локализации ошибок (сделаем позже)
-

-

Including Content in a JSP Page

-

7. Динамическое изменение профиля при запуске.

-

-
-Dspring.profiles.active="datajpa,postgres"
-

-

Set profiles in Spring 3.1

-

8. Конфигурирование Tomcat через maven plugin. Jndi-lookup.

-

С плагином мы можем сконфигурировать Tomcat приямо в pom.xml и запустить его с задеплоенным туда нашим приложением WAR из командной строки -без IDEA и без инсталляции Tomcat. По умолчанию он скачивает его из центрального maven репозитория (можно также указать свой в <container><home>${container.home}</home></container>). -При запуске Tomcat из IDEA запускается Tomcat, путь к которому мы прописали в конфигурации запуска (со своими настройками).

-

Apply 6_13_tomcat_pool_jndi_cargo.patch

-

-
-
для запуска в Tomcat 8 поменял tomcat7-maven-plugin на cargo-maven2-plugin.
-
плагин сконфигурирован под postgres. Для HSQLDB нужно скорректировать dependencies и driverClassName в context.xml
-
-

-

Запуск из коммандной строки:

-

 mvn clean package -DskipTests=true org.codehaus.cargo:cargo-maven2-plugin:1.6.5:run
-

-

9. Spring Web MVC

-

Apply 6_14_spring_webmvc.patch

-

-
-
Починил путь к корню
-
В Spring 4.3 ввели новые аннотации @Get/Post/...Mapping (сокращенный вариант @RequestMapping)
-
-

-

Spring Web MVC
Паттерн Front Controller
Добавляем DispatcherServlet и MVC application context.
Иерархия контекстов в Spring Web MVC
Сценарий обработки запроса. HandlerMappings
View Resolution: прячем jsp под WEB-INF.
HandlerMapping: SimpleUrlHandlerMapping, BeanNameUrlHandlerMapping
Маппинг ресурсов.
Ресурсы: -
- Spring MVC hello world
- Special bean types in the WebApplicationContext
-

-

-
Настройки Project Structure->Modules->Spring:
-

-

-
В web.xml мы инициализируем DispatcherServlet, передавая ему параметром spring-mvc.xml. Получается, что DispatcherServlet парсит spring-mvc.xml и находит в нем context?
-

-

Нет. spring-mvc.xml парсит какой-то из спринговых ApplicationContext (думаю что XmlWebApplicationContext). -DispatcherServlet это сервлет, который раскидывает запросы по контроллерам (бинам контекста спринга). См паттерн Front Controller.

-

10. Spring Internationalization

-

Apply 6_15_spring_i18n.patch

-

Убедитесь что в настройках IDEA кодировка везде UTF-8
Проверьте, что файлы локализации у вас в UTF-8 (в IDEA справа внизу в статусе есть кодировка и можно перекодировать).

-

-
-
В локализации поменял fmt:message на spring:message
-
Выбор языка зависит от языка операционной системы и хедера Accept-Language. Добавил в spring-mvc.xml messageSource параметр fallbackToSystemLocale. -Он управляет выбором, куда переключаться при выборе en и отсутствии app_en.properties: локаль операционной системы или app.properties (fallbackToSystemLocale=false). Переключение локалей будем реализовывать в конце проекта.
-
-

-

Для тестирования локали можно поменять `Accept-Language`. Для хрома в `chrome://settings/languages` перетащить нужную локаль наверх.

-

Ваши вопросы

-

-
Кэш hibernate надстраивается над ehcache или он живет самостоятельно?
-

-

Understanding Hibernate Caching: -Hibernate supports following open-source cache implementations out-of-the-box: EHCache (Easy Hibernate Cache), OSCache (Open Symphony Cache), Swarm Cache, and JBoss Tree Cache.

-

-
Где конфигурится интернализация для jstl (т.е. файл, где задаются app, app_ru.properties)? Достаточно указать в страницах бандл и путь в ресурсы?
-

-

<fmt:setBundle basename="messages.app"/> означает что ресурсы будут искаться в classpath:messages/app(_xx)/properties: -Tag setBundle: fully-qualified resource name, which has the same form as a fully-qualified class name. -После сборки проекта maven их можно найти в target/classes или target/topjava/WEB-INF/classes.

-

-
Отлично, что она все пишет на том языке, который пришел в хидере запроса. А если я хочу выбрать?
-

-

Выбор языка зависит от языка операционной системы и хедера Accept-Language. Параметр fallbackToSystemLocale, который управляет выбором, когда с Accept-Language: en,en-US; не находится локализация app_en.properties. Для переключения локали используется JSTL Format Tag fmt:setLocale. Мы будем реализовывать переключение локалей в Spring i18n в конце проекта.

-

-
Мы создаем бин, где получаем dataSource по имени <jee:jndi-lookup id="dataSource" jndi-name="java:comp/env/jdbc/topjava"/>. -Но там не указан класс, как в других dataSource? Получается по имени jdbc/topjava нам уже отдает готовый обьект dataSource и мы как бы помещаем его в бин?
-

-

Здесь используется namespace jee:jndi-lookup, который прячет под собой классы реализации. JNDI объект DataSource конфигурируется в src/main/resources/tomcat/context.xml

-

-
В плагине прописан профиль <spring.profiles.active>tomcat,datajpa</spring.profiles.active>, а в web.xml <param-value>postgres,datajpa</param-value>. -Какой же реально отрабатывает?
-

-

См. видео урока "Динамическое изменение профиля при запуске". В плагине мы задаем параметры JVM запуска Tomcat

-

-
Почему мы не используем элемент <context:annotation-config/> в spring-db.xml?
-

-

В проекте у нас сейчас 2 Spring контекста: spring-mvc.xml (см. web.xml, DispatcherServlet) и родительский spring-app.xml + spring-db.xml (web.xml, contextConfigLocation). -Грубо: 2 мапы, причем для mvc доступно все что есть в родителе. Те spring-db.xml не является отдельным самостоятельным контекстом и достаточно того, что <context:annotation-config/> у нас есть в spring-app.xml.

-

-
A @NamedQuery или @Query подвержены кешу запросов? Т.е. если мы поставим USE_QUERY_CACHE_value="true" будет Hibernate их кешировать?
-

-

Чтобы запрос кэшировался, кроме true в конфигурации нужно еще явно выставить запросу setCacheable (http://vladmihalcea.com/2015/06/08/how-does-hibernate-query-cache-work/). По поводу кэширования @NamedQuery нашел @QueryHint: https://docs.jboss.org/jbossas/docs/Clustering_Guide/5/html/ch04s02s03.html

-

-
Почему messages мы кладем в config и используем system environment? разве так делают в реальном проекте? не будешь же вписывать на сервере эти переменные каждый раз, если проект куда-то будет переезжать. Можно по другому, кроме systemEnvironment['TOPJAVA_ROOT'] задать путь от корня проекта?
-

-

-
messages нам нужны в runtime (при работе приложения). Проект к собранному и задеплоенному в Tomcat war отношения никакого уже не имеет и на этом сервере он обычно не находится. Если ресурсы нужны только при сборке и тестировании, то путь к корню для одномодульного maven проекта можно задать как ${project.basedir}, но для многомодульного проекта (а все реальные проекты многомодульные) это путь к корню своего модуля.
-
-
В "реальном приложении" делается совершенно по разному:
-
- нести с собой в classpath, но ресурсы нельзя будет динамически (без передеплоя) обновлять
- класть в war (не в classpath) и обновлять в развернутом TOMCAT_HOME/webapps/[appname]/...
- класть в зафиксированное определенное место (например в home: ~ или в путь от корня /app/config). Можно задавать фиксированный пусть в пропертях профиля maven и фильтровать ресурсы (maven resources), чтобы они попали в проперти проекта.
- делать через переменную окружения, как у нас
- задавать в параметрах запуска JVM как системную переменную через -D..
- располагать в преференсах (для unix это home, для windows- registry): использование Preferences API
- держать настройки в DB
-
Часто в одном приложении используют несколько способов для разных видов конфигураций.
-

-

-
Не происходит ли дублирования при кэшировании пользователей чрез Hibernate и @Cacheable ?
-

-

@Cacheable кэширует результат запроса getAll(), те список юзеров. Hibernate кэширует юзеров по отдельности, те, грубо мапа, id->User. Те можно назвать это дублированием. Нужно ли будет такое в реальном приложении - все смотрится из логики запросов и их частоты, вполне вероятно что нет. Как то мы писали приложение для Дойчебанка (аналог skype на GWT, те на экране небольшое окошко)- там было 5!! уровней кэширования, первый вообще в базе.

-

-
У меня стоит томкат 7 версии, в помнике у нас 8 прописан, но всё работает. Почему?
-

-

В pom.xml мы подключаем servlet-api версии 3.1 со scope=provided, что означает что он используется только для компиляции и не идет в war. Тк мы не используем никаких фич 3.1, то наш код совместим с Tomcat 7.x. При запуске через cargo-maven2-plugin Tomcat 8 загружается из maven репозитория.

-

-
Откуда @Transactional вытягивает класс для работы с транзакцией, в составе какого бина он идет?
-

-

Если в контексте Spring есть <tx:annotation-driven/>, то подключается BeanPostProcessors, который проксирует классы (и методы), помеченные @Transactional.
По умолчанию для TransactionManager используется бин с id=transactionManager

-

Домашнее задание HW06

-

1.1 Починить тесты InMemoryAdminRestControllerSpringTest/InMemoryAdminRestControllerTest (в новой версии Spring классы spring-mvc требуют WebApplicationContext, поэтому поправьте mock.xml)
1.2 Починить Jdbc тесты (валидацию исключить) -
- org.junit.Assume
- How to get Current Profiles in Spring Application
-
1.3 Удалить сервлеты и перенести функциональность MealServlet в JspMealController контроллер (по аналогии с RootController). -MealRestController у нас останется, с ним будем работать позже. -
- 1.3.1 разнести запросы на update/delete/.. по разным методам (попробуйте вообще без action=). Можно по аналогии с RootController#setUser принимать HttpServletRequest request (аннотации на параметры и адаптеры для LocalDate/Time мы введем позже).
- 1.3.2 в одном контроллере нельзя использовать другой. Чтобы не дублировать код можно сделать наследование.
- 1.3.3 добавить локализацию и jsp:include в mealForm.jsp / meals.jsp
-

-

Optional

-

2.1 Добавить транзакционность (DataSourceTransactionManager) в Jdbc реализации
2.2 Добавить еще одну роль к ADMIN (будет 2 роли: ROLE_USER, ROLE_ADMIN)
2.3 Добавить проверку ролей в UserTestData.assertMatch
2.4 Починить тесты в JdbcUserRepositoryImpl (добавить роли). Доставать можно двумя способами: одним запросом с JOIN либо двумя запросами: отдельно users и отдельно roles. -
- 2.4.1 В реализации getAll НЕ делать запрос ролей для каждого юзера (N+1 select)
- 2.4.2 При save посмотрите на batchUpdate()
-

-

Подсказки по HW06

-

1: Неверная кодировка UTF-8 с Spring обычно решается фильтром CharacterEncodingFilter:

-

    <filter>
-        <filter-name>encodingFilter</filter-name>
-        <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
-        <init-param>
-            <param-name>encoding</param-name>
-            <param-value>UTF-8</param-value>
-        </init-param>
-        <init-param>
-            <param-name>forceEncoding</param-name>
-            <param-value>true</param-value>
-        </init-param>
-    </filter>
-    <filter-mapping>
-        <filter-name>encodingFilter</filter-name>
-        <url-pattern>/*</url-pattern>
-    </filter-mapping>
-

-

2: Если не поднимается контекст Spring, смотрим причину в верху самого нижнего эксепшена. Все ошибки на отсутствия бина в контексте или его нескольких реализациях относятся к пониманию основ: Spring application context. Если нет понимания этих основ, двигаться дальше нельзя, нужно вернуться к видео Спринг, где объясняется что это такое. Также пересмотрите видео Тестирование UserService через AssertJ. Начиная с 11.30 как раз разбираются подобные ошибки.
3: Если неправильно формируется url относительно контекста приложения (например /topjava/meals/meals), посмотрите на -
- Relative paths in JSP
- Spring redirect: prefix
-
4: При проблемах с запуском томкат проверьте запущенные java процессы, нет ли в TOMCAT_HOME\webapps приложения каталога topjava, логи tomcat - нет ли проблем с доступом к каталогам или контекстом Spring.
5: Если создаете List с одним значением или Map с одним ключом-значением, пользуйтесь Collections.singleton..
6: В MealController общую часть @RequestMapping(value = "/meals") лучше вынести на уровень класса
7: Не забывайте при реализации JdbcUserRepositoryImpl про Map.computeIfAbsent и EnumSet
8: Проверьте @Transactional(readOnly = true) сверху Jdbc..RepositoryImpl
9: Проверьте, что config\messages\app_ru.properties у вас в кодировке UTF-8 (в любом редакторе/вьюере или при отключенном Transparent native-to-ascii conversion в IDEA). ASCII коды нужны были только для JSP.

-

Онлайн проекта Topjava

-

Материалы занятия

-

Разбор домашнего задания HW6

-

1. HW6

-

Apply 7_01_HW6_fix_tests.patch

-

-
-
Добавил AbstractServiceTest.isJpaBased() и Assume.assumeTrue(isJpaBased()) в AbstractMealServiceTest.testValidation().
-
Как вариант можно было вместо наследования от AbstractJpaUserServiceTest сделать @Autowired(required = false) JpaUtil (в этом случае, если в профиле jpa/datajpa не объявить JpaUtil, тестах будет NPE)
-
В новой версии Spring классы spring-mvc требуют WebApplicationContext, поэтому поправил mock.xml
-
-

-

Apply 7_02_HW6_meals.patch

-

При переходе на AJAX JspMealController удалим за ненадобностью, возвращение всей еды meals() останется в RootController.

-

Apply 7_03_HW6_fix_relative_url_utf8.patch

-

2. HW6 Optional

-

Apply 7_04_HW6_optional_add_role.patch

-

Apply 7_05_fix_hint_graph.patch

-

В JpaUserRepositoryImpl.getByEmail DISTINCT попадает в запрос, хотя он там не нужен. Это просто указание Hibernate не дублировать данные. -Для оптимизации можно указать Hibernate делать запрос без distinct: 15.16.2. Using DISTINCT with entity queries
Тест DataJpaUserServiceTest.testGetWithMeals() не работает для admin (у админа 2 роли и еда при JOIN дублируется). DISTINCT при несколький JOIN не помогает. -Оставил в графе только meals. Корректно поставить тип LOAD, чтобы остальные ассоциации доставались по стратегии модели. Однако с типом по умолчанию FETCH роли также достаются (похоже что бага).

-

Apply 7_06_HW6_optional_jdbc.patch

-

-
-
реализовал в JdbcUserRepositoryImpl.getAll() доставание ролей через лямбду
-
в insertRoles поменял метод batchUpdate и сделал проверку на empty
-
-

-

Еще интересные JDBC реализации:

-

в getAll()/ get()/ getByEmail() делать запросы с LEFT JOIN и сделать ResultSetExtractor
подключить зависимость spring-data-jdbc-core. Там есть готовый OneToManyResultSetExtractor. Можно посмотреть, как он реализован.
реализация, зависимая от БД: доставать агрегированные роли и делать им split(","):

-

SELECT u.*, string_agg(r.role, ',') AS roles
-FROM users u
-  JOIN user_roles r ON u.id=r.user_id
-GROUP BY u.id
-

-

Занятие 7:

-

3. Тестирование Spring MVC

-

Apply 7_07_controller_test.patch

-

-
-
в MockMvc добавился CharacterEncodingFilter
-
добавил AllActiveProfileResolver
-
реализация Ehcache нетранзакционная, после отката транзакции в тестах по @Transactional Hibernate кэш не восстанавливал роль для USER. Добавил очистку кэша Hibernate в AbstractControllerTest.setUp (с учетом того, что Profiles.REPOSITORY_IMPLEMENTATION можно переключить на JDBC).
-
-

-

4. REST контроллеры

-

Apply 7_08_rest_controller.patch

-

5. Тестирование REST контроллеров. Jackson.

-

Apply 7_09_rest_test_jackson.patch

-

https://github.com/FasterXML/jackson-databind

-

6. Кастомизация Jackson Object Mapper

-

Apply 7_10_jackson_object_mapper.patch

-

Сериализация hibernate lazy-loading с помощью jackson-datatype-hibernate
Handle Java 8 dates with Jackson
Дополнительно: -
- Jackson JSON Serializer & Deserializer
-

-

7. Тестирование REST контроллеров через JSONassert

-

Apply 7_11_json_assert_tests.patch

-

8. Тестирование через SoapUi. UTF-8

-

Apply 7_12_soapui_utf8_converter.patch

-

Инструменты тестирования REST: -
- SoapUi
- Написание HTTP-запросов с помощью Curl -(для Windows можно использовать Git Bash)
- Postman
- IDEA: Tools->Test RESTful Web Service
- Insomnia REST client
-

-

Импортировать проект в SoapUi из config\Topjava-soapui-project.xml. Response смотреть в формате JSON.

-

Проверка UTF-8: http://localhost:8080/topjava/rest/profile/text
ResponseBody and UTF-8

-

Ваши вопросы

-

-
При выполнении тестов через MockMvc никаких изменений на базе не видно, почему оно не сохраняет?
-

-

AbstractControllerTest аннотируется @Transactional - это означает, что тесты идут в транзакции и после каждого теста JUnit делает rollback базы.

-

-
Что получается в результате выполнения запроса SELECT DISTINCT(u) FROM User u LEFT JOIN FETCH u.roles ORDER BY u.name, u.email? В чем разница в SQL без DISTINCT.
-

-

Запросы можно посмотреть в логах - SQL тот же. Те DISTINCT влияет на то, как Hibernate обрабатывает дублирующие записи (с DISTINCT их исключает). Результат можно посмотреть в тестах или приложении, поставив брекпойнт.

-

-
В чем заключается расширение функциональности hamcrest в нашем тесте, что нам пришлось его отдельно от JUnit прописывать?
-

-

hamcrest-all используется в проверках RootControllerTest: org.hamcrest.Matchers.*

-

-
Jackson мы просто подключаем в помнике и спринг будет с ним работать без любых других настроек?
-

-

Да, Spring смотрит в classpath и если видит там Jackson, то подключает интеграцию с ним

-

-
Где-то слышал, что любой ресурс по REST должен однозначно идентифицироваться через url, без параметров. Правильно ли задавать URL для фильтрации в виде http://localhost/topjava/rest/meals/filter/{startDate}/{startTime}/{endDate}/{endTime} ?
-

-

Так делают, только при отношении агрегация, например если давать админу право смотреть еду любого юзера, URL мог бы быть похож на http://localhost/topjava/rest/users/{userId}/meals/{mealId}. В случае критериев, поиска или странчных данных они передаются как параметр.

-

-
Что означает конструкция в JsonUtil: reader.<T>readValues(json);
-

-

См. Generic Methods. Когда компилятор не может вывести тип, можно его уточнить при вызове generic метода. Не важно static или нет.

-

Домашнее задание HW07

-

1: Добавить тесты контроллеров: -
- 1.1 RootControllerTest.testMeals для meals.jsp
- 1.2 ResourceControllerTest для style.css (проверить status и ContentType)
-
2: Реализовать MealRestController и протестировать его через MealRestControllerTest -
- 2.1 cледите чтобы url в тестах совпадал с параметрами в методе контроллера. Можно добавить логирование <logger name="org.springframework.web" level="debug"/> для проверки маршрутизации.
- 2.2 в параметрах getBetween принимать LocalDateTime (конвертировать через @DATETIMEFORMAT WITH JAVA 8 DATE-TIME API), а передавать в тестах в формате ISO_LOCAL_DATE_TIME (например '2011-12-03T10:15:30'). Вызывать super.getBetween() пока без проверки на null, используя toLocalDate()/toLocalTime() (см. Optional п.3)
-

-

Optional

-

3: Переделать MealRestController.getBetween на параметры LocalDate/LocalTime c раздельной фильтрацией по времени/дате, работающий при null значениях (см. демо и JspMealController.getBetween). Заменить @DateTimeFormat на свои LocalDate/LocalTime конверторы или форматтеры. -
-
4: Протестировать MealRestController (SoapUi, curl, IDEA Test RESTful Web Service, Postman). Запросы curl занести в отдельный md файл (либо README.md)

-

На следующем занятии используется JavaScript/jQuery. Если у вас там пробелы, пройдите его основы

-

Подсказки по HW07

-

1: Ошибка в тесте Invalid read array from JSON обычно расшифровывается немного ниже: читайте внимательно.
2: Jackson и неизменяемые объекты
3: Jackson JSON Tutorial
4: Если у meal, приходящий в контроллер, поля null, проверьте @RequestBody перед параметром (данные приходят в формате JSON)
5: При проблемах с собственным форматтером убедитесь, что в конфигурации <mvc:annotation-driven... не дублируется
6: Проверьте выполение ВСЕХ тестов через maven. В случае проблем проверьте, что не портите константу из MealTestData
7: @Autowired в тестах нужно делать в том месте, где класс будет использоваться. Общий принцип: не размазывать код по классам, объявление переменных держать как можно ближе к ее использованию, группировать (не смешивать) код с разной функциональностью.
8: Попробуйте в RootControllerTest.testMeals сделать сравнение через model().attribute("meals", expectedValue). Учтите, что вывод результатов через toString к сравнению отношения не имеет
9: Посмотрите, нет ли в MealTestData методов, которые можно сделать общими (через generic и TestUtil)

-

Онлайн проекта Topjava

-

Материалы занятия

-

Браузер кэширует javascript и css. Если изменения не работают, обновите приложение в браузере по Ctrl+F5
При удалении файлов не забывайте делать clean: mvn clean package

-

Разбор домашнего задания HW7

-

1. HW7

-

Apply 8_01_HW07_controller_test.patch

-

-
В RootControllerTest.testMeals() сделал проверку через model().attribute("meals", expectedValue). Сравнение происходит через MealWithExceed.equals(), который мы можем переопределить, т.к. MealWithExceed не является сущностью (entity).
-

-

Apply 8_02_HW07_rest_controller.patch

-

-
-
Делаем сравнения через JSONAssert
-
Вынес дженерик методы contentJson() / contentJsonArray() в TestUtil. Они будут общими для всех и пригодятся, если сущностей в проекте будет больше 2х.
-
-

-

2. HW7_Optional

-

Apply 8_03_HW07_formatters.patch

-

-
Перенес форматтеры в подпакет web, тк они используются Spring MVC
-

-

Apply 8_04_HW07_soapui_curl.patch

-

-
Добавил примеры запросов curl в config/curl.md
-

-

Написание HTTP-запросов с помощью Curl (для Windows можно использовать Git Bash)

-

Занятие 8:

-

3. WebJars. jQuery and JavaScript frameworks

-

Apply 8_05_webjars.patch

-

-
-
Обновил jQuery до 3.x и остальные зависимости -
-
Новое в jQuery 3
-
-
-
УБРАЛ из проекта Dandelion обертку к datatables: -
-
не встречал нигде, кроме Spring Pet Clinic;
-
поддержка работы с datatables через Dandelion оказалось гораздо более трудоемкое, чем работа с плагином напрямую.
-
-
-
Исключил из зависимостей webjars ненужные jQuery
-
-

-

Подключение веб ресурсов. WebJars.
Introducing WebJars
Document Object Model (DOM)
What is the DOM?
jQuery
Is jquery a javascript library or framework
DataTables
Working with jQuery DataTables

-

4. Bootstrap

-

Apply 8_06_bootstrap.patch

-

-
-
Добавил Glyphicons
-
В таблице удаление/редактирование сделал без кнопок (линками)
-
-

-

Подключаем Bootstrap.
Twitter Bootstrap Tutorial
Bootstrap 3 Tutorial
Видео: уроки по Bootstrap 3
Дополнительно -
- Bootstrap верстка современного сайта за 45 минут
-

-

5. AJAX. Datatables. jQuery

-

JSP полезны, если надо с сервера отдать статический html с серверной логикой (условия, циклы), сформированный на основе модели. Для динамической отрисовки таблицы мы будем использовать REST и JSON на 9м уроке (работа с datatables через Ajax).

-

Apply 8_07_ajax_datatables.patch

-

-
-
Сделал загрузку скриптов асинхронной (и все общие скрипты в headTag.jsp). Для асинхронной загрузки вынес скрипт из users.jsp в userDatatables.js. -
-
Внешние скрипты, порядок исполнения
-
JavaScript loading modern approach
-
-
-
Поменял стили с jquery.dataTables на dataTables.bootstrap и добавил dataTables.bootstrap.js -
-
DataTables/Bootstrap 3 integration
-
-
-
Вместо id и селектора для добавления пользователя использовал обработчик onclick и функцию add() -
-
Введение в браузерные события
-
-
-
reset() не чистит скрытые (hidden) поля формы. Сделал очистку полей через form.find(":input").val("")
-
Обновил dataTables API: -
-
Converting parameter names for 1.10
-
dataTable() vs. DataTable()
-
-
-
-

-

AJAX.
Событие $(document).ready.
jQuery для всех.
jQuery для начинающих. AJAX.
jQuery для начинающих. Селекторы.
jQuery task from freecodecamp
jQuery API
Редактирование таблицы на основе модального окна Bootstrap.
Javascript плагины для Bootstrap
DataTables API

-

6. Notifications

-

Apply 8_08_notification.patch

-

-
-
Сделал защиту от кэширование ajax запросов в IE
-
Обновил API Noty (3.1.0), добавил в сообщения glyphicon
-
Tomcat 8.5.x перестал отдавать в заголовке statusText. Отображаем просто status -
-
RFC 7230 states that clients should ignore reason phrases in HTTP/1.1 response messages.
-
Since the reason phrase is optional, Tomcat no longer sends it (statusText).
-
-
-
-

-

7. Добавление Spring Security

-

-
-
Правка к видео: путь в intercept-url должен быть полный: pattern="/rest/admin/**"
-
В Spring Security 4.x по умолчанию включен csrf (защита от межсайтовой подделки запроса). Выключил, включим на 10-м занятии.
-
В Spring Security 5.x по умолчанию пароль кодируется. Выключил, включим на 10-м занятии. -
-
Adding a Password Encoder
-
-
-
-

-

Apply 8_09_add_security.patch

-

Spring Security
Протокол AAA
Методы аутентификации.
Basic access authentication
Использование ThreadLocal
Добавляем в проект spring-security и security filter
Конфигурируем security context для ресурсов и REST
Тестируем Security REST через SoapUI/ curl/ Postman/ Testing RESTful Web Services + Generate Authorization Header
Security with Spring
Decode/Encode Base64 online

-

curl -v -H 'Authorization: Basic dXNlckB5YW5kZXgucnU6cGFzc3dvcmQ=' http://localhost:8080/topjava/rest/profile/meals

-

аналогична

-

curl -v --user user@yandex.ru:password http://localhost:8080/topjava/rest/profile/meals

-

Ваши вопросы

-

-
Что делает код?
-

-

$('.delete').click(function () {
-        deleteRow($(this).attr("id"));
-    });
-

-

На все элементы DOM с классом delete вешается обработчик события click который вызывает функцию deleteRow. Классы в html разделяются через пробел. См. селекторы в jQuery

-

-
тянет ли bootstrap за собой jQuery?
-

-

Bootstrap css это стили (форматирование), Bootstrap js зависит от jQuery: http://stackoverflow.com/questions/14608681/can-i-use-twitter-bootstrap-without-jquery#answer-14608772

-

-
А где реально этот путь "classpath:/META-INF/resources/webjars"?
-

-

Внутри подключаемых webjars ресурсы лежат по пути /META-INF/resources/webjars/... Не поленитесь посмотреть на них через Ctrl+Shift+N. -Все подключаемые jar попадают в classpath и ресурсы доступны по этому пути.

-

-
У меня webjars зависимость лежит внутри ".m2\repository\org\webjars". С чем это может быть связано?
-

-

Maven скачивает все депенденси в local repository, который по умолчанию находится в ~/.m2. -Каталог по умолчанию можно переопределить в APACHE-MAVEN-HOME\conf\settings.xml, элемент localRepository.

-

-
WEBJARS лежат вообще в другом месте WEB-INF\lib*. Биндим mapping="/webjars/*" на реальное положение jar в ware, откуда spring знает где искать наш jquery ?
-

-

В war в WEB-INF/lib/* лежат все jar, которые попадают к classpath. Spring при обращении по url /webjars/ ищет по пути биндинга <mvc:resources mapping="/webjars/ " location="classpath:/META-INF/resources/webjars/"/> -по всему classpath (то же самое как распаковать все jar в один каталог) в META-INF/resources/webjars/. В этом месте во всех jar, которые мы подключили из webjars лежат наши ресурсы.

-

-
Как можно в браузере сбросить введенный пароль базовой авторизации?
-

-

Проще всего делать новый запрос в новой анонимной вкладке (Ctrl+Shift+N в Chrome)

-

-
Оптимально ли делать доступ к статическим ресурсам (css, js, html) через webjars ?
-

-

На продакшене под нагрузкой статические ресурсы лучше всего держать не в war, а снаружи. Доступ к ним делается либо через конфигурирование Tomcat, но чаще всего через прокси, например Nginx

-

-
Как по REST определяется залогиненный юзер? Аутентификация происходит при каждом запросе?
-

-

Способы RESTful Authentication. -Мы будем использовать 2: coockie + http session (на след. уроке) и Basic Authentication с аутентификацией при каждом запросе.

-

-
Почему @RequestParam не работает в PUT и DELETE запросах?
-

-

По спецификации Servlet API параметры в теле для PUT, DELETE, TRACE методах не обрабатываются (только в url). -Те. можно:

-

использовать POST
передавать параметры в url
использовать HttpPutFormContentFilter фильтр
настроить Tomcat в обход спецификации.

-

См. Handle request parameters for an HTTP PUT method

-

-
Что происходит, когда мы нажимаем на кнопку submit в форме добавления юзера (users.jsp, <form id="detailsForm">)?
-

-

В datatablesUtil.js берется DOM элемент (форма) по id="detailsForm" и на событие submit вешается обработчик:

-

$('#detailsForm').submit(function () {
-    save();
-    return false;
-});
-

-

-
Данные между браузером и ajax гоняются в виде json? Почему в AdminAjaxController у методов delete и createOrUpdate нет в аннотациях параметра consumes = MediaType.APPLICATION_JSON_VALUE ?
-

-

Посмотреть на данные между приложением и браузером можно (и нужно!) в браузере (вкладка Network в Инструментах разработчика, F12 в Хроме). Зависит от того, как их отправляем из браузера и из приложения. Данные формы обычно передаются просто параметрами. APPLICATION_JSON_VALUE в контроллере нужно, только если параметры отдаются\принимаются в формате JSON.

-

Домашнее задание HW08

-

1: Перевести meals на datatables (meals.jsp, MealAjaxController). -
- 1.1 Реализовать добавление записи еды через модальное окно Bootstrap и удаление еды по ajax (БЕЗ редактирования).
- 1.2 При вставке данных по AJAX пропадает все JSP форматирование, чинить перерисовку НЕ надо. Следующий урок- будем делать datatable по AJAX и форматирование на стороне клиента.
-
2: Т.к. HTML атрибут id у каждого элемента документа должен быть уникален, нужно избавиться от дублирования id="${user.id}" в строках таблиц users и meals (переместить атрибут id в тэг <tr> или передавать в качестве параметра функций через onclick)

-

Optional.

-

3: Перевести работу фильтра на AJAX. Попробуйте после модификации таблицы (например добавлении записи) обновлять ее также с учетом фильтра.
4: Сделать кнопку сброса фильтра.
5: Реализовать enable/disable User через checkbox в users.jsp с сохранением в DB. Неактивных пользователей выделить css стилем.

-

Подсказки по HW08

-

1: проверьте, как у вас первоначально (или по F5) отображаются неактивные пользователи (если меняете css при enable/disable)
2: если у вас запрос фильтрации не попадает в Ajax контроллер, скорее всего срабатывает submit формы фильтрации. Нужно или делать в событии return false как в datatablesUtil:$('#detailsForm').submit, либо вместо type="submit" сделать type="button"
3: enable/disable делать c @Transactional (можно реализовать как на уровне репозитория, так и на уровне сервиса через несколько sql, которые должны быть в одной транзакции)
4: в datatablesUtil.js следует выносите только общие скрипты (cкрипты еды размещайте в mealDatatables.js, пользователей в userDatatables.js)
5: если в контроллер приходит null проверте в Network вкладке браузера в каком формате приходят данные и в каком формате в контроллере вы их принимаете (consumes).
6: при реализации enable/disable лучше явно указывать нужное состояние, чем переключать на противоположное. Если параллельно вам кто-то изменит состояние, то будет несоответствие UI и DB.

-

Онлайн проекта Topjava

-

Материалы занятия

-

Браузер кэширует javascript и css. Если изменения не работают, обновите приложение в браузере по Ctrl+F5
При удалении файлов не забывайте делать clean: mvn clean package

-

Правка

-

Apply 9_0_fix.patch

-

Обновил некоторые зависимости
Для DELETE сделал возвращаемый статус NO_CONTENT (204) -
- 15 тривиальных фактов о правильной работе с протоколом HTTP
-

-

Разбор домашнего задания HW8

-

1. HW8

-

Поправка к видео: в гриде bootstrap 12 колонок.

-

Apply 9_01_HW8.patch

-

-
-
Все события сделал через onlick. Чтобы формы не сабмитились, заменил type="submit" на type="button".
-
Фильтр еды сделал в Bootstrap Panels -
-
Fitting a panel into bootstrap's grid system
-
-
-
Удалил лишние классы, JSP и i18N
-
-

-

Apply 9_02_HW8_clear_filter.patch

-

-
Добавил сброс фильтра
-

-

2. HW8 Optional (enable/disable user)

-

Apply 9_03_HW8_enable_disable.patch

-

-
-
Перенес метод enable в userDatatables.js и вынес стиль disabled в css
-
Меняю стиль <tr> ПОСЛЕ успешной обработки запроса через toggleClass и при ошибке возвращаю checked в прежнее состояние
-
Убрал init(). При переводе таблицы на Ajax вместо него будет createdRow. Стили disabled добавляются при отрисовки таблицы в JSP
-
-

-

Занятие 9:

-

3. Spring Binding

-

Apply 9_04_binding.patch

-

-
Move ru.javawebinar.topjava.util.MealsUtil.DEFAULT_CALORIES_PER_DAY to ru.javawebinar.topjava.util.UserUtil
-

-

4. Реализация update

-

Apply 9_05_update.patch

-

-
-
Сделал интерфейс HasId от которого наследуются BaseTo и AbstractBaseEntity
-
Сделал проверку id в ValidationUtil на основе HasId
-
Сделал в ProfileRestController обновление своего профиля через UserTo (нельзя изменять себе роли) и поправил тест
-
-

-

Вопрос:

-

-
Можно ли было удаление делать без перезагрузки таблицы (удалением строки) и для редактирования брать данные со страницы, а не с сервера?
-

-

В многопользовательском приложении принято при изменении данных подтягивать все изменения с базы, иначе может быть большая несогласованность базы и UI. В таблице еды наши пользователи видят только свои записи, но лучше для всех таблиц делать общий подход. Дополнительная нагрузка на базу тут совсем небольшая.

-

5. Spring Validation

-

Apply 9_06_validation.patch

-

-
-
заменил hibernate @Depricated аннотации валидации на анологичные javax
-
responseJSON не выводится в случае его отсутствия (например при попытке добавить пользователья с дублирующимся email)
-
сделал конкатенацию ошибок через StringJoiner
-
при неверном формате email делается проверка startsWith, чтобы поле email не дублировалось в сообщении
-
-

-

6. Перевод DataTables на Ajax

-

Apply 9_07_datatable_via_ajax.patch

-

-
Напомню, что мы перешли на параметры Datatables в формате 1.10
-

-

DataTables Ajax

-

Вопрос:

-

-
Что за дополнительный параметр (который каждый раз инкрементируется) появляется при запросе datatables данных по ajax (например http://localhost:8080/topjava/ajax/admin/users/?_=1496156621129) ?
-

-

Это защита datatables от кэширования запроса браузером (например в IE).

-

Apply 9_08_js_i18n.patch

-

-
-
Добавил простую интернационализацию в JavaScript. -
-
на стороне сервера формируется i18n JavaScript массив с значениями, который затем используется для интернационализации в браузере
-
в модальном окне заголовок подменяется через $('#modalTitle').html(..title)
-
-
-
-

-

Для тестирования локали можно поменять `Accept-Language`. Для хрома в `chrome://settings/languages` перетащить нужную локаль наверх.

-

JavaScript internationalization

-

7. Форма логина / логаут.

-

Apply 9_09_min_form_login.patch

-

-
Добавил функциональность logout
-

-

Мои вопросы:

-

Почему при логине как admin еда отдаются для user?
Почему при логине как user не отображается список пользователей?
Почему еда не редактируется?

-

-
Подсказка: поглядите вкладку Network в браузере.
-

-

Apply 9_10_jsp_form_login.patch

-

-
Рефакторинг
-
-
В login.jsp вместо атрибутов достаю параметры запроса (param.error/message).
-
Закрыл доступ к /login для уже авторизованных в приложении пользователей (в spring-security.xml изменил permitAll на isAnonymous)
-
-

-

Собственный form-login

-

8. Реализация собственного провайдера авторизации.

-

Apply 9_11_auth_via_user_service.patch

-

UserDetailsService Implementations

-

9. Принцип работы Spring Security. Проксирование.

-

10. Spring Security Test

-

Apply 9_12_spring_security_test.patch

-

-
-
Cделал "честную" авторизацию в RootControllerTest (через authentication в утильном методе TestUtil)
-
Cделал mockAuthorize для SpringMain, в который не попадают фильтры
-
-

-

11. Cookie. Session.

-

Ваши вопросы

-

-
В куки попадает обычная строка JSESSIONID. Куда сериалиуется объект User?
-

-

Для хранения сосотяния сессии (например корзины покупателя) в Servlet API есть механизм хранения объектов сессии (грубо- мультимапмапа, которая достается из хранилища по ключу). При создании сессии на стороне сервера (через request.getSession) создается кука JSESSIONID, которая пеердается между клиентом и сервером и является ключом в хранилище объектов сессий. См. обработка сессий с помощью сервлетов

-

-
В login.jsp есть форма <form:form action="spring_security_check" ..> Где такой url используется?
-

-

Это стандартный url для авторизации в spring-security. Он его и обрабатывает.

-

-
Если не пользовать js, а писать UI на JSP, сообщения между ui и сервером будут в формате json? Это же будет JSON API?
-

-

Есть данные, которые передаются между клиентом и сервером в формате json или get/post с параметрами, есть стили взаимодействия клиента и сервера (REST, JSON API, JSON-RPC) и есть отрисовка UI: JSP, Javascript фреймворк, Thymleaf и пр. Не надо эти вещи путать между собой.

-

-
По умолчанию спринг работает с UserDetailsService, который должен возвращать UserDetails. Но мы не хотим стандартные, мы хотим свои, поэтому просто наследуем наши UserServiceImpl и AuthorizedUser от соответствующих интерфейсов и реализуем недостающие методы, которые spring security и будет использовать?
-

-

Да. Сервис аутентификации конфигурится в spring-security.xml <authentication-manager> и должен реализовывать интерфейс UserDetailsService. В spring-security есть его стандартные реализации, которые использовались до нашей кастомной UserServiceImpl, например jdbc-user-service использует реализацию JdbcUserDetailsManager

-

Домашнее задание HW9

-

1: Реализовать для meal Binding/ Update/ Validation. Проверить работу при пустом значении calories.
2: Перевести meals.jsp на работу по ajax. Стиль строки таблицы сделать в зависимости от exceeded, время отображать без T. Добавить i18n.
3: Починить meals тесты, добавить тест на неавторизованный доступ

-

Optional

-

4: Подключить datetime-picker к фильтрам и модальному окну добавления/редактирования еды -
- 4.1 DateTimePicker jQuery plugin
- 4.2 Еще есть Bootstrap 3 Datepicker
-

-

Попробуйте при запросах по REST оставить стандартный ISO формат (с разделителем T)

-

Проверка в HW09

-

1: Проверьте, что при добавлении и редактировании пользователя и еды у вас корректно отображаются заголовки модального окна: -"Добавить/Редактировать еду пользователя"
2: Не дублируйте

-

<c:forEach var='key' ...
+Попробуйте при запросах по REST оставить стандартный ISO формат (с разделителем `T`)
+
+## ![error](https://cloud.githubusercontent.com/assets/13649199/13672935/ef09ec1e-e6e7-11e5-9f79-d1641c05cbe6.png) Проверка в HW09
+- 1: Проверьте, что при добавлении и редактировании пользователя и еды у вас корректно отображаются заголовки модального окна:
+"Добавить/Редактировать еду пользователя"
+- 2: Не дублируйте
+```
+


-
-3: Для подключения css и js datetimepicker-а посмотрите в его jar (или поищите в проекте по Ctrl+Shift+N: datetimepicker)
-4: datetimepicker работает корректно в Хроме, если убрать в type в <input type="date/time/datetime-local" ..
-5: Если появляются проблемы с JS типа ... is not defined - обратите внимание на порядок загрузки скриптов и атрибут defer. Скрипты должны идти в нужном порядке. Если определяете скрипт прямо в jsp, он выполняется до defer скриптов.
-6: Не дублируйте обработку ошибок в BindingResult в ajax контроллерах
-7: Проверьте редактирование еды: открыть на редактирование и сохранить не должно приводить к ошибкам с форматом времени.
-8: Проверьте в RootController.meals(), его нужно тоже поправить
-
-

Онлайн проекта Topjava

-

Материалы занятия

-

Разбор домашнего задания HW9

-

1. HW9

-

Apply 10_1_HW9_binding_ajax.patch

-

Datatables перевели на ajax ("ajax": {"url": ajaxUrl, ..), те при отрисовке таблица сама по этому url запрашивает данные. Поэтому в методе RootController.meals() нам нужно только возвратить view "meals" (meals.jsp) которому уже не нужны данные в атрибутах.

-

-
-
JavaScript i18n[] локализацию перенес в i18n.jsp
-
Вынес общий код в ValidationUtil.getErrorResponse()
-
-

-

Apply 10_2_HW9_test.patch

-

Apply 10_3_HW9_datetimepicker.patch

-

-
-
Изменил формат ввода dateTime в форме без 'T': при биндинге значений к полям формы в datatablesUtil.updateRow() для поля dateTime делаю replace('T', ' '). REST интерфейс по прежнему работает в стандарте ISO-8601
-
Вынес общий код в datatablesUtil.formatDate()
-
-

-

Занятие 10:

-

2. Дополнительно: кастомизация JSON (@JsonView) и валидации (groups)

-

ВНИМАНИЕ! 10_04_opt и 10_05_opt - не обязательные патчи. Если будете делать- то в отдельной ветке (у меня opt_view_groups). Это варианты решений, которые не идут в master.

-

Что возвращать: Entity или DTOs

-

Apply 10_04_opt_json_view.patch

-

Jackson Annotation -
- Jackson JSON Views
-
@JsonView: фильтруем JSON
Jackson set default view

-

Apply 10_05_opt_validated_groups.patch

-

3. Рефакторинг: jQuery конверторы и группы валидации по умолчанию

-

Apply 10_04_jquery_converters.patch

-

Apply 10_05_persist_validate_group.patch

-

Default Hibernate validation. Т.к. Persist наследуется от javax.validation.groups.Default, при сохранении учитываются все непомеченные аннотации валидации (Default) + помеченные Persist.

-

4. Spring Security Taglib. Method Security Expressions.

-

Apply 10_06_secure_tag_annotation.patch

-

Spring Security Taglib.
Method Security и Method Security Expressions.

-

Вопрос:

-

-
У нас в sprng-mvc подключается spring-app, в который подключается spring-security. Т.о. spring-mvc в себе содержит код spring-app и spring-security. Почему тогда аннотация <security:global-method-security... из spring-security не видна для контроллера из spring-mvc?
-

-

Подключаем один контекст внутрь другого: это про import а не про наследование (тоже самое что скопипастить сюда xml из подключаемого import файла). Наследование означает, что поиск бина, если он не найден, происходит в родителе.
При создании контекста аннотация <security:global-method-security... говорит про то, что все бины текущего контекста, у которых есть аннотации авторизации (@PreAuthorize/ @Secured/ ..) будут проксироваться с проверкой авторизации. Контексты родителей и детей создаются сами по себе и аннотации проксирования у них собственные.

-

5. Interceptors. Редактирование профиля. JSP tag files.

-

Apply 10_07_interceptor.patch

-

Spring interceptors.

-

Apply 10_08_profile_jsptag.patch

-

6. Форма регистрации.

-

Apply 10_09_registration.patch

-

-
-
Добавил локализацию
-
При регистрации передаю username в login.jsp как параметр и делаю setCredentials (пароль вводится скрыто, поэтому его не передаю из соображений безопасности). Т.к setCredentials требует jQuery, убрал для него defer
-
-

-

7. Обработка исключений в Spring.

-

Apply 10_10_not_found_422.patch

-

-
Поменял код 404 (URL not found) на 422 (Unprocessable Entity)
-

-

Используем HTTP status code

-

Apply 10_11_global_exception.patch

-

-
-
Перед отображением exception предварительно делаю ValidationUtil.getRootCause
-
Добавил локализацию
-
-

-

Global Exception Handling

-

Apply 10_12_controller_advice_exception.patch

-

Отображение валидации для формы еды и юзера пропало (TODO в коде для HW10). Можно посмотреть сериализацию в ErrorInfo при попытке добавить юзера с дублирующимся email.

-

-
-
Добавил в ErrorInfo тип ошибки ErrorType
-
@ResponseBody над методами ExceptionInfoHandler заменил на @RestControllerAdvice
-
В ExceptionInfoHandler удалил @Order над методами и добавил над классом:
-
-

-

  Methods are matched by closest exception in
+#### Apply 10_12_controller_advice_exception.patch
+**Отображение валидации для формы еды и юзера пропало (`TODO` в коде для HW10). Можно посмотреть сериализацию в `ErrorInfo` при попытке добавить юзера с дублирующимся email.**
+
+> - Добавил в `ErrorInfo` тип ошибки `ErrorType`
+> - `@ResponseBody` над методами `ExceptionInfoHandler` заменил на `@RestControllerAdvice`
+> - В `ExceptionInfoHandler` удалил `@Order` над методами и добавил над классом:
+```
+  Methods are matched by closest exception in
   *  @see  org.springframework.web.method.annotation.ExceptionHandlerMethodResolver#getMappedMethod
   *  164: Collections.sort(matches, new ExceptionDepthComparator(exceptionType))
-

-

-
-
В ExceptionInfoHandler.logAndGetErrorInfo() также использую ValidationUtil.getRootCause
-
-

-

8. Encoding password. Json READ/WRITE access

-

Apply 10_13_password_encoding.patch

-

Password Encoding

-

Apply 10_14_read_write_access.patch

-

В реальном приложении для управления паролем необходим отдельный UI интерфейс с подтверждением старого пароля.

-

@JsonProperty READ_ONLY / WRITE_ONLY

-

9. Межсайтовая подделка запроса (CSRF).

-

Apply 10_15_csrf.patch

-

-
Убрал form:form из ajax запросов: там csrf работает через header. Проверьте в вкладке браузера Network.
-

-

Поломалась UTF-8 кодировка в редактировании профиля и регистрациию (если по умолчанию не UTF-8). В Optional HW10 нужно будет починить.

-

Ваши вопросы

-

-
В чем отличие между аннотоацией @PreAuthorize("hasRole('ROLE_ADMIN')") и конфигурацией в jsp: <sec:authorize access="isAuthenticated()">, <sec:authorize access="hasRole('ROLE_ADMIN')"> ?
-

-

Анотация @PreAuthorize обрабатывается Spring анологично @Transactional, @Cacheable - класс проксируется и до-после вызова метода добавляется функциональность. -В данном случае перед вызовом метода проверяются роль залогиненного юзера. JSTL тэг authorize выполняет проверку условия в залогиненном юзере внутри jsp.

-

-
Еще раз: почему не нужен csrf для REST и нельзя подделать JSON запрос с вредоносного сайта?
-

-

Попробуйте выполнить ajax запрос из вашего приложения c url, у которого домен отличный от вашего (например "http://topjava.herokuapp.com/meals/ajax/admin/users/"+id). -В консоли браузера будет XMLHttpRequest cannot load... - нарушение same origin policy. -Формам же разрешается делать submit (через action=..) на другой домен, но невозможно cделать Content-Type, отличный от стндартных enctype и методов кроме get и post. Таким образом consumes = MediaType.APPLICATION_JSON_VALUE в POST защищает приложение от CSRF.

-

-
Почему использован BCryptPasswordEncoderа не hash(password+salt). Почему нельзя напрямую сравнивать закодированные пароли?
-

-

BCryptPasswordEncoder automatically generates a salt and concatenates it with the hash value in a single String. Для одного и тогоже пароля получаются разные хэши. Cравнивать их можно только через isMatch() с незахэшированным паролем.

-

-
Когда запускается в GlobalControllerExceptionHandler метод defaultErrorHandler? Когда как в него исключение попадает? Как выбирается, кто обрабатывает исключения: ExceptionInfoHandler или GlobalControllerExceptionHandler?
-

-

GlobalControllerExceptionHandler попадает в контекст спринг (через @ControllerAdvice его находят в пакете web). Далее спринг перехватывает исключения и отправляет в подходящий по исключению метод GlobalControllerExceptionHandler. ExceptionInfoHandler помечен @ControllerAdvice(annotations = RestController.class), он обрабатывает только ошибки из всех контроллеров с аннотацией RestController.class.

-

-
Откуда берутся в валидации сообщения на русском "должно быть между 10 и 10000"?
-

-

Локализация встроена в Hibernate Validation. Смотрите Ctrl+Shift+N и ValidationMessages_ru.properties.

-

Домашнее задание HW10

-

1: Сделать валидацию в AdminAjaxController/MealAjaxController через ExceptionInfoHandler. Вернуть клиенту ErrorInfo и статус HttpStatus.UNPROCESSABLE_ENTITY (тип методов контроллеров вернуть обратно на void).
2: Сделать валидацию принимаемых json объектов в REST контроллерах через ExceptionInfoHandler. Добавить в Rest контроллеры тест для невалидных данных. -
- @Valid @RequestBody + Error handling
-
3: Сделать обработку ошибки при дублирования email ("User with this email already exists") для: -
- 3.1 регистрации / редактирования профиля пользователя -
  - Spring MVC form handling example
  -
- 3.2 добавления / редактирования пользователя в таблице
- 3.3 REST контроллеров
-

-

Optional

-

4: Сделать обработку ошибки при дублирования dateTime еды. Сделать тесты на дублирование email и dateTime. -
- Тесты на DB exception c @Transactional
- Сheck String in response body with mockMvc
-
5: Сделать в приложении выбор локали (см. http://topjava.herokuapp.com/) -
- Spring MVC internationalization sample
- Spring 4 MVC Internationalization
-
6: Починить UTF-8 в редактировании профиля и регистрации (если кодировка по умолчанию у вас не UTF-8). Подумайте, почему кодировка поломалась.

-

Проверка в HW10

-

1: ErrorInfo просто бин для передачи информации на клиента. Кода возврата и ответ настраиваются в ExceptionInfoHandler.
2: Не дублируйте обработку ошибок BindingResult: result.getFieldErrors()..
3: Можно не создавать собственные эксепшены, а в ExceptionInfoHandler ловить стандартные
4: в MethodArgumentNotValidException также есть e.getBindingResult(), его можно обрабатывать по аналогии с BindException
5: Не дублируйте код переключения локали на странице логина и в приложении
6: При проблемах с валидацией Meals в MealRestController, посмотрите на валидацию в MealAjaxController.updateOrCreate

-

Онлайн проекта Topjava

-

Обновил Демо приложение нашей версией

-

Материалы занятия

-

Некоторые темы урока новые, поэтому видео есть не везде.

-

Все материалы проекта (в том числе и будущие обновления) останутся доступны в Google Drive.

-

Правка

-

Apply 11_0_fix.patch

-

Поправил app_ru.properties -
- Spring в отличии от JSP может работать с UTF-8.
- Проверьте в настройках IDEA справа внизу выключенный флаг Transparent native-to-ascii conversion
-
Поправил сodacy issues -
- В exception.jsp подразумевается оставить закомментированный код HTML на странице, потому используется 
-

-

Разбор домашнего задания HW10

-

1. HW10

-

Apply 11_01_HW10_fix_encoding.patch

-

Apply 11_02_HW10_validation.patch

-

-
-
В соответствии со спицификацией для поменял HTTP 400 (ошибка в структуре сообщения) на HTTP 422 (ошибка в содержании)
-
Сделал тесты и проверку типа ошибки через jsonPath
-
-

-

Apply 11_03_HW10_duplicate_email.patch

-

-
-
сделал код(ключ) i18n константой (EXCEPTION_DUPLICATE_EMAIL)
-
-

-

Apply 11_04_HW10_duplicate_datetime.patch

-

-
-
Реализавать обработку дублирования user.email и meal.dateTime можно по разному -
-
через поиск в сообщении DataIntegrityViolationException имени DB constrains
-
через Controller Based Exception Handling
-
через Custom Validator, с еще одним запросом в базу. Первый самый простой и расширяемый (хотя зависить от базы), выбрал его. Для работы с HSQLDB сделал toLowerCase. Самый корректный и трудоемкий с собственными валидаторами: он позволяет валидировать в конроллерах, а не при сохранении.
-
-
-
-

-

-
-
Сделал утильный класс MessageUtil для работы с i18n.
-
Добавил тесты на дублирование. Отключил транзакционность в тестах на дублирование через @Transactional(propagation = Propagation.NEVER). -
-
Решение проблемы с транзакционными тестами
-
-
-
-

-

Вопрос:

-

-
Поясните, почему без тесты на дубликаты падают без @Transactional(propagation = Propagation.NEVER)
-

-

@Transactional в AbstractControllerTest означает, что коммита в базу не происходит, вместо него делается rollback. -А без сохранения в базу нарушение ограничения на дубликат не происходит.
@Transactional(propagation = Propagation.NEVER) над тестом отключает AbstractControllerTest @Transactional, в репозитории происходит сохранение в базу и в ExceptionInfoHandler ловим DataIntegrityViolationException.

-

2. HW10 Optional: change locale

-

Apply 11_05_HW10_change_locale.patch

-

-
-
Вместо lang.jsp сделал общий bodyHeader.jsp
-
Добавил локализацию календаря $.datetimepicker.setLocale(localeCode)
-
Вместо смену локали в lang.jsp через javascript сделал href=${requestScope['javax.servlet.forward.request_uri']}?lang=..
-
-

-

Bootstrap Navbar

-

Заключительное 11-е занятие

-

Локализация:

-

Apply 11_06_i18n.patch

-

Вынес общие части опций таблиц в datatablesUtil.js используя jQuery.extend()
Добавил локализацию Search в datatable
Сделал локализацию ошибок валидации: -
- Все коды для локализации конкретной ошибки валидации можно посмотреть в дебаге: FieldError.getCodes()
- Коды для ее аргументов: FieldError.getArguments() (аргумент складывается из имени класса и поля).
-
Добавил локализацию ErrorInfo.type (код локализации в ErrorType и поле ErrorInfo.typeMessage)

-

Защита от XSS (Cross Site Scripting)

-

-
Попробуйте до и после патча ввести в любое текстовое поле редактирования <script>alert('XSS')</script> и сохранить.
-

-

Apply 11_07_XSS.patch

-

-
-
password проверять не надо, т.к. он не выводится в html, а email надо
-
Сделал общий интерфейс валидации View.Web и @Validated(View.Web.class) вместо @Valid для проверки содержимого только на входе UI/REST. При сохранении проверка на безопасный html контент не делается.
-
-

-

Обработка ошибок 404 (NotFound)

-

Apply 11_08_404.patch

-

Доступ к AuthorizedUser

-

Apply 11_09_auth_user.patch

-

Автоподстановка в контроллерах -
- не стал делать автоподстановку по всем контроллерам (в абстрактных контроллерах проще работать с AuthorizedUser, чем получать его через @AuthenticationPrincipal и передавать параметром)
-
В JSP: the authentication Tag -
- авторизованный пользователь доступен в JSP через tag authentication, интерсептор становится не нужным
-

-

Ограничение модификации пользователей

-

Apply 11_10_restrict_modification.patch

-

В AbstractUserController добавилась защита от удаления-модификации Admin/User для профиля HEROKU (в AbstractUserController заинжектил Environment и сделал проверку HEROKU)
Чтобы тесты были рабочими, ввел профиль HEROKU, работающий так же, как и POSTGRES.
Добавил ApplicationException для работы с ошибками с поддержкой i18n в приложении (от него отнаследовал NotFoundException и ModificationRestrictionException)

-

3. Деплой приложения в Heroku.

-

Apply 11_11_heroku.patch

-

-
-
Добавил зависимости postgres в профиль мавена heroku
-
Поменял настройки dataSource для профиля heroku. -При опускании/поднятии приложения в heroku.com портятся коннекты в пуле и необходимо их валидировать.
-
-

-

Приложение деплоится в ROOT: http://localhost:8080

-

Деплой Java Spring приложения в PaaS-платформу Heroku

-

Config Vars
+# Онлайн проекта Topjava
+
+### Обновил Демо приложение нашей версией
+
+## Материалы занятия
+#### Некоторые темы урока новые, поэтому видео есть не везде.
+#### Все материалы проекта (в том числе и будущие обновления) останутся доступны в Google Drive.
+
+### ![error](https://cloud.githubusercontent.com/assets/13649199/13672935/ef09ec1e-e6e7-11e5-9f79-d1641c05cbe6.png) Правка
+
+#### Apply 11_0_fix.patch
+- Поправил `app_ru.properties`
+  - Spring в отличии от JSP может работать с UTF-8.
+  - Проверьте в настройках IDEA [справа внизу выключенный флаг _Transparent native-to-ascii conversion_](https://github.com/JavaOPs/topjava/wiki/IDEA#%D0%9F%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%B8%D1%82%D1%8C-%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D1%83-utf-8)
+- Поправил [сodacy issues](https://www.codacy.com/app/javawebinar/topjava/issues/index?bid=5019773&filters=W3siaWQiOiJDYXRlZ29yeSIsInZhbHVlcyI6WyJFcnJvciBQcm9uZSJdfV0=)
+  - В `exception.jsp` подразумевается оставить закомментированный код HTML на странице, потому используется ``
+
+## ![hw](https://cloud.githubusercontent.com/assets/13649199/13672719/09593080-e6e7-11e5-81d1-5cb629c438ca.png) Разбор домашнего задания HW10
+
+### ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 1. HW10
+#### Apply 11_01_HW10_fix_encoding.patch
+#### Apply 11_02_HW10_validation.patch
+> - В [соответствии со спицификацией](http://stackoverflow.com/a/22358422/548473) для поменял `HTTP 400` (ошибка в структуре сообщения) на `HTTP 422` (ошибка в содержании)
+> - Сделал тесты и проверку типа ошибки [через jsonPath](https://www.petrikainulainen.net/programming/spring-framework/integration-testing-of-spring-mvc-applications-write-clean-assertions-with-jsonpath/)
+
+#### Apply 11_03_HW10_duplicate_email.patch
+> - сделал код(ключ) i18n константой (`EXCEPTION_DUPLICATE_EMAIL`)
+
+#### Apply 11_04_HW10_duplicate_datetime.patch
+> - Реализавать обработку дублирования `user.email` и `meal.dateTime` можно по разному
+>   - через [поиск в сообщении `DataIntegrityViolationException` имени DB constrains](https://stackoverflow.com/a/42422568/548473)
+>   - через [Controller Based Exception Handling](https://spring.io/blog/2013/11/01/exception-handling-in-spring-mvc#controller-based-exception-handling)
+>   - через [Custom Validator](https://howtodoinjava.com/spring/spring-mvc/spring-mvc-custom-validator-example/), с еще одним запросом в базу. Первый самый простой и расширяемый (хотя зависить от базы), выбрал его. Для работы с HSQLDB сделал `toLowerCase`. Самый корректный и трудоемкий с собственными валидаторами: он позволяет валидировать в конроллерах, а не при сохранении.
+
+> - Сделал утильный класс `MessageUtil` для работы с i18n.
+> - Добавил тесты на дублирование. Отключил транзакционность в тестах на дублирование через `@Transactional(propagation = Propagation.NEVER)`.
+>   - [Решение проблемы с транзакционными тестами](https://stackoverflow.com/a/46415060/548473)
+
+#### ![question](https://cloud.githubusercontent.com/assets/13649199/13672858/9cd58692-e6e7-11e5-905d-c295d2a456f1.png) Вопрос:
+> Поясните, почему без тесты на дубликаты падают без `@Transactional(propagation = Propagation.NEVER)`
+
+- `@Transactional` в `AbstractControllerTest` означает, что коммита в базу не происходит, вместо него делается rollback.
+А без сохранения в базу нарушение ограничения на дубликат не происходит. 
+- `@Transactional(propagation = Propagation.NEVER)` над тестом  отключает `AbstractControllerTest @Transactional`, в репозитории происходит сохранение в базу и в `ExceptionInfoHandler` ловим `DataIntegrityViolationException`.
+
+###  ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png) 2. HW10 Optional: change locale
+#### Apply 11_05_HW10_change_locale.patch
+> - Вместо `lang.jsp` сделал общий `bodyHeader.jsp`
+> - Добавил локализацию календаря `$.datetimepicker.setLocale(localeCode)`
+> - Вместо смену локали в `lang.jsp` через javascript сделал `href=${requestScope['javax.servlet.forward.request_uri']}?lang=..`
+
+Bootstrap Navbar
+
+## Заключительное 11-е занятие
+
+### Локализация:
+#### Apply 11_06_i18n.patch
+ - Вынес общие части опций таблиц в `datatablesUtil.js` используя jQuery.extend()
+ - Добавил локализацию Search в datatable
+ - Сделал локализацию ошибок валидации:
+   - Все коды для локализации конкретной ошибки валидации можно посмотреть в дебаге: `FieldError.getCodes()`
+   - Коды для ее аргументов: `FieldError.getArguments()` (аргумент складывается из имени класса и поля).
+ - Добавил локализацию `ErrorInfo.type` (код локализации в `ErrorType` и поле `ErrorInfo.typeMessage`)
+
+### Защита от XSS (Cross Site Scripting)
+> **Попробуйте до и после патча ввести в любое текстовое поле редактирования `` и сохранить.**
+#### Apply 11_07_XSS.patch
+> - `password` проверять не надо, т.к. он не выводится в html, а [email надо](https://stackoverflow.com/questions/17480809)
+> - Сделал общий интерфейс валидации `View.Web` и `@Validated(View.Web.class)` вместо `@Valid` для проверки содержимого только на входе UI/REST. При сохранении проверка на безопасный html контент не делается.
+
+- XSS для новичков
+- XSS глазами злоумышленника
+- Prevent people from doing XSS in Spring MVC
+
+### [Обработка ошибок 404 (NotFound)](https://stackoverflow.com/questions/18322279/spring-mvc-spring-security-and-error-handling)
+#### Apply 11_08_404.patch
+
+### Доступ к AuthorizedUser
+#### Apply 11_09_auth_user.patch
+- [Автоподстановка в контроллерах](https://docs.spring.io/spring-security/site/docs/current/reference/htmlsingle/#mvc-authentication-principal)
+  - не стал делать автоподстановку по всем контроллерам (в абстрактных контроллерах проще работать с `AuthorizedUser`, чем получать его через `@AuthenticationPrincipal` и передавать параметром)
+- [В JSP: the authentication Tag](https://docs.spring.io/spring-security/site/docs/current/reference/html/taglibs.html#the-authentication-tag)
+  - авторизованный пользователь доступен в JSP через tag `authentication`, интерсептор становится не нужным
+
+### Ограничение модификации пользователей
+#### Apply 11_10_restrict_modification.patch
+ - В `AbstractUserController` добавилась защита от удаления-модификации `Admin/User` для профиля `HEROKU` (в `AbstractUserController` заинжектил `Environment` и сделал проверку `HEROKU`)
+ - Чтобы тесты были рабочими, ввел профиль `HEROKU`, работающий так же, как и `POSTGRES`.
+ - Добавил `ApplicationException` для работы с ошибками с поддержкой i18n в приложении (от него отнаследовал `NotFoundException` и `ModificationRestrictionException`)
+
+###  ![video](https://cloud.githubusercontent.com/assets/13649199/13672715/06dbc6ce-e6e7-11e5-81a9-04fbddb9e488.png)  3. Деплой приложения в Heroku.
+#### Apply 11_11_heroku.patch
+
+> - Добавил зависимости `postgres` в профиль мавена `heroku`
+> - [Поменял настройки `dataSource` для профиля `heroku`](http://stackoverflow.com/questions/10684244/dbcp-validationquery-for-different-databases). 
+При опускании/поднятии приложения в heroku.com портятся коннекты в пуле и необходимо их валидировать. 
+
+**Приложение деплоится в ROOT: [http://localhost:8080](http://localhost:8080)**
+
+- Деплой Java Spring приложения в PaaS-платформу Heroku
+```
+Config Vars
   ERROR_PAGE_URL=...
   TOPJAVA_ROOT=/app
 
 Datasources advanced
     ssl=true
     sslfactory=org.postgresql.ssl.NonValidatingFactory
-

-

Ресурсы: -
- PaaS-платформа Heroku
- Конфигурирование приложения для запуска через Tomcat-based Java Web
- Конфигурирование DataSource profile для Heroku
- Интерграция с IDEA
- Find your Platform as a Service
- Getting Started with Java on Heroku
- Managing Your SSH Keys
- Deploy your application to Heroku
- Развертывание приложений Java с помощью PaaS от Heroku
- A Java Developer’s Guide to PaaS
- A Simple PaaS Comparison Guide (With the Java Dev in Mind)
- Java PaaS shootout
-

-

Apply 11_12_fix_locale.patch

-

Починка тестов, зависящих от локали окружения

-

4. Собеседование. Разработка ПО

-

Домашнее задание по проекту:

-

Задеплоить свое приложение в Heroku
Сделать / обновить резюме (отдать на ревью в канал #hw11 группы slack) -
- Resume Templates -
  - Выбираете по вкусу, заходите в корзину покупок и в правом нижнем углу "I have a discount code" вводите: ZgyI50xW. Компания поделилась со мной кодом в замен на ваши отзывы об использовании сервиса.
  -
- Загрузка сайта на GitHub. Бесплатный хостинг и домен.
- CSS theme for hosting your personal site, blog, or portfolio
-
Заполнить в своем профиле Java Online Projects ссылку на резюме и информацию по поиску работы (если конечно актуально): резюме, флаги рассматриваю работу, готов к релокации и информация для HR.
Обновления базы соискателей буду рассылать по HR ночью на 31.01, постарайтесь успеть
Сделать и внести в свое портфолио Graduation project -
- Для участников с проверкой выпускной проект принимаю на ревью до 15.02 (участникам Masterjava до 31.05).
-
Пройти важную тему МНОГОПОТОЧНОСТЬ по первому уроку Masterjava. -
- Обучение на Masterjava сейчас идет в индивидуальном режиме, старт в любое время.
- Проект, патчи, группа Slack, занятия и видео анологичны проекту Topjava.
- Цена для участников Topjava снижена
-

-

Возможные доработки приложения:

-

Для редактирования паролей сделать отдельный интерфейс с запросом старого пароля и кнопку сброса пароля для администратора.
Добавление и удаление ролей для пользователей в админке.
Перевести UI на Angular / Vaadin elements /GWT /GXT /Vaadin / ZK/ [Ваш любимый фреймворк]..
Перевести проект на Spring Boot
Перевести шаблоны с JSP на Thymeleaf
Сделать авторизацию в приложение по OAuth 2.0 (Spring Security OAuth, -VK auth, github oauth, ...)
Сделать подтверждение регистрации пользователя по email c возможностью восстановления пароля.
Сделать отображение еды постранично, с поиском и сортировкой на стороне сервера.
Перевод проекта на https
Сделать desktop/mobile приложение, работающее по REST с нашим приложением.
Показ ошибок в модальном окне редактирования таблицы так же, как и в JSP профиля
Limit login attempts example
Сделать авторизацию REST по JWT

-

Доработки участников прошлых выпусков:

-

Авторизация в приложение по OAuth2 через GitHub -
- GitHub, ветка oauth
-
Авторизация в приложение по OAuth2 через GitHub/Facebook/Google -
- GitHub
-
Angular 2 UI -
- tutorial по доработке
- ветка angular2 в гитхабе
-
Отдельный фронтэнд на Angular 2, который работает по REST с авторизацией по JWT -
- ветка development фронтэнда
- ветка development бэкэнда
- в JWT токенен приложение topjava передает email, name и роль admin как boolean true/false, -на клиенте он декодируется и из него получается auth-user, с которым уже работает фронтэнд
-

-

Жду твою доработку из списка!

-

Ресурсы по Проекту

-

Уроки Bootstrap 3
Spring at tutorialspoint
Articles in Spring
Learn Spring on Baeldung
Spring Framework -Reference Documentation
Hibernate Reference Documentation
Java Course (книга 2)
Справочник «Паттерны проектирования»
Catalog of Patterns of Enterprise Application Architecture

-

Пожалуйста ответь на 4-6 вопросов по проекту, это важно!

-

Замечания по резюме:

-

варианты размещения: google doc + linkedin + hh + ...
хорошо, если будет в html формате (например в https://pages.github.com/). Например так, на github
возраст и день рождения можно не писать
все упоминания Junior убрать!
линки делай кликабельными (если формат поддерживает)
если нет опыта в IT, обязательно вставь участие в стажировке Topjava. Также вставь ссылку на свой сертификат (она есть в личном профиле). Весь не-IT опыт можно кратко.
всю выгодную для себя информацию (и важную для HR) распологайте вверху. Название секций в резюме и их порядок относительно стандартный и важный

-

Запросы к таблице meals c разным index (1000 пользователей, у каждого за год по 3 записи в день):

-

Проверьте у себя, цифры у всех разные!

-

Скрипт по наполнению базы на PL/pgSQL:

-

drop function if exists populate_db();
+### Скрипт по наполнению базы на PL/pgSQL:
+```
+drop function if exists populate_db();
 
 create function populate_db() returns void as $$
 declare
@@ -698,190 +37,108 @@ end;
 $$ LANGUAGE plpgsql;
 
 select populate_db();
-

-

Без индекса

-

время выполнения 200ms/150ms

-

-
DROP INDEX IF EXISTS meals_unique_user_datetime_idx;
-

-

-
EXPLAIN ANALYZE -SELECT * FROM meals -WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20' -ORDER BY date_time DESC;
-

-

Sort  (cost=28292.17..28292.88 rows=286 width=31) (actual time=203.774..203.782 rows=298 loops=1)
+```
+### Без индекса
+**время выполнения 200ms/150ms**
+
+> DROP INDEX IF EXISTS meals_unique_user_datetime_idx;
+
+> EXPLAIN ANALYZE
+         SELECT * FROM meals
+          WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20'
+          ORDER BY date_time DESC;
+          
+```
+Sort  (cost=28292.17..28292.88 rows=286 width=31) (actual time=203.774..203.782 rows=298 loops=1)
   Sort Key: date_time DESC
   Sort Method: quicksort  Memory: 48kB
-  ->  Seq Scan on meals  (cost=0.00..28280.50 rows=286 width=31) (actual time=0.023..203.714 rows=298 loops=1)
-        Filter: ((date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone) AND (user_id = 100000))
+  ->  Seq Scan on meals  (cost=0.00..28280.50 rows=286 width=31) (actual time=0.023..203.714 rows=298 loops=1)
+        Filter: ((date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone) AND (user_id = 100000))
         Rows Removed by Filter: 1094702
 Planning time: 0.102 ms
 Execution time: 203.822 ms
-

-

-
EXPLAIN ANALYZE -SELECT * FROM meals -WHERE user_id = 100003 -ORDER BY date_time DESC;
-

-

Sort  (cost=22858.59..22861.23 rows=1057 width=31) (actual time=147.481..147.481 rows=0 loops=1)
+```
+
+> EXPLAIN ANALYZE
+         SELECT * FROM meals
+          WHERE user_id = 100003
+          ORDER BY date_time DESC;
+
+```
+Sort  (cost=22858.59..22861.23 rows=1057 width=31) (actual time=147.481..147.481 rows=0 loops=1)
   Sort Key: date_time DESC
   Sort Method: quicksort  Memory: 25kB
-  ->  Seq Scan on meals  (cost=0.00..22805.50 rows=1057 width=31) (actual time=147.474..147.474 rows=0 loops=1)
+  ->  Seq Scan on meals  (cost=0.00..22805.50 rows=1057 width=31) (actual time=147.474..147.474 rows=0 loops=1)
         Filter: (user_id = 100003)
         Rows Removed by Filter: 1095000
 Planning time: 0.097 ms
 Execution time: 147.514 ms
-

-

Индекс по user_id;

-

время выполнения 0.415ms/0.05ms

-

-
CREATE INDEX meals_idx ON meals (user_id);
-

-

-
EXPLAIN ANALYZE -SELECT * FROM meals -WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20' -ORDER BY date_time DESC;
-

-

Sort  (cost=59.88..60.59 rows=286 width=31) (actual time=0.372..0.378 rows=298 loops=1)
+```
+
+### Индекс по user_id;
+**время выполнения 0.415ms/0.05ms**
+
+> CREATE INDEX meals_idx ON meals (user_id);
+
+> EXPLAIN ANALYZE
+         SELECT * FROM meals
+          WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20'
+          ORDER BY date_time DESC;
+
+```
+Sort  (cost=59.88..60.59 rows=286 width=31) (actual time=0.372..0.378 rows=298 loops=1)
   Sort Key: date_time DESC
   Sort Method: quicksort  Memory: 48kB
-  ->  Index Scan using meals_user_id_idx on meals  (cost=0.43..48.21 rows=286 width=31) (actual time=0.048..0.307 rows=298 loops=1)
+  ->  Index Scan using meals_user_id_idx on meals  (cost=0.43..48.21 rows=286 width=31) (actual time=0.048..0.307 rows=298 loops=1)
         Index Cond: (user_id = 100000)
-        Filter: ((date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone))
+        Filter: ((date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone))
         Rows Removed by Filter: 797
 Planning time: 0.123 ms
 Execution time: 0.414 ms
-

-

-
EXPLAIN ANALYZE -SELECT * FROM meals -WHERE user_id = 100003 -ORDER BY date_time DESC;
-

-

Sort  (cost=96.02..98.66 rows=1057 width=31) (actual time=0.020..0.020 rows=0 loops=1)
+```
+
+> EXPLAIN ANALYZE
+         SELECT * FROM meals
+          WHERE user_id = 100003
+          ORDER BY date_time DESC;
+
+```
+Sort  (cost=96.02..98.66 rows=1057 width=31) (actual time=0.020..0.020 rows=0 loops=1)
   Sort Key: date_time DESC
   Sort Method: quicksort  Memory: 25kB
-  ->  Index Scan using meals_user_id_idx on meals  (cost=0.43..42.93 rows=1057 width=31) (actual time=0.013..0.013 rows=0 loops=1)
+  ->  Index Scan using meals_user_id_idx on meals  (cost=0.43..42.93 rows=1057 width=31) (actual time=0.013..0.013 rows=0 loops=1)
         Index Cond: (user_id = 100003)
 Planning time: 0.095 ms
 Execution time: 0.047 ms
-

-

Составной индекс по user_id и date_time (ЗАВИСИТ ОТ ПОРЯДКА ЗАДАНИЯ КОЛОНОК!)

-

время выполнения 0.110ms/0.035ms

-

-
DROP INDEX meals_idx;
-

-

-
CREATE INDEX meals_idx ON meals (user_id, date_time);
-

-

-
EXPLAIN ANALYZE -SELECT * FROM meals -WHERE user_id = 100000 AND date_time BETWEEN '2015-02-10' AND '2015-05-20' -ORDER BY date_time DESC;
-

-

Index Scan Backward using meals_user_id_date_time_idx on meals  (cost=0.43..511.74 rows=286 width=31) (actual time=0.026..0.081 rows=298 loops=1)
-  Index Cond: ((user_id = 100000) AND (date_time >= '2015-02-10 00:00:00'::timestamp without time zone) AND (date_time <= '2015-05-20 00:00:00'::timestamp without time zone))
-Planning time: 0.130 ms
-Execution time: 0.112 ms
-

-

-
EXPLAIN ANALYZE -SELECT * FROM meals -WHERE user_id = 100003 -ORDER BY date_time DESC;
-

-

Index Scan Backward using meals_user_id_date_time_idx on meals  (cost=0.43..1795.68 rows=1057 width=31) (actual time=0.012..0.012 rows=0 loops=1)
-  Index Cond: (user_id = 100003)
-Planning time: 0.103 ms
-Execution time: 0.033 ms
-

-

Проект Java Enterprise (Topjava)

Home

Users

Home

Meals

Home

${param.action == 'create' ? 'Create meal' : 'Edit meal'}

Home

Meals

+ + JavaWebinar/topjava + +

Users who have contributed to this file

Онлайн проект Topjava

Материалы занятия (скачать все патчи можно через Download/Скачать папки patch)

Рефакторинг проекта

Apply 1_0_fix.patch

Разбор домашнего задания HW0:

1. Optional: реализация getFilteredMealsWithExceeded через Stream API

Apply 1_1_HW0_stream.patch

2. Работа с git в IDEA. Реализация через цикл.

Apply 1_2_HW0_cycle.patch

Вопросы по HW0

3. HW0 Optional 2: реализация в один проход и одной строкой Stream API

Apply 1_3_HW0_optional2.patch

Занятие 1:

4. Обзор используемых в проекте технологий. Интеграция ПО.

5. Maven.

6. WAR. Веб-контейнер Tomcat. Сервлеты.

Apply 1_4_switch_to_war.patch

Apply 1_5_add_servlet_api.patch

Apply 1_6_forward_to_redirect.patch

7. Логирование.

Apply 1_7_logging.patch

Проверочные вопросы:

Ваши вопросы

Домашнее задание HW01 (делаем ветку HW01 от последнего патча в master)

1. Реализовать сервлет с отображением в таблице списка еды (в памяти и БЕЗ учета пользователя)

Optional

2. Реализуем в ПАМЯТИ CRUD (create/read/update/delete) для еды

После выполнения ДЗ обязательно проверьте решение на ошибки

Вопросы по HW1

Типичные ошибки

+ + JavaWebinar/topjava + +

Users who have contributed to this file

Онлайн проект Topjava

Материалы занятия (скачать все патчи можно через Download папки patch)

Правки в проекте

Apply 2_0_add_fix.patch

Разбор домашнего задания HW1:

1. Отображения списка еды в JSP

Apply 2_1_HW1.patch

2. Optional: реализация CRUD

Apply 2_2_HW1_optional.patch

Вопросы по HW1

Занятие 2:

3. Библиотека vs Фреймворк. Стандартные библиотеки Apache Commons, Guava

4. Слои приложения. Создание каркаса приложения.

Apply 2_3_app_layers.patch

Ваши вопросы

5. Обзор Spring Framework. Spring Context.

Apply 2_4_add_spring_context.patch

Apply 2_5_add_dependency_injection.patch

Apply 2_6_add_annotation_processing.patch

Apply 2_7_constructor_injection.patch

Дополнительно видео по Spring

6. Пояснения к HW2. Обработка Autowired

Ваши вопросы

Домашнее задание HW02

Optional

Подсказки по HW02 (для проверки, сначала сделайте самостоятельно!)

5. Обзор Spring Framework. Spring Context.

Apply 2_4_add_spring_context.patch

Apply 2_5_add_dependency_injection.patch

6. Пояснения к HW2. Обработка Autowired

Ваши вопросы

Домашнее задание HW02

Users who have contributed to this file

Онлайн проект Topjava

Материалы занятия (скачать все патчи можно через Download папки patch)

Правки в проекте

Apply 3_0_fix.patch

Материалы занятия (скачать все патчи можно через `Download/Скачать` папки patch)